SQL智慧程式碼補全引擎【sql-code-intelligence】介紹

語言: CN / TW / HK

sql-code-intelligence 支援標準的Spark SQL補全,也支援 MLSQL 語法補全。

其基本互動方式是,前端將當前使用者正在書寫的SQL指令碼以及當前的游標所在的行列號傳遞給sql-code-intelligence,sql-code-intelligence會給出一串提示列表。

標準Spark SQL 提示支援

譬如當前使用者書寫的SQL如下,滑鼠在第三行第十列

image.png

此時系統會提示:

  1. a [表名]
  2. jack1展開的所有列
  3. no_result_type
  4. keywords
  5. search_num

MLSQL支援

如下語句:

image.png

假設db.table1 表的欄位為a,b,c,d 其中滑鼠在低3行第七列,在此位置,會提示:

可以看到,系統具有非常強的跨語句能力,會自動展開*,並且推測出每個表的schema資訊從而進行補全。

使用體驗

下載地址: sql-code-intelligence

下載後 tar xvf sql-code-intelligence-0.1.0.tar 解壓,執行如下指令即可執行:

java -cp .:sql-code-intelligence-0.1.0.jar  tech.mlsql.autosuggest.app.Standalone  -config ./config/application.yml

預設埠是9004.

介面使用

訪問介面: http://127.0.0.1:9003/run/script?executeMode=autoSuggest

  • 引數1: sql SQL指令碼
  • 引數2: lineNum 游標所在的行號 從1開始計數
  • 引數3: columnNum 游標所在的列號,從1開始計數

下面我直接用了一段scala程式碼訪問介面,大家也可以用PostMan:

object Test {
  def main(args: Array[String]): Unit = {
    val time = System.currentTimeMillis()
    val response = Request.Post("http://127.0.0.1:9003/run/script").bodyForm(
      Form.form().add("executeMode", "autoSuggest").add("sql",
        """
          |select spl  from jack.drugs_bad_case_di as a
          |""".stripMargin).add("lineNum", "2").add("columnNum", "10").build()
    ).execute().returnContent().asString()
    println(System.currentTimeMillis() - time)
    println(response)
  }

}

返回結果如下:

[{"name":"split",
"metaTable":{"key":{"db":"__FUNC__","table":"split"},
"columns":[
{"name":null,"dataType":"array","isNull":true,"extra":{"zhDoc":"\nsplit函式。用於切割字串,返回字串陣列\n"}},{"name":"str","dataType":"string","isNull":false,"extra":{"zhDoc":"待切割字元"}},
{"name":"pattern","dataType":"string","isNull":false,"extra":{"zhDoc":"分隔符"}}]},
"extra":{}}]

可以知道提示了split,並且這是一個函式,函式的引數以及返回值都有定義。

自定義表Schema資訊

我們知道,如果有Schema資訊,對提示的幫助會非常大,【SQL Code Intelligence】目前讓使用者有三種可選方式:

  1. 主動註冊schema資訊 (適合體驗和除錯)
  2. 提供符合規範的Rest介面,系統會自動呼叫該介面獲取schema資訊 (推薦,對本專案無需任何修改)
  3. 擴充套件【SQL Code Intelligence】的 MetaProvider,使得系統可以獲取shcema資訊。 (啟動本專案時需要註冊該類)

這裡我們簡單介紹下第一種使用方式。

我下面是使用scala程式碼完成,使用者也可以使用POSTMan之類的工具完成註冊。

def registerTable(port: Int = 9003) = {
    val time = System.currentTimeMillis()
    val response = Request.Post(s"http://127.0.0.1:${port}/run/script").bodyForm(
      Form.form().add("executeMode", "registerTable").add("schema",
        """
          |CREATE TABLE emps(
          |  empid INT NOT NULL,
          |  deptno INT NOT NULL,
          |  locationid INT NOT NULL,
          |  empname VARCHAR(20) NOT NULL,
          |  salary DECIMAL (18, 2),
          |  PRIMARY KEY (empid),
          |  FOREIGN KEY (deptno) REFERENCES depts(deptno),
          |  FOREIGN KEY (locationid) REFERENCES locations(locationid)
          |);
          |""".stripMargin).add("db", "db1").add("table", "emps").
        add("isDebug", "true").build()
    ).execute().returnContent().asString()
    println(response)
  }

建立表的語句型別支援三種:db,hive,json。 分別對應MySQL語法,Hive語法,Spark SQL schema json格式。預設是MySQL的語法。

接著就係統就能夠提示了:

def testSuggest(port: Int = 9003) = {
    val time = System.currentTimeMillis()
    val response = Request.Post(s"http://127.0.0.1:${port}/run/script").bodyForm(
      Form.form().add("executeMode", "autoSuggest").add("sql",
        """
          |select emp from db1.emps as a          |""".stripMargin).add("lineNum", "2").add("columnNum", "10").
        add("isDebug", "true").build()
    ).execute().returnContent().asString()
    println(response)
  }

這個時候系統已經能投提示 empid 和empname欄位了。

專案地址

sql-code-intelligence 歡迎使用和下載。