使用 DolphinScheduler 排程 Kylin 構建

Apache Kylin 上游通常有複雜的資料 ETL 過程，如 Hive 入庫、資料清洗等；下游有報表重新整理，郵件分發等。整合 Apache DolphinScheduler 後，Kylin 可以方便地將大資料平臺各元件串聯起來，讓各個任務通過 DAG 統一排程。

Apache Kylin 是一個支援海量大資料的線上分析引擎，需要離線或流式地從 Apache Hive、Apache Kafka 載入資料。通常當上遊資料準備好以後，使用者需要使用 Kylin 的 Web 介面或 API 觸發以生成資料載入的任務。為了讓整個工作流自動化起來，通常要結合一些任務排程平臺，如 Oozie，Linux crontab 等。本文將介紹如何使用 Apache DolphinScheduler 這個新的開源平臺跟 Kylin 進行整合完成資料構建。

Apache DolphinScheduler（incubating）（簡稱 DS） 是一個 Apache 孵化器專案，是由國內企業易觀開源的大資料專案，是一個面向大資料應用的分散式工作流任務排程系統，之前叫 EasyScheduler。目前，DS 在國內已經有一定規模的使用者基礎，包括美團 、平安、雪球等。

官網：http://dolphinscheduler.apache.org/

這裡我們引用一下 DS 剛開源時的介紹 [1]：相信做過資料處理的夥伴們對開源的排程系統如 Oozie、Azkaban、Airflow 應該都不陌生，在使用這些排程系統中可能會有這樣的體驗：比如配置工作流任務不能視覺化、任務的執行狀態不能實時線上檢視、 任務執行時不能暫停、不能支援引數傳遞、不能補數、不能多租戶使用、排程系統不高可用等等問題所煩擾過。Easy Scheduler 正是在這種背景下應運而生，其目標就是為使排程更加 easy，更可以從其中文名“易排程”看出我們的初衷。

下圖是一個跟 Azkaban、Airflow 的多方面對比：

從這個圖上可以看出，DS 設計之初就考慮了高可用、多租戶、視覺化等高階功能，也支援擴充套件任務型別等，相比於其它工具來說，更適合企業內的複雜場景，視覺化的操作介面也非常適合作為平臺交給各部門自助使用（注：Airflow 目前也有多租戶的支援）。

為了驗證 DS 的功能，我們決定先在一個單機上進行安裝。參考文件後，發現它的安裝配置步驟稍多，於是先嚐試 Docker 安裝；可惜的是，它的 Dockerfile 跟當前程式碼有一點不匹配，加上國內的網路條件，Docker build 較慢屢次失敗，於是就放棄了，嘗試單機用二進位制包安裝。

從官網 [2] 下載 1.2.0 版本的安裝包，分前端和後端兩個包；前端是一些靜態檔案，不到 2MB；後端是主程式，較大 127MB；前後端需要分別安裝和配置。（據瞭解從 1.2.1 後，前後端將不再分離。）

參考前端安裝文件 [3]，將資源放到某個目錄，然後安裝和配置 Nginx，讓其 8888 埠的靜態資源從 DS 的前端目錄獲取，如果是 API 的呼叫，轉給後端服務 12345 埠；瞭解 Nginx 配置的話這塊不難。小注意一下，它的安裝指令碼 install-dolphinscheduler-ui.sh 會自動安裝 Nginx，如果你的系統中已經有 Nginx 服務的話，需要手動修改指令碼以避免重新安裝。

後端的安裝相對比較複雜一些。首先你需要準備前置條件：

1.  Linux 伺服器一臺，CentOS 6/7 或 Ubuntu；

2. 建立一個 DolphinScheduler 的 Linux 賬戶，有 sudo 許可權，且開啟免密碼登入；因為要切換不同租戶，所以單機安裝也需要這個賬戶；

3. MySQL 5.5 或以上；起初我的 MySQL 版本較低（5.1），遇到 DB 初始化指令碼失敗的問題，切換高版本 MySQL 後解決；（注：目前 MySQL 8 也不支援）；

4.  Zookeeper，用於協調多個節點的狀態。

安裝的時候，需要仔細檢視它的安裝文件 [4]；文件中介紹了多節點的自動部署（為有自動化一鍵安裝指令碼點贊:+1:），但沒有介紹單節點的手動部署。我先用了它的自動部署指令碼 install.sh，發現略有點複雜，在 DS 開發者的指導下改用手動部署。下面是一些注意事項：

1.  安裝和啟動服務的時候，切換到 dolphinscheduler使用者，建議不要用 root；使用 root 會讓一些新建立的目錄權主是 root，其它使用者不可訪問；

2.  安裝目錄不要放到 /root 等高許可權目錄，最好放到 /opt 或 dolphinscheduler 的 home 目錄下；

3. MySQL JDBC 連線的配置，除了在 conf/application-dao.properties 以外，還需要在 conf/quartz.properties 也裡配置一下;

4. DS 的安裝目錄，需要顯式地在 conf/common/common.properties 裡配置一下，預設的安裝目錄 /data1_1T/dolphinscheduler 很可能不是你的安裝路徑；

5. 在 conf/config/run_config.conf 中配置各個節點的機器名；如果單機的話，配置本機的機器名；

6.  在 conf/zookeeper.properties 中配置 zk 地址；

7.  啟動使用 scripts/start-all.sh 和 scripts/stop-all.sh  來啟動和停止；如果不正常，檢查在 logs 目錄下的日誌；

8.  確保 Nginx 之前已經正常啟動。

如果一切正常的話，瀏覽器開啟  http://<host_name>:8888  就會出現 DS 的登入介面，初始使用者/密碼為：admin/dolphinscheduler123。

按照使用操作手冊，先建立專案，再建立一個租戶（tenant）；租戶就是執行任務的 Linux 使用者。

建立租戶後，還要將 DS 的使用者跟租戶進行繫結，預設的 admin 使用者初始是沒有租戶的，所以需要進行繫結後才可以執行任務，切記；

在這之後，你就可以進入專案，建立程序（process）了，DS 提供了視覺化的介面，讓你可以圖形化拖拽地方式定義工作流 DAG：

這裡看到，DS 內建了若干種任務，例如 Spark, Flink，MapReduce，Shell， HTTP，Python 等，基本足夠普通排程需求了。

我們的測試場景是 Kylin 的流式構建，需要每五分鐘觸發一次任務；Kylin 提供 Rest API 供外部觸發，但本身不提供排程器；通常使用者使用外部排程器或 Linux crontab 等服務來執行；使用 Linux crontab 最簡單，但是難以監控和修改，因此一些使用者會覺得麻煩。所以我們可以整合 DS 和 Kylin 做到一站式排程和監控。這裡觸發Kylin的構建任務，可以用 shell（如 curl）命令，也可以用 HTTP（post、put 等）的方式進行；這裡我選擇用 shell 因為它非常簡單，在輸入之前，先確保這個 shell 命令是無誤的，手動在 Linux 命令列中執行驗證。

隨後對這個程序指定定時器（cron），語法基本上跟 Linux crontab 相同，使用者還可以指定生效範圍，通知策略等：

之後分別上線這個定時器，以及這個程序；過一會兒我們就會在平臺上看到執行的任務：

執行的詳細日誌也是可以直接線上檢視：

Kylin 這邊，我們看到任務被正常觸發執行：

繼續一天，兩邊平臺都很穩定，180 多次排程都成功執行：

DolphinScheduler 是一款功能強大的大資料排程平臺。一次配置好任務流，後續就可以靠 DS 自動定時排程了，任務成功或出錯都可以得到郵件通知。如果任務較多，可以水平新增更多節點以擴充套件資源。Kylin 上游通常有複雜的資料 ETL 過程，如 Hive 入庫，資料清洗等；下游有報表重新整理，郵件分發等；有了它可以方便地將大資料平臺各元件串聯起來，讓各個任務通過 DAG 統一排程。此次時間有限，沒有進一步測試 DS 的高階功能，後續如果社群基於外掛機制開發出 Kylin 的觸發器，對使用者會更加簡單易用。

在此也非常感謝 DolphinScheduler 社群的代立冬等小夥伴們，非常熱心地幫忙回答和解決問題！