開源專案丨Taier1.2版本釋出,新增工作流、租戶繫結簡化等多項功能

語言: CN / TW / HK

file

2022年7月26日,Taier1.2版本正式釋出!

本次版本釋出更新功能:

  • 新增工作流

  • 新增OceanBase SQL

  • 新增Flink jar任務

  • 資料同步、實時採集支援髒資料管理

  • Hive UDF

  • 控制檯UI升級

  • 租戶繫結簡化

新版本的使用文件已在社群中推送,大家可以隨時下載查閱,歡迎大家體驗新版本功能**(喜歡我們的專案歡迎大家點個Star)**,體驗地址:

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社群:

https://dtstack.github.io/Taier/

Taier1.2版本介紹

Taier 是一個大資料分散式視覺化的DAG任務排程系統,旨在降低ETL開發成本、提高大資料平臺穩定性,大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現,將工作的重心更多地聚焦在業務之中。

Taier 脫胎於袋鼠雲數棧,技術實現來源於數棧分散式排程引擎DAGScheduleX,是數棧產品的重要基礎設施之一,負責大資料平臺所有任務例項的排程執行。

2022年2月22日,Taier正式開源併發布1.0版本。

2022年5月8日,Taier1.1版本釋出,更新對Flink的支援升級到Flink1.12,支援多種流型別任務等功能。

2022年7月26日,Taier1.2版本釋出,本次釋出重點新增工作流功能,實現配置化編排業務;租戶簡化繫結,不同型別計算元件無強制依賴等功能。

Taier1.2新增功能詳解

1.新增工作流

通過視覺化操作拖動任務節點到畫板中,手動連線上下游任務組成依賴關係,形成一個DAG的工作流。同時支援任意型別的任務通過工作流拖拽的方式,直接實現配置化編排業務

file

2.新增OceanBase SQL

新增OceanBaseSQL 任務,支援OceanBaseSQL的任務排程和運維展示。

3.新增Flink jar任務

支援上傳自定義開發的Flink jar任務,通過Taier提交執行和監控。

4. 資料同步、實時採集支援髒資料管理

資料同步、實時採集支援髒資料管理,可以配置髒資料數量限制和儲存方式,可儲存至資料庫實時檢視。

5.Hive UDF

Hive SQL 支援udf函式開發配置。

6.控制檯UI升級

控制檯互動和頁面全新升級,通過樹形結構展示元件配置資訊,同時支援擴充套件自定義元件進行配置。

file

7.租戶繫結簡化

叢集和租戶繫結簡化,移除租戶對接叢集schema的強制繫結關係,不同型別計算元件無強制依賴;優化任務開發流程邏輯,支援自定義擴充套件任務型別。

未來規劃

Taier自今年2月份開源以來,已更新迭代Taier1.1、Taier1.2兩個版本,目前Taier1.3的版本已在規劃中,在新版本中我們將著重解決以下幾個問題:

  • 支援Flink Standalone 不依賴Hadoop也可以使用Flink相關的功能,降低上手環境成本

  • 適配開發者Window環境,支援Window環境下的任務提交流程

  • DatouSourceX版本升級,新增更多的資料來源型別支援

除了不斷保持迭代更新外,Taier將持續保持每月一次開源技術直播,幫助Taier開發者們更好的使用產品,歡迎有興趣的小夥伴們加入我們的交流社群(釘釘qun:30537511),一起交流Taier的技術問題及難點,和Taier一起共同進步!

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」