開源專案丨Taier 1.1版本正式釋出，新增功能一覽為快

 

2022年5月8日，Taier 1.1版本正式釋出！

 

本次版本更新對Flink的支援升級到Flink1.12，支援多種流型別任務，新版本的使用文件已在社群中推送，大家可以隨時下載查閱。

 

github地址：

http://github.com/DTStack/Taier

gitee地址：

http://gitee.com/dtstack_dev_0/taier

 

Taier 1.1 版本介紹

Taier是一個分散式視覺化的DAG任務排程系統，是數棧資料中臺整體架構的重要樞紐，負責排程日常龐大的任務量。

 

它旨在降低ETL開發成本，提高大資料平臺穩定性，讓大資料開發人員可以在Taier直接進行業務邏輯的開發，而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現，將工作的重心更多地聚焦在業務之中。

 

Taier1.0版本於2022年2月釋出，在1.0版本釋出的第二天，1.1版本的迭代就已提上日程，並於昨日正式釋出。

 

本次版本更新，著重解決了Taier的適配性問題：對Flink的支援升級到1.12；Taier中的Spark SQL 和 Flink SQL兩個元件也實現了支援使用者在任務中自定義函式，明顯讓Taier的延展性有了更好的發揮；新增了許多例如Hive SQL型別任務、實時任務運維等強大功能。

 

這次版本更新對Taier的固有優勢進行了鞏固，同時也強化並改善了使用者體驗，進一步精細化提升產品效能。

 

Taier 1.1 功能詳解

01  對Flink 版本支援升級到1.12

Taier作為一個分散式視覺化的DAG任務排程系統，採用ChunJun作為分散式資料同步工具。1.1版本將Flink版本升級到1.12 ，支援ChunJun 1.12版本中新增的transformer運算元等以及所有Flink原生語法及Function

02 資料同步支援指令碼模式、增量同步

資料同步任務除嚮導模式外，1.1版本新增資料同步指令碼模式。指令碼模式通過json的方式配置，無需依賴datasourcex的支援的資料來源，直接通過json配置的方式提交任務，指令碼模式的json格式無縫相容ChunJun的資料格式，使用者可以通過指令碼模式除錯各類資料來源的資料同步。

03  新增Hive SQL

Apache Hive是一個構建於Hadoop頂層的資料倉庫，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行執行。Taier1.1版本新增Hive SQL ，支援對接Hive的不同版本 。

04  新增多種實時型別任務

新增實時採集任務，支援將MySQL、Oracle的資料同步至Kafka。

新增Flink SQL任務，通過標準SQL語義的開發幫助快速完成資料任務的配置工作。

05  新增實時任務運維

可通過實時運維中心檢視實時任務的相關指標資訊以及任務的詳細日誌資訊。

06  支援使用者自定義函式

使用者自定義函式（User Defined Function，簡稱 UDF），是使用者除了使用系統函式外，自行建立的函式，用於滿足個性化的計算需求。自定義函式在使用上與普通的系統函式類似。

目前Taier1.1版本 Spark SQL 和 Flink SQL 任務均支援自定義函式。

07  全新暗黑主題上線

Taier開發介面暗黑主題上線，提供多種主題切換，使用者可自行選擇。Taier 1.1可支援使用者自由選擇Dark Default 主題或 Light Default 主題等等介面風格，使用者體驗顯著提升。

 

未來規劃

Taier作為一個新開源的專案，我們的迭代和更新一直在進行中，後續Taier將在擴充套件性、使用者自主性方向上繼續探索擴充套件，比如我們正在努力讓使用者可以基於Taier去自定義開發自己需要的型別任務等等。

 

Taier的每一次進步都離不開社群開發者們的幫助和建議，希望大家保持關注，和Taier一起繼續前進，不斷攀登新高峰！