玩轉叢集配置中心,一文帶你瞭解Taier控制檯

語言: CN / TW / HK

原文地址:玩轉叢集配置中心,一文帶你瞭解Taier控制檯丨DTMO 03期直播回顧(內含影片+課件)

課程影片回顧:Taier基礎教程(二):Taier1.1新功能詳解&控制檯介紹_嗶哩嗶哩_bilibili

開源專案交流群:30537511(釘釘)

開源專案地址:GitHub - DTStack/Taier: 大資料平臺-分散式任務排程系統

 

上期,偷天老師為我們介紹了Taier的入門,本期月白老師將圍繞Taier的控制檯為大家做介紹。控制檯是Taier中的叢集配置中心,通過控制檯Taier可以實現不同叢集環境的對接,在每個叢集下配置不同的型別元件,再去開發對應的任務

通過控制檯,Taier實現了多叢集、多租戶的特性。

 

Taier控制檯功能介紹

 

進入Taier之後,首先需要去控制檯配置叢集,配置完叢集之後,需要再將租戶和叢集繫結才能進行任務開發。控制檯的功能主要包括以下三個模組:

 

多叢集管理

控制檯上支援配置多套叢集環境,叢集下配置不同的計算元件也可以通過不同的計算元件,來實現不同型別任務的提交。

此功能發揮著配置中心的作用,只有將對應的叢集資訊配置到控制檯叢集中,任務才能知道提交到那個叢集環境。

 

 

資源管理

資源管理展示的作用是展示叢集計算節點的記憶體、核數使用情況以及租戶和叢集的繫結關係,幫助使用者更好地確定資源配置使用情況。

此功能有效的幫助Taier實現租戶隔離,在Taier的設計之初,最早明確下來的幾個理念之一就是多租戶多叢集隔離,這一點在Taier中,就是通過租戶和叢集的相互繫結來實現的。

 

 

佇列管理

佇列管理負責協調的是叢集下不同節點下的任務狀態,使用者可以對其進行手動操作。

其主要作用在於提交引數,任務提交的引數資訊都是從控制檯對應的元件獲取並構建。

 

Taier控制檯設計

 

講解完控制檯的作用,接下來為大家分享控制檯的設計思路,Taier控制檯的設計主要圍繞以下這幾點來進行介紹:

 

元件化

1、元件結構邏輯

由於不同環境的資訊不一致,日常的任務資訊處理需要通過配置多個叢集(Cluster)來區分資訊來源。每個叢集下元件按照功能可以劃分為公共元件、資源排程元件、儲存元件、計算元件這四種功能元件,同一功能元件下又可以按照不同的型別做更細化的區分,架構的設計就是這樣從整體到區域性一層層實現的。

 

四個功能元件主要作用是:

  • 公共元件(Common Part):公共元件通用實現邏輯

  • 資源排程元件(Resource Part):資源排程元件通用實現邏輯 

  • 儲存元件(Store Part):儲存元件通用實現邏輯 

  •  計算元件(Compute Part):計算元件通用實現邏輯 ,包括:

DependComputePart:依賴資源元件和儲存元件的計算元件通用實現邏輯如:Flink、Spark等計算元件
SingleComputePart:不依賴任何其他元件的計算元件如:OceanBase、TiDB等計算元件

 

 

2、元件實現邏輯

元件的實現邏輯包含以下幾個方面:

  • 元件的對應的唯一型別列舉值 

  • 元件對應的具體版本

  • 元件的模板引數

  • 元件對應plugin名稱

  • 元件依賴的資源元件

  • 元件額外的版本引數

 

外掛化

元件如何去對應一個外掛版本,以版本為Apache Hadoop2元件外掛為例,具體命令操作可以在課程回放中檢視,外掛檔案能在下面這個資料夾中找到:

 

Taier控制檯規劃

 

簡單化

Taier設計的核心思想一直是「輕量易用」。為了達到這個目標,我們未來將採取一系列舉措,例如優化計算元件和任務之間的關聯關係,讓自定義開發任務更加簡單;還有基於OceanBase提供開發自定義元件、任務、plugins外掛教程,最大化減輕使用者學習操作負擔。

 

我們也將通過優化,讓元件配置的引數更加簡單。目前控制檯的計算元件引數大部分為Taier自定義引數,後續我們將對控制檯計算元件的引數加入引數說明,優化的努力方向是使用者能在配置計算元件時做到對配置程序實時知曉。

 

 

易擴充套件

我們還計劃降低對自定義任務型別開發的難度。新增除了Hadoop以外的其他計算元件,如OceanBase、TiDB擴充套件分散式資料庫的任務型別等。

具體是這五個方面的具體安排:

 

1.實現自定義元件的型別定義

 

2.實現自定義元件的模版引數定義

 

3.開發自定義外掛

 

4. 開發自定義任務

 

5.自定義任務運維中心資訊展示

 

擴充套件k8s支援

目前控制檯的資源排程元件預設僅支援Yarn, 無法快速使用Chunjun On Kubernetes ,後續我們的資源排程元件將會擴充套件k8s的外掛支援,降低任務執行的環境上手難度。

 

以上就是Taier控制檯的基本介紹和未來的一些規劃方向,也歡迎大家來一起交流討論,數棧希望和大家一起成長。

「其他文章」