開源交流丨任務or例項 詳解大資料DAG排程系統Taier任務排程

語言: CN / TW / HK

課件獲取:關注公眾號 “數棧研習社”,後臺私信 “Taier” 獲得直播課件

影片回放:點選這裡

ChunJun 開源專案地址:githubgitee 喜歡我們的專案給我們點個__ STAR!STAR!!STAR!!!(重要的事情說三遍)__

技術交流釘釘 qun:30537511

前言

在分享之前,先為大家介紹一下任務和例項的關係。任務指的是我們在任務開發介面上去建立的任務,比如Spark任務、SparkSQL任務、資料同步任務等,這些任務在開發過程中是靜態的指令碼,當被提交到計算節點去執行時,被執行的過程我們把它抽象成例項。舉一個簡單的例子來說明:比如我們寫完一個Java的類然後把它打包成Jar包,其實這個Jar包就是一個靜態類,當我們執行Jar包時,這個過程我們會把它抽象成一個例項,這就是任務與例項的關係。

Taier例項生成

1、Taier例項型別

首先我們來看一下Taier例項的型別,在Taier中例項主要有3種類型:

  • 週期例項:T+1生成,完整依賴

  • 補資料例項:立即生成,區域性依賴

  • 臨時執行例項:立即生成,無依賴

● 週期例項

週期例項是指在前一天生成的當天例項(T+1),擁有一個完整獨立的例項依賴體系,也就是任務和任務之間形成的完整的DAG圖。週期例項實際上指的是離線任務,因為實時任務並無上游依賴關係。

file

上圖就是配置任務之間依賴的地方,任務和任務之間會形成一個完整DAG(Direct Acyclic Graph)圖,中文名叫有向無環圖,從圖中任意一個節點出發,根據方向無法回到原節點的圖就叫做有向無環圖。

注意: 提交任務的時候回判斷是否成環。

而例項依賴可分為兩種:父子依賴關係和自依賴關係。

● 父子依賴關係

父子關係可以理解為不同的任務依賴:例如任務A執行需要任務B的執行結果,這個時候任務A就需要依賴任務B,那麼B任務就是A任務父任務。

● 自依賴關係

自依賴關係可以理解為相同任務的不同週期依賴:例如 任務A是一個小時任務,0點開始執行,10點結束,每小時執行一次,那麼任務A在0點合10點這個時間段上需要執行10次,如果說任務A每次執行都需要上一個週期執行結束,那麼任務A就是一個自依賴任務。

除了上述兩種依賴任務,還有跨週期依賴,不同週期任務的父子依賴關係:子任務會找到父任務最近的執行的一個週期例項依賴。

● 補資料例項

補資料例項是使用者通過頁面或者呼叫介面觸發生成例項,僅有區域性的依賴關係且和週期例項的依賴關係相互獨立互不影響,例項依賴關係和週期例項一致。

注意:補資料是生成區域性的DAG圖,例如 1、2、3任務關係是 1->2->3,在頁面上選擇1和3任務進行補資料,那麼1,2,3任務都會生成,但是最終結果只會執行1和3任務,2任務不執行。

file

● 臨時執行例項

臨時執行例項可以分成兩種離線和實時。

離線任務:使用者可以直接執行任務生成例項,例項沒有依賴關係。

實時任務:實時任務沒有周期,上下游依賴這一概念,所以所以的實時例項都是臨時執行的。

Taier週期例項生成

接下來我們來看一下Taier週期例項的生成。

file

上圖為Taier例項的整體生成圖,Taier主節點在啟動的時候會開啟一個定時器,定時器會不停的去判斷當日的例項是否已經生成,如果沒有生成就會觸發事件給CycleJobBuilder生成例項,再通過JobDependency封裝例項之間的依賴關係。

其中CycleJobBuilder是指用於生成周期例項,掃描資料

庫任務表並且獲取zk上所有的taier節點,把封裝後的實

例分配到每一臺Taier節點上;JobDependency是用於生成job之間的依賴關係。

接下來為大家介紹下Taier的主從選舉。

在application.properties檔案中配置zk:

nodeZkAddress=${ZK_HOST}:${ZK_PORT}/taier

● Taier服務註冊

每一臺Taier服務都會去把自己的地址註冊到zk上/taier/brokers下,在生成例項的時候,主節點就是從/taier/brokers獲取所有註冊在zk的Taier節點資訊。

每一臺Taier服務和zk會維持一個心跳,並儲存在/taier/brokers/ip:port/heart節點下。

file

● 主節點選舉

Taier的主從選舉是基於LeaderLatch來實現的,在啟動Taier後,Taier會嘗試去搶佔/taier/masterLatchLock這邊鎖,搶到鎖的節點就是主節點,沒有搶到鎖的節點就是從節點。

file

Taier例項排程

接下來為大家介紹下Taier例項排程,首先為大家介紹下排程流程。

file

上圖就是Taier例項排程的整體流程,在啟動Taier服務時,會啟動配置的所有排程器,並且開始掃描例項,並提交。

● 排程器

由於例項型別的不同,我們需要的排程器也會不同,但是他們都有一個父類(Scheduler)。

例如CycleJobScheduler專門負責週期例項的排程,而FillDataJobScheduler是負責補資料例項的排程。

不同的排程器,提交的條件也不一定,例如CycleJobScheduler只會掃描2天內的週期例項,而RestartJobScheduler是沒有時間限制的,而且每一個排程器的攔截器鏈也會不一樣。

file

● 攔截器

攔截器是用於負責檢查例項是否到達提交條件,多個攔截器會形成攔截器鏈。當例項通過攔截器鏈時,說明例項到達提交狀態,所以例項會被放入到提交佇列中,等待提交。

預設提供的攔截器:

1.JobStatusSubmitInterceptor:用於判斷例項狀態。

2.JobUpStreamSubmitInterceptor:用於判斷例項上游是否執行完成。注意,該上游例項不僅僅是上游任務例項,還有可能是自依賴例項。

3.TaskStatusSubmitInterceptor:用於判斷任務狀態是否正常。

每個排程器內裝載的攔截器可以不同。

file

Taier例項提交

最後為大家介紹下Taier例項的提交,因為任務型別的不同,所以例項提交置計算節點的邏輯也不同,為了能有更好的擴充套件性,Taier實現類外掛化的處理。

file

file

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」