實時開發平臺建設實踐,深入釋放實時資料價值丨04期直播回顧

語言: CN / TW / HK

原文連結:實時開發平臺建設實踐,深入釋放實時資料價值

影片回顧:點選這裡

課件獲取:點選這裡

一、實時數倉建設背景

隨著整體行業的數字化轉型不斷深入以及技術能力的不斷提高,傳統的 T+1 式(隔日)的離線大資料模式越來越無法滿足新興業務的發展需求,開展實時化的大資料業務,是企業深入挖掘資料價值的一條必經之路。

面對數字化轉型下的資料快速產生、“小步快跑”的精細化運營及實時化和自動化的決策需求,如何提高實時資料處理能力將成為企業提升競爭力的一大因素。

file

而企業在建設實時資料應用時,又往往面臨諸多困難:

  • 實時開發技術門檻高,學習難度大,開發過程依賴各種引擎,鏈路複雜

  • 開發資料效率低,程式碼除錯複雜

  • 建設成本、使用成本高

  • 資料建模及開發規範不統一,問題難監控,管理困難

file

為了解決這些問題,我們在實時建設過程中需要確定建設方式和建設目標,幫助企業更好的實現實時數倉建設。

file

二、實時數倉建設方法論

如何幫助企業建設實時數倉,我們主要從以下四個步驟入手:

file

1、明確需求

企業進行實時數倉建設的第一步是明確需求,需求需要業務需求和技術需求想結合。

1)業務需求方面:

  • 詳細梳理各類實時計算應用場景

  • 詳細梳理每個實時指標的具體需求

2)技術需求方面:

  • 詳細梳理每個實時指標的資料來源資訊

file

2、技術選型

第二步技術選型階段,技術選型包括四個方面的選型:

a、整體技術路線

b、採集工具

c、訊息中介軟體+計算引擎及

d、維表、結果表的儲存資料庫

file

3、數倉設計與開發

第三步是數倉設計與開發,包含一下三個方面:

a、實時數倉分層設計

b、開發規範

c、程式碼開發與除錯

file

4、管理與監控

第四步是管理與監控,可以從任務釋出、執行監控與告警、實時資料治理這3個部分入手。

file

三、基於數棧實時開發平臺建設實時數倉

分享完實時數倉的建設方法論,接下來來為大家分享實時數倉的建設流程。

file

第一步:實時採集

基於Chunjun(原FlinkX)對資料庫進行CDC採集,實現採集工具化,可對主流資料來源進行CDC(日誌資料)和通過JDBC(間隔輪詢)兩種實時採集方式。

1、CDC讀取

讀取資料庫日誌的方式,對源庫無壓力

2、JDBC讀取

面向不開放資料庫日誌的場景,通過高頻率的JDBC輪詢讀取資料,要求有自增欄位

file

第二步:資料開發

1、資料開發基礎功能

現在展示的是資料開發的一些基礎功能,包括:WEB SQL IDE、視覺化建表、維表快取策略及系統&自定義函式,豐富的底層元件封裝,介面化操作,降低開發門檻,使開發人員專注於業務邏輯處理。

file

2、資料開發高階功能

除了資料開發的基礎功能之外,還有面向特定行業或場景的高階配置,包括自動重試、自動啟停、髒資料管理。

file

第三步:釋出上線

開發完畢之後就是任務的釋出上線,釋出上線包括任務除錯和任務匯入匯出兩個方面。

file

第四步:任務運維

任務運維就是全域性掌控任務的執行,對於一些異常或緊急情況進行處理的過程。

file

上述的實時數倉建設過程,其實正是袋鼠雲自研的數棧實時開發StreamWorks產品的落地實踐過程。

雲原生一站式大數實時開發平臺(StreamWorks),面向實時數倉構建的雲原生一站式大資料實時開發平臺,實現從實時資料採集、實時資料處理、任務監控運維的全鏈路覆蓋。支援Flink多版本引擎、Kubernetes資源排程,提供豐富的運維監控曲線,助力企業實時化轉型。 圖片

同時產品具備以下特點:

  • 採集+計算+運維一體化

內含實時開發全鏈路工具,採集、計算、運維一體,降低客戶使用成本,降低實時計算門檻。

  • 統一元資料管理

支援輸出自研Hadoop叢集,同時可對接CDH、HDP、TDH等多叢集及Oracle、TiDB等多引擎;節點資源可根據計算儲存需求快速彈性伸縮,業務需求穩定響應。

  • 批流一體

支援Flink批流一體式採集+開發, 整合Iceberg,賦能一體式湖倉建設模式。

  • 功能豐富

平臺提供任務跨環境釋出、程式碼除錯、SQL校驗、提交檢查、自動啟停、批量連線現存任務等豐富功能

  • 雲原生支援

在支援YARN+HDFS的基礎上,同時支援Kubernetes資源排程、MinIO、OSS等物件儲存

同時產品具備3大價值:

  • 降低開發門檻

相容了多版本引擎、適配多種資料來源,封裝整合為視覺化操作介面。基於Web IDE,影象化配置表資訊並使用SQL語言進行開發,降低整體上手門檻

  • 全面運維保障

提供任務全生命週期的視覺化運維。全鏈路拓撲、豐富Metirc曲線展示、多方式多渠道任務告警,幫助使用者搭建全面運維體系,提高運維保障。

  • 促進資料規範

協助企業構建實時數倉,建設實時資料標準及規範。搭建一套實時任務排程、任務執行監控及實時任務可靠恢復機制於一體的實時資料平臺,保障資料質量,提供統一標準的資料出口。

四、實時數倉建設案例

接下來我們分享兩個使用客戶的實際案例,為大家介紹實時開發平臺如何切實的幫助客戶解決問題。

  • 某國有專業經濟資訊服務機構

file

  • 某證券客戶

file

五、數棧批流一體架構解析

最後我們為大家介紹一段拓展資料,關於數棧批流一體架構的解析。

  • 批流一體整體架構

file

  • 批流一體核心價值

file

  • 批流一體資料建設鏈路

file

  • 批流一體採集技術架構

file

原文來源:VX公眾號“數棧研習社”

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」