袋鼠雲思樞:數棧DTinsight,創新升級,全新出發,駛入數智轉型新賽道

語言: CN / TW / HK

在7月28日的袋鼠雲2022產品釋出會上,基於對現在與未來的暢想,袋鼠雲產研負責人思樞正式釋出了全新的四大產品體系。

其中的數棧DTinsight,相信大家都很熟悉了,不同於數駒這位新朋友,數棧作為袋鼠雲和大家經常見面的“老朋友”,在保持初心的同時,這次也有了一些不一樣的變化。

作為袋鼠雲打造的一站式大資料開發與治理平臺——數棧DTinsight,包括離線資料開發、實時資料開發、資料服務、資料資產四款產品,在資料採集、加工、統一服務的基礎上,將全域資料資產匯聚、資料治理融合其中,極大地縮短了資料價值的萃取過程,提高企業提煉資料價值的能力。

file

以下為思樞演講全文:

接下來我來為大家介紹一下“老朋友”數棧DTinsight,如何面向資料提供一站式資料開發與治理能力,幫助企業實現資料價值呈現。

一、驚喜變化 數棧全新起航

早期企業在進行資料價值化建設過程中,為了更好的服務上層業務需求,從業務需求出發,驅動後端業務系統及對應資料庫建設,這在一定程度上滿足了上層業務需求。但隨著業務需求的增多,業務複雜性的增加,相關的問題也暴露了出來:如超過TB級以上海量資料的分析能力差,各個業務板塊資料進行融合分析難度高,面向多變市場的靈活性業務需求難滿足等。

原有的基於業務需求快速迭代開發而形成的煙囪式業務系統,無法滿足當下數字化場景需求,迫切需要一個能夠處理多源異構資料來源、PB級資料儲存、強大分析引擎、標準資料規範,且靈活便捷的全新“系統”,而數棧DTinsight也由此而生。

file 數棧DTinsight,對標一站式資料開發與治理,在面向多源異構資料來源時,通過資料匯聚能力實現全域資料打通,而後通過數棧多年經驗形成的資料治理方法論,在資料開發過程中,形成資料資產,完成資料治理工作,並通過資料服務能力,將高質量的資料高效共享,為報表分析、決策分析等提供資料支撐,賦能各行各業。

在整個過程中數棧聚焦資料問題,打通資料鏈路,將全域資料資產匯聚,統一資料治理融合其中,縮短資料價值的萃取過程,增強企業提煉資料價值的能力,為企業提供一站式解決方案。

請大家看數棧的產品架構圖:

file 在數棧整個產品的設計過程中,主要分為四大模組,分別是用於批任務的離線開發平臺、用於實時任務的實時開發平臺、用於資料治理的資料資產平臺、用於資料服務的資料共享服務平臺。

整個數棧通過整合自研的資料整合框架ChunJun對接30+異構資料來源,包括傳統的關係型資料庫、NoSQL資料庫HBase、文件資料庫MongoDB、國產資料庫達夢等,將資料統一儲存在數駒或其他大資料平臺,包括開源Hadoop體系以及商業版CDH、TDH、FI等,也可以儲存在數倉引擎中包括GP、TiDB等,而後在這之上開展基於DataOps理念的資料價值化流程。

同時數棧各個板塊基於解耦化的設計,能夠基於客戶需求靈活搭配,如離線+API完成傳統數倉體系搭建,離線+資產+API構建資料治理體系,實時+API構建實時數倉等。

在這裡也重點講下數棧在DataOps理念下的實踐。DataOps是一種協作式資料管理的實踐,致力於改善組織中資料管理者與使用者之間資料流的溝通,整合和自動化。

file 資料開發同學在完成一個ETL任務的過程中,一般需要經過資料來源的準備—資料同步—資料檢查—資料處理—資料校驗—資料分析這6個步驟。在這過程中:

● 持續開發

數棧提供了SQL IDE、Gitlab等開發工具,來支援敏捷的資料開發任務;

● 連續測試

數棧提供豐富的sql測試集和效能測試,達到保障資料準確性的作用;

● 持續部署

數棧提供一鍵式測試任務到生產任務的釋出和大規模工作流的自動化編排;

● 資料治理

數棧提供元資料的自動化生命週期管理和全鏈路的資料血緣解析。

二、五大特性 數棧核心理念

說了這麼多,接下來重點聊聊數棧的產品特性,主要包含以下幾點:

● DataOps

基於DataOps設計理念,數棧實現了資料全生命週期的質量監管和資料開發流程規範,為資料治理保駕護航;

● 資料還原

數棧不僅僅能夠實現資料實時同步,也能實現源端資料結構到目的端的實時還原,真正做到資料復現,完整統一;

● 金融級安全

資料的全域打通在加快了資料價值化呈現程序的同時,也放大了資料安全隱患問題。數棧基於系統安全、資料安全、服務安全和行為審計四大維度,實現資料安全管控,操作有跡可循,避免資料洩露,保證資料安全高效地共享服務;

● 全域資料治理

通過打通資料壁壘,建立基於統一資料標準和資料模型,監控資料質量,形成高質量的資料資產,為上層業務提供便捷的資料服務,並能生成質量報告,不斷優化資料,持續賦能數字化場景;

● 相容開放

數棧秉承開放相容的設計理念,相容多種底層計算引擎包括開源Hadoop體系、商業Hadoop版本和多種數倉引擎,在國產信創道路上相容多種國產作業系統、國產資料庫、國產伺服器以及國產晶片。同時本著基於開源回饋開源的思想,數棧也將核心元件進行了開源,包括資料整合框架ChunJun、百萬級排程引擎Taier。

file

三、賦能業務 數棧應用場景

說完產品特性,接下來通過介紹三個數棧的實際應用場景,以點及面地幫助大家更好得理解數棧。

數棧X金融場景

我們都知道隨著移動APP的興起,我們的金融交易不再侷限於銀行櫃檯,通過手機就可以實現各種各樣的金融活動,這加大了金融交易的安全隱患,社會上因金融詐騙而被騙取錢財的新聞屢見不鮮。如何保證在海量金融交易過程中,進行金融交易行為的風險評估,保證消費者的權益是時下金融客戶急需解決的問題。傳統的資料分析模式,因資料標準不統一、資料質量差,導致資料分析邏輯複雜,耗時週期長,無法做到及時反饋結果,等發現時已為時已晚。

袋鼠雲幫助金融客戶藉助數棧一站式資料開發與治理的能力,匯聚金融各種交易資料,構建金融的實時數倉,實現資料分析的毫秒級響應,讓消費者在享受金融交易便捷性的同時,無感分析交易風險,避免金融詐騙等高危操作,同時對交易行為進行實時推送、異常行為實時預警,助力安全金融的構建。

file

數棧X水務場景

我們知道在夏季,一些河流較多的城市容易發生洪澇,一旦降雨增多,還會附帶泥石流等災害因素,對應的各級政府在雨季對於洪澇搶險救災一向是時刻關注。但傳統的監控無法做到精準的災害預警和災後的應急響應,造成大量的國家資產損耗,甚至是人員傷亡。

袋鼠雲數棧基於河流以及環境監測資料等,制定事前、事中、事後三步走策略,通過事前實時監測,包括降雨、水位等,實時將資料反饋到監控大屏中;然後在事中進行實時預測,包括降雨預測、災害預警等,將未來可能發生的事情實時展示到大屏中,為災害做好預防準備,及時通知人群疏散,最大程度避免人員傷亡;最後實現事後響應,對當前災情進行統計分析,為搶險救災提供資料決策支撐,合理調配人員安排,最大程度避免國家財產損失。

file

數棧X集團港口場景

對於一個港口而言,貨物吞吐量是衡量港口能力的一個因素,如何最大化提高港口貨物吞吐是所有港口一直在思考的問題。傳統的港口排程因各個區域的職責所屬,無法感知全港口的貨物走向,只能基於自身區域進行人員的調配和車輛的調配,實現區域內的“區域性最優”,某種程度上提高了港口的貨物吞吐量,無法實現“全域性最優”。

袋鼠雲數棧從全港口角度出發,打通全港口資料資訊,感知全港口貨物走向,瞭解各區域貨物吞吐速率,針對“擁擠”區域,進行資源傾斜和人員調配,同時感知“未來貨物”量,及時做好資源準備,最大程度上提高全港口的人員與車輛排程能力,實現港口貨物吞吐量的最大化,讓“資訊化”港口升級為“智慧化”港口。

file

四、不忘初心 數棧砥礪前行

從2016年推出數棧算起,一晃眼,數棧已經走過了第六個年頭,未來數棧將繼續秉持初心,在不斷打磨自身的同時,追求更深層次的突破。

未來規劃

· 資源分配:從傳統的定值設定,到結合任務負載,進行精細化引數調節,實現更加高效的資源利用。

· 資料共享:建立按需共享模式,實現企業內的跨業態、跨部門的經驗分享,沉澱企業內的資料知識庫,滿足更高的資料共享需求。

· 資料監控:實現自動化干預資料,根據每日的任務執行情況等多維度資訊建立系統自診斷能力,及早預測、發現、干預資料問題,變被動為主動。

· 資料校驗:實現智慧化規則建立,自動掃描SQL和表資訊,獲取不合規因素,自動建立合理的資料校驗規則,降低手動配置工作量。

file

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」