資料資產為王,如何解析企業數字化轉型與資料資產管理的關係?
原文連結:資料資產為王,解析企業數字化轉型與資料資產管理的關係
影片回顧:點選這裡
課件獲取:點選這裡
一、資料資產背景介紹
隨著企業數字化轉型的深入,資料體量爆炸式增長,如何控制資料生產成本、發現有價值的資料,提高資料ROI,成了企業數字化轉型中後期的關鍵任務,這也是資料資產管理的終極目標。
而在數字化轉型過程中並不是一帆風順,往往會遇到很多問題。如何控制生產成本、發現惡性成本因素、量化生產成本?如何發現價值資料、梳理資料分佈、分析資料價值?這都是企業是實現企業數字化轉型路上需要思考的問題。
如何解決上述問題,關鍵點在於利用方法論+工具思路構建資料資產管理平臺。
二、資料資產管理方法論
那麼如何給予方法論進行資料資產管理呢?我們可以從以下幾個方面入手:
1、如何梳理資料:元資料管理
在梳理資料之前,我們首先要明確三個目標:
-
目標一:明確有哪些資料
-
目標二:理解這些資料的作用
-
目標三:便捷統一的查詢入口
明確完目標後,根據元資料管理五步法,我們來進行資料梳理:
-
第一步:採集元資料
-
第二步:定義元模型
-
第三步:維護元資料
-
第四步:元資料質量
-
第五步:元資料查詢
2、如何提升資料規範性:資料標準+資料模型
元資料採集上來之後,要做的第二個事情就是資料標準和資料模型,這個步驟和元資料管理並沒有非常明確的切分,但在一般企業做資料資產管理時一般會先做元資料管理,因為見效比較快。
傳統的資料開發方式會出現許多問題,例如:表名缺乏約束規範,無法直觀的從表名判斷出輸出層級、資料含義;欄位缺乏註釋;欄位名不嚴謹,status等於狀態,不等於訂單狀態;沒有定義資料生命週期lifecycle等。
而規範方式在底層對數倉分層、主題域等進行規範設計,建立資料標準然後統一進行模型設計,之後進行模型稽核然後模型釋出,提升整體的資料規範性。
3、如何提升資料治理
技術部門與業務部門共同確定資料質量提升場景,從業務場景出發,從上至下建設,不能由開發人員想到什麼臨時校驗什麼,包括:
-
從業務場景出發,解決實際的業務資料問題,明確建設目標,保障執行策略無偏差
-
線下調研、收集、整理資料問題,按業務目標進行分類管理
-
根據業務分類進行規則集管理,根據資料質量反饋不斷優化、沉澱規則集
4、如何量化資料價值
量化資料價值從兩個方向入手,一個是資料成本,一個是資料價值。
資料成本包括建設成本及資源成本兩塊,建設成本無法單算,只能根據專案成本(中臺建設、交付實施等專案)、人力成本進行估算;而資源成本則可以量化,也是我們需要重點關注的部分,包括儲存單價、計算單價等。
資料價值直接收益和間接收益,直接收益是指對於部分跨集團資料共享、資料封裝對外銷售的場景,可直接量化收入;間接收益是指大部分資料是服務企業內的業務開展,無法直接進行量化收益,只能間接從這兩個維度分析價值:資料使用熱度、資料上下游依賴。
通過資料成本和資料價值的合理測算,我們就能量化資料價值。
三、資料資產產品介紹
上面我們為大家講了很多方法論的內容,那麼有沒有一款產品能夠切實解決企業問題,幫助企業搭建資料資產管理平臺呢?在這裡我們為大家介紹袋鼠雲數棧的資料資產產品——湖倉資料資產(DataAssets)。
**湖倉資料資產管理平臺(DataAssets),**通過元資料管理、資料標準規範設計、資料質量提升、資料熱度和成本計算,優化資料生產成本、量化資料收益價值,廣泛應用於湖倉建設的中後期階段。
湖倉資料資產管理平臺的產品特點是通過統一平臺以達到治理閉環的效果。
產品主要包含以下幾個功能:
- 接入元資料進行管理
- 元資料查詢
- 資料標準管理
- 資料模型管理
- 資料質量管理
同時產品具備以下價值
- 梳理/管理企業資料
全面採集、管理、盤點資料,讓大家知道並理解企業有哪些資料
- 提升資料規範性
建設資料標準體系,通過資料模型的自動引入,完成規範的模型設計
- 提升資料質量
通過事前規則配置、事中規則執行、事後質量報告,及時發現問題資料,有效避免問題的影響擴散
- 量化資料價值
通過分析資料的成本、收益,合理評估每份資料的價值
四、資料資產客戶案例
接下來我們分享三個使用客戶的實際案例,為大家介紹資料資產管理平臺如何切實的幫助客戶解決問題。
- 金融:某支付集團一站式元資料管理平臺
- 金融:某銀行資料質量治理提升專案
- 製造:某晶片製造企業統一資料資產管理平臺
袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:http://github.com/DTStack
- 袋鼠雲思樞:數駒DTengine,助力企業構建高效的流批一體資料湖計算平臺
- DataOps不是工具,而是幫助企業實現資料價值的最佳實踐
- 開源專案丨Taier1.2版本釋出,新增工作流、租戶繫結簡化等多項功能
- 當我們在聊「開源大資料排程系統Taier」的資料開發功能時,到底在討論什麼?
- 開源交流丨批流一體資料整合工具ChunJun同步Hive事務表原理詳解及實戰分享
- 大資料開源專案,一站式全自動化全生命週期運維管家ChengYing(承影)走向何方?
- 基於開源流批一體資料同步引擎ChunJun資料還原—DDL解析模組的實戰分享
- 資料資產為王,如何解析企業數字化轉型與資料資產管理的關係?
- 走好資料中臺最後一公里,為什麼說資料服務API是資料中臺的標配?
- 基於開源大資料排程系統Taier的Web前端架構選型及技術實踐
- 實時開發平臺建設實踐,深入釋放實時資料價值丨04期直播回顧
- 袋鼠雲數棧基於CBO在Spark SQL優化上的探索
- 離線數倉建設,企業大資料的業務驅動與技術實現丨03期直播回顧
- 蛟分承影,雁落忘歸——袋鼠雲一站式全自動化運維管家ChengYing(承影)正式開源
- 資料指標體系如何搭建才最有效,從0到1帶你快速入門丨02期直播回顧
- 玩轉叢集配置中心,一文帶你瞭解Taier控制檯
- 爭奪存量使用者關鍵戰,助力企業構建完美標籤體系丨01期直播回顧
- 開源專案丨Taier 1.1版本正式釋出,新增功能一覽為快
- ChunJun支援異構資料來源DDL轉換與自動執行 丨DTMO 02期回顧(內含課程回放 課件)
- 袋鼠雲批流一體分散式同步引擎ChunJun(原FlinkX)的前世今生