網易數帆首發資料生產力模型,加速沉澱企業資料資產
9月23日,2022網易數字+大會在杭州盛大召開,網易數帆在大會現場首發資料生產力模型,並基於此帶來在大資料領域的最新成果釋出,通過重塑企業數智生產力,幫助企業實現資料生產力的躍遷。
網易數帆大資料產品線總經理餘利華 表示,面對數字化時代下的機遇與挑戰,網易數帆沉著應對,憑藉過硬的技術實力和豐富的實踐經驗,從大資料底座、資料中臺、資料治理,再到資料資產的沉澱,精心打磨各個數字化階段的產品與服務,助力客戶打造“人人用資料,時時用資料”的資料文化氛圍,進一步釋放資料生產力。
網 易數帆大資料產品線總經理餘利華
首發資料生產力模型,
推動企業提質增效
基於十多年內外部數字化轉型實踐,網易數帆可提供前沿的、高效能的大資料技術工具和平臺來支撐企業的資料應用。大會現場首發 “資料生產力模型” ,通過數字化實踐經驗模型助力企業數字化轉型目標達成,為企業實現提質增效。
模型定義為充分利用大資料相關技術, 協助行業客戶沉澱資料資產, 探索在業務場景中的資料應用價值, 並通過資料運營發揮長期效用。模型包含 DataOps、DataFusion、DataProduct 三大核心和資料技術、資料資產、資料應用、資料運營四要素,聚焦金融、製造、醫藥、流通等行業。從業務場景中挖掘資料價值,進一步釋放企業資料生產力。
夯實先進大資料技術,
進一步完善DataOps能力
隨著數字化程序加速,當前企業大資料基礎設施的發展也面臨信創加速、架構解耦、雲原生化、流式湖倉的建設等種種挑戰。為了應對數字化潛在風險,網易數帆不斷升級優化產品功能與技術,進一步完善DataOps能力。
作為網易數帆資料生產力模型三大重要核心之一, DataOps 是一種將軟體工程CI/CD的方法融入資料開發的流程,基於自動化的資料測試、任務釋出等技術,構建資料釋出流水線,使得資料開發效率更高、交付更加頻繁,交付質量更有保障。
網易數帆在DataOps實踐中發現了一系列 釋出稽核 的問題,如任務釋出時資源遺漏,多叢集、多環境任務釋出難題等。
為此,網易數帆釋出了全新的 任務釋出中心 ,進一步完善了網易數帆DataOps產品體系。在實際應用中,有諸多金融券商客戶,對資料開發有著嚴格的監管要求,需要有如測試、預發、生產等多套環境來保障資料的隔離和安全。而現有平臺雖然支援部署多套,但是無法進行高效的任務釋出,只能通過人工方式進行重複的建立、開發、上線等操作,成本高且極易出問題。客戶亟需高效、安全的產品能力來支援這類繁重的工作。
任務釋出中心 支援跨叢集的資源釋出能力,支援資源的批量匯出和匯入功能,可實現網路隔離場景下的跨叢集釋出。
本次大會還有一個重要環節,《從資料中臺到資料生產力——網易資料建設實踐》新書首發。這也是網易數帆大資料團隊總結經驗、沉澱技術的匠心之作,希望啟發更多企業探索出符合自身特色的數字化之路。
開發治理一體化,
全方位沉澱企業資料資產
在數字經濟時代下, 資料 日益成為重要戰略資源和生產要素。因此,企業紛紛在數字化轉型過程中開始構建大資料相關的技術平臺,而在此過程中暴露出了一些問題,如:資料開發與資料治理脫節、缺少對不同平臺的統一管理、資料開發過程中效率和質量無法兼顧、煙囪式的資料開發、對資料價值和成本的評估不足等。
為了解決此問題,網易數帆將傳統資料治理的方法融入資料開發的全生命週期中,基於DataOps全生命週期資料開發底座,採用資料中臺架構,結合網易特色的基於ROI的資料資產化實踐, 形成了 資料治理2.0 的方法論。
該方法論的核心內涵為 “資料開發和資料治理一體化” 理念,即“先設計後開發”,可以理解為一邊開發,一邊治理,其目標就是將資料標準定義、指標規範定義、模型設計和資料開發體系連線在一起,以設計驅動開發,在開發的過程中保障資料標準,資料質量,資料安全的落地,以達到“事半功倍”的治理效果。
網易數帆的 資料治理體系 ,既包括傳統資料治理的三大件:資料質量、元資料管理、資料標準,還包括了資料中臺的相關係統,例如指標系統、模型設計中心和資料服務等。通過實現資料治理體系升級,將資料治理的流程自然融入資料開發的全生命週期過程中,在資料開發的過程中,就完成資料治理。通過指標和資料標準的定義實現“規範即設計,設計即開發,開發即治理”,讓資料 “找得到,看得懂,信得過” ,進而為企業提供及時、準確、複用、有價值的資料資產。
在資料治理領域, 網易數帆也取得了不俗成績。有數資料治理平臺榮獲2022CCF大資料與計算智慧大賽”優秀案例獎“、2021-2022大資料產業優秀產品獎等諸多獎項。並在 東北證券、德邦快遞 等多位行業客戶實踐落地。
“未來,網易數帆會持續做好資料治理,打磨全鏈路大資料產品和技術能力,充分啟用資料生產要素的活力,將企業的資料價值與業務變現相結合,並最終沉澱為企業資料資產,助力各個行業企業數字化轉型發展”,餘利華說。
- 網易數帆首發資料生產力模型,加速沉澱企業資料資產
- 元資料治理:產品方案介紹及案例實踐
- 實時計算 | 任務除錯太麻煩?教你一招搞定
- 如何基於 Spark 和 Z-Order 實現企業級離線數倉降本提效?
- 自定義區域劃分填充地圖,聽我那個不加班的同事說很好用
- 從Delta 2.0開始聊聊我們需要怎樣的資料湖
- 資料治理體系演進簡介
- 資料傳輸:同構異IP資料來源批量抽取實踐
- 網易嚴選資料質量保障建設(一):測試分層和數倉造數
- 基於Impala的高效能數倉實踐之執行引擎模組
- 沒加公會 = 留存減半?公會因素對玩家早期留存的影響驗證
- 當我們在聊SCRM的時候,我們在聊什麼?
- 有數BI大規模報告穩定性保障實踐
- 您的聲音我們關心 | 網易數帆有數產品Q1季報
- 有數BI大規模報告穩定性保障實踐
- 淺談網易嚴選使用者行為分析
- 網易數帆資料生產力技術體系
- 網易數帆資料生產力方法論
- 網易新聞推薦工程優化 - 特徵平臺篇
- 資料分析終極一問:指標波動多大才算是異常?