資料倉庫的下一階段該是什麼?

語言: CN / TW / HK

作者: 資料社 ,編輯: 資料一哥

全文共  3442 個字,建議閱讀  10 分鐘

前言

在大資料時代,大家都意識到資料已經成為了公司寶貴的資產,但如何讓資料發揮價值,一直困擾著大家。資料技術人員需要長時間去理解某一個業務,業務人員也很難使用現代化資料分析工具賦能業務。那麼,如何讓公司資料能夠快速和業務融合起來成為了廣大資料從業者和資料服務廠家一直以來思考的問題。

資料賦能業務的“攔路虎”

回想起Hadoop從2006開始獨立發展,到現在已經16年了,這些年來湧現出了很多資料技術棧,從資料接入儲存,到資料計算分析,可以說是百花齊放。

但在資料融入業務的過程中,逐漸也顯現了一些問題。

我們經常會聽到這樣的聲音:

“你先提交一個數據需求流程吧,我們評估一下開發工作量,排期開發。”

“這個不是我開發的問題,你提的這個指標和小李提的統計邏輯不一樣啊”

“李老師,你說的這個指標定義中的XX是什麼意思呢,這個資料來源從哪裡取值?”

“今年我們這邊的預算已經用完了,以後再提資料需求,需要你們單獨對我們進行結算的。”

那麼我們為什麼會經常有以上這些“抱怨”,總結一下,無非以下幾點:資料開發流程長、資料統計口徑不一致、技術人員與業務人員協同困難、開發運維成本高。

這就導致我們資料開發人員,永遠都有做不完的“提數”需求,資料產品永遠有開不完的會,到了年底還要寫資料為公司創造多少業務價值。

資料人的掙扎

資深的資料人當然知道現在資料賦能業務中的“攔路虎”,同時也做了一些嘗試。

優化資料開發流程

完整的資料開發流程具備以下6個階段:提出階段、設計階段、開發階段、測試階段、釋出階段、運維階段。

以前,也許我們會在不同平臺進行各個階段的管理,比如資料建模是用的1個工具,資料開發1個工具,資料測試一個工具,現在我們搭建了統一的資料平臺,形成了設計開發測試流水線的工作形式。

業務需求介面人

建立業務需求介面人,涉及某個領域的資料需求,統一由改角色向資料團隊提交開發申請。

技術融入業務

要求資料開發人員定期和業務共同辦公,瞭解整個業務流轉過程,提升對業務的理解能力。

降低成本

從技術上建立冷熱資料儲存機制,優化壓縮演算法,建立資料生命週期等。

可以說,在某些方面,確實讓資料開發人員輕鬆了一些,但是資料賦能業務價值真正提升了嗎?

資料賦能業務的探索

資料中臺

資料中臺前幾年很火,最近溫度好像降了下來。回溯一下,當初提出來資料中臺這個概念是為了實現資料的分層和水平解耦,提供全域的資料服務。主要包括以下4部分: 資料資產、資料治理、資料模型、資料服務

資料模型,就是我們熟悉的資料倉庫中的模型,按照資料倉庫規範分層開發模型,實現資料的標準化。

資料資產,在資料倉庫中我們已經建立了一些模型,但是隻有打通資料孤島後才可以稱為資產。

資料治理,為了保障資料資產的完整性、準確性、一致性、及時性,為業務提供統一的、準確的指標保駕護航。

資料服務,提供統一的資料服務線上查詢檢視 ,讓開發者能夠快速、簡單的訪問資料服務。

資料倉庫是“ 管理資料 ”,資料中臺是“ 經營資料,資料中臺是為了提供服務而生,也有說是為了前臺而生,資料中臺的使用物件仍然是 開發人員

對於一個企業來說,業務人員才是“規則制定者”,只有讓業務人員自己把資料指標用的“得心應手”,才能真正的實現資料賦能。 那麼一個面向業務人員的,“零門檻”操作的資料指標平臺,將會成為企業實現全面數字化轉型的必選項

指標中臺

現代管理學之⽗彼得·德魯克有⼀句⾮常經典的話:“What gets measured gets done”,意思是隻有一件事情能被量化,才能夠被解決。就好⽐家⾥有了⼀檯秤,才能衡量減肥的效果。那麼如何量化管理企業呢,這個統⼀的標準去衡量業務,就是指標的由來。

所以,從業務經營角度來看,指標可以衡量業務發展的情況,也為未來業務方向的決策提供重要的支撐,指標中臺的主要使用物件是業務人員。

面向業務人員的平臺,很多資料人也都做過嘗試,比如很多“資料自助分析平臺”,在推廣過程中經常會聽業務人員說“你這個工具還沒我的Excel好用”。所以,面向業務人員使用的平臺門檻一定要低。就要能達到現在普通人使用手機數碼相機就能像專業人員用單反相機拍出一樣漂亮照片的效果。

結合我們現階段資料賦能業務遇到的問題,指標中臺應該能夠具備以下4個特點: ⾼效協同管理、業務敏捷提升、資料⼝徑⼀致、開發成本降低。

⾼效協同管理, 使用者可建立 Goals(目標),並通過多層級的目標結構來管理指標,形成指標體系,實現管理的可觀測性,完成從資料到管理決策的閉環。

業務敏捷提升, 業務人員可以使用無程式碼、低門檻的指標管理平臺,藉助平臺自動化構建指標能力和行業指標模板,快速迭代賦能業務。

資料⼝徑⼀致, 建立統一指標目錄,使得組織能夠輕鬆定義和管理指標,形成統一的指標口徑,並進一步通過治理,增強資料的可信度。

開發成本降低, 業務人員自助建立、複用指標;資料團隊擺脫繁重的 ETL 工作,只需聚焦指標管理;企業人效大幅提升。

Kyligence Zen 指標中臺

9月15日Kyligence秋季論壇上釋出了 Kyligence Zen 指標中臺,以 目標管理、指標目錄、指標自動化、指標 API 四大核心能力助力企業實現智慧指標驅動的管理與決策。

指標目錄: 統一指標體系是企業高效管理和溝通的核心。Kyligence Zen 通過指標目錄能力,使得組織能夠輕鬆定義和管理指標,形成統一的指標口徑,並進一步通過治理,增強資料的可信度。同時,Kyligence Zen 的指標批量匯入能力,能夠方便的從現有 BI 系統、資料倉庫系統等快速匯入並自動生成相關指標定義等。

目標管理: 任何指標都是某個企業管理或者業務目標的數字表達。Kyligence Zen 獨創的目標管理與指標對齊功能,使得組織能夠從管理者視角,將企業管理分解為相關目標,並設定合理的結果或過程指標,並持續追蹤、對比,進一步驅動組織的數字化轉型。

指標自動化: 快速變化的業務需要資料平臺有足夠的敏捷能力。Kyligence Zen 特有的指標自動化能力,依託 Kyligence 專利的 AI 增強引擎,自動從源資料庫、資料倉庫、資料湖等的 SQL 歷史和使用日誌中,動態提取資料集市和相關指標、維度等資訊,快速生成和持續維護指標目錄,自動捕獲最有價值的指標和資料點。Kyligence Zen 也能夠通過查詢歷史中的更多資訊,向業務使用者,自動推薦各種模式下的指標,例如最熱指標、最重要指標等。

API 整合: 開放 API 是現在企業進行組裝式分析的重要基礎。Kyligence Zen 提供的開放 API 介面,能夠輕鬆完成和各類管理、協同、BI 及視覺化工具等的對接。賦能企業自動化各類管理、分析和工作流等。開放的 API 也使得第三方可以輕鬆整合 Kyligence Zen 的核心能力,或者構建各類應用和工具,極大釋放統一指標平臺的潛力。

Kyligence Zen 圍繞指標做相應的洞察、分析,甚至是一些指標的歸因。為面向業務人員提供一種資料SaaS服務,讓企業能夠以最快降低成本的方式,把資料用起來,能夠幫助使用者快速構建整個數字化的指標體系。

指標中臺的展望

指標中臺並不是要完全替代資料倉庫,二者是整合與合作的關係。資料倉庫作為指標中臺的上游資料來源。所以從階段上來說,建議從業務角度明確所需要的業務指標,然後接入資料倉庫的資料,並在指標中臺中定義和管理指標。那麼, 資料處理平臺和指標中臺之間的協作也需要更加便捷

對於AI方面的支援,現在很多業務除了需要指標,還需要進行一些AI方面的深度資料探勘分析,就像以前我們ETL任務都是離線的一樣,隨著資料技術的發展和業務的需求,有了越來越多的實時流處理任務。那麼, 對於指標中臺來說,提供全方面的AI分析能力需求也會變得越來越多

生態的建立,任何技術平臺的使用推廣,需要建立相應的行業生態,否則會很難進行推廣。 有了生態,才會帶動業務上下游一起來使用平臺,逐漸形成標準,也許會發展成為“行業中臺” ,這樣的話,對於整個行業的業務賦能和效率提升意義就更大了。

公眾號回覆「 指標中臺 」下載 指標中臺白皮書!

點選 「閱讀原文」 體驗 Kyligence Zen