走好資料中臺最後一公里,為什麼說資料服務API是資料中臺的標配?
原文連結:走好資料中臺最後一公里,資料服務API是資料中臺的標配
影片回顧:點選這裡
課件獲取:點選這裡
一、資料服務API建設背景
在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“網際網路化、數字化”程序的不斷深入,越來越多的業務被遷移到網際網路上,產生大量的業務互動和對外服務需求,對API介面的需求與日俱增,如何快速提升企業資料開放共享能力,是企業面臨數字化轉型的關鍵命題。
傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發週期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:
為了更多的解決這些問題,我們在企業開放、共享資料過程中需要確定以下目標:
-
快速構建 API
-
系統穩定、資料安全
-
易於整合使用
-
授權交付
-
低成本運維
二、資料服務平臺建設方法論
在分享資料服務平臺建設方法論之前,我們先了解一下常見的資料中臺應用架構:
資料服務層作為資料中臺整體應用架構中處於中間地位,將資料計算層的結果通過資料API的形式對外共享給資料應用層。資料服務層主要有3個作用:
1、當資料已被整合和計算好之後,需要提供給產品和應用進行資料消費;
2、為了有更好的效能和體驗,構建資料服務層,通過介面服務化方式對外提供資料服務;
3、滿足應用各種複雜的資料服務需求(簡單資料查詢服務、複雜資料查詢服務、實時資料推送)
而在資料服務層對外提供服務的過程中,經歷了從**“DWSOA”到“OneService”**的演變過程。
從“OneService”資料服務本身來說,主要是解決異構資料來源、重複建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式資料服務、統一且多樣化資料服務、跨源資料服務的服務目標。
因此,若想構建一個完整的資料服務平臺,需要具備以下6個要素:
-
便捷開發,具備低程式碼化的開發能力
-
易於管理,API管理操作視覺化查詢API
-
易於使用,具備規範化的文件描述資訊
-
安全穩定,服務呼叫追蹤監控、服務使用審計、鑑權等
-
易於運維,測試、糾查、問題規則配置
-
效能,負載均衡、高併發
三、基於OneService構建資料體系
瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建資料體系,主要遵循以下步驟:
● 第一步:API定義
API的定義包括:快速配置引數、選擇排序欄位、API型別多樣性、資料預覽、複製欄位等方面。
API的型別又包括生成API、註冊API、服務分組及服務編排這4個方面。
● 第二步:API釋出
API的釋出包括測試、提交至API閘道器、釋出至API市場、版本管理這幾個方面。
● 第三步:API呼叫
API呼叫包括資料預覽、API申請、審批、下載介面文件、正式呼叫這幾個方面。
● 第四步:呼叫監控
業務上:對API呼叫的統計資料進行深入的分析,進而得出關鍵資訊;
技術上:通過API呼叫的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;
安全上:對呼叫IP、呼叫次數進行監控,對呼叫者進行溯源。
● 第五步:資料安全
資料安全包括:統一認證鑑權、傳輸加密、安全組、角色分配、行級許可權、呼叫審批等。
上述的資料服務API的建設過程,其實正是袋鼠雲自研的數棧資料服務EasyAPI產品的落地實踐過程。
資料服務(EasyAPI),高效的企業級資料服務產品,通過雙模式視覺化配置生成與註冊API,快速構建OneService資料共享服務,形成企業級的API市場和API服務管理平臺,提高資料開放與共享效率。
同時產品具備以下特點:
- 快速構建
配置即開發,支援0程式碼、低程式碼快速構建API
- 安全性高
使用者認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、呼叫申請審批、呼叫週期次數的限制、黑白名單
- 靈活度高
“服務編排“可對不同的API進行組合,支援整合python進行資料處理、支援“條件判斷”節點,選擇符合條件的分支
- 配置靈活
橫向拓展API閘道器、快取
- 低成本運維
採用Serverless架構,只需關注API本身的業務邏輯,很少考慮執行環境等基礎設施
四、API實施落地案例
接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。
● 金融:某證券公司應用資料服務
● 學校:某大學應用資料服務
● 零售:某網路公司應用資料服務
袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:http://github.com/DTStack
- 實用五步法教會你指標體系的設計與加工
- 他來了!袋鼠雲大資料基礎平臺EasyMR正式上線
- ChunJun&OceanBase聯合方案首次釋出:構建一體化資料整合方案
- 開源專案丨ChengYing 1.1版本重磅釋出:新增超多功能,全新優化體驗!
- 開源交流丨一站式大資料平臺運維管家ChengYing安裝原理剖析
- 終於有人把不同標籤的加工內容與落庫講明白了丨DTVision分析洞察篇
- ChunJun Meetup演講分享 | 基於袋鼠雲開源框架的數倉一體化建設探索
- 開源交流丨任務or例項 詳解大資料DAG排程系統Taier任務排程
- 從Multirepo到Monorepo 袋鼠雲數棧前端研發效率提升探索之路
- 袋鼠雲思樞:數棧DTinsight,創新升級,全新出發,駛入數智轉型新賽道
- 開源交流丨批流一體資料整合框架ChunJun資料傳輸模組詳解分享
- Hi,我是ChunJun,一個有趣好用的開源專案
- 袋鼠雲申杭:數雁EasyDigit,致力成為金融行業資料洞察平臺供應商的“領頭雁”
- 開源專案丨一文詳解一站式大資料平臺運維管家ChengYing如何部署Hadoop叢集
- 從洞察到決策,一文解讀標籤畫像體系建設方法論丨DTVision分析洞察篇
- 想要精準營銷,從學習搭建一套對的標籤體系開始丨DTVision分析洞察篇
- 袋鼠雲思樞:數駒DTengine,助力企業構建高效的流批一體資料湖計算平臺
- DataOps不是工具,而是幫助企業實現資料價值的最佳實踐
- 開源專案丨Taier1.2版本釋出,新增工作流、租戶繫結簡化等多項功能
- 當我們在聊「開源大資料排程系統Taier」的資料開發功能時,到底在討論什麼?