走好資料中臺最後一公里,為什麼說資料服務API是資料中臺的標配?

語言: CN / TW / HK

原文連結:走好資料中臺最後一公里,資料服務API是資料中臺的標配

影片回顧:點選這裡

課件獲取:點選這裡

一、資料服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“網際網路化、數字化”程序的不斷深入,越來越多的業務被遷移到網際網路上,產生大量的業務互動和對外服務需求,對API介面的需求與日俱增,如何快速提升企業資料開放共享能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發週期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共享資料過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、資料安全

  • 易於整合使用

  • 授權交付

  • 低成本運維

file

二、資料服務平臺建設方法論

在分享資料服務平臺建設方法論之前,我們先了解一下常見的資料中臺應用架構:

file

資料服務層作為資料中臺整體應用架構中處於中間地位,將資料計算層的結果通過資料API的形式對外共享給資料應用層。資料服務層主要有3個作用:

1、當資料已被整合和計算好之後,需要提供給產品和應用進行資料消費;

2、為了有更好的效能和體驗,構建資料服務層,通過介面服務化方式對外提供資料服務;

3、滿足應用各種複雜的資料服務需求(簡單資料查詢服務、複雜資料查詢服務、實時資料推送)

而在資料服務層對外提供服務的過程中,經歷了從**“DWSOA”“OneService”**的演變過程。

file

從“OneService”資料服務本身來說,主要是解決異構資料來源、重複建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式資料服務、統一且多樣化資料服務、跨源資料服務的服務目標。

因此,若想構建一個完整的資料服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低程式碼化的開發能力

  • 易於管理,API管理操作視覺化查詢API

  • 易於使用,具備規範化的文件描述資訊

  • 安全穩定,服務呼叫追蹤監控、服務使用審計、鑑權等

  • 易於運維,測試、糾查、問題規則配置

  • 效能,負載均衡、高併發

三、基於OneService構建資料體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建資料體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置引數、選擇排序欄位、API型別多樣性、資料預覽、複製欄位等方面。

file

API的型別又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API釋出

API的釋出包括測試、提交至API閘道器、釋出至API市場、版本管理這幾個方面。

file

● 第三步:API呼叫

API呼叫包括資料預覽、API申請、審批、下載介面文件、正式呼叫這幾個方面。

file

● 第四步:呼叫監控

業務上:對API呼叫的統計資料進行深入的分析,進而得出關鍵資訊;

技術上:通過API呼叫的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對呼叫IP、呼叫次數進行監控,對呼叫者進行溯源。

file

● 第五步:資料安全

資料安全包括:統一認證鑑權、傳輸加密、安全組、角色分配、行級許可權、呼叫審批等。

file

上述的資料服務API的建設過程,其實正是袋鼠雲自研的數棧資料服務EasyAPI產品的落地實踐過程。

資料服務(EasyAPI),高效的企業級資料服務產品,通過雙模式視覺化配置生成與註冊API,快速構建OneService資料共享服務,形成企業級的API市場和API服務管理平臺,提高資料開放與共享效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支援0程式碼、低程式碼快速構建API

  • 安全性高

使用者認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、呼叫申請審批、呼叫週期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支援整合python進行資料處理、支援“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API閘道器、快取

  • 低成本運維

採用Serverless架構,只需關注API本身的業務邏輯,很少考慮執行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用資料服務

file

● 學校:某大學應用資料服務

file

● 零售:某網路公司應用資料服務

file

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」