一種基於實時大資料的圖指標解決方案
作者:京東科技 尚建平
1. 現有技術
在電商、金融風控領域,使用圖來建模,將大量的人員和事件編織成一張龐大的圖關係網路,構建圖指標來識別異常人員和群體風險行為,目前圖指標現有實現方式是基於離線資料或t+1資料構建圖關係網路,圖指標由業務人員或需求人員根據業務需要提出具體需求由開發人員臨時開發、測試、部署、上線。
2. 現有技術的缺點
第一,圖指標時效性差,無法實時更新圖關係資料,在某些時效性強的場景下圖指標不可用。
第二,建立、修改圖指標流程繁瑣,業務及需求人員無法單獨實現,需開發人員臨時開發。
第三,圖指標相關元資料沒有統一管理及分類,無法檢視、修改、複用、追溯。
3. 本發明技術方案
3.1 本發明所要解決的技術問題(即發明目的)
第一,接收實時大資料流,實時構建圖關係網路,圖指標可基於實時圖關係資料查詢。
第二,業務及需求人員對圖指標視覺化建立、測試、上線,無需開發人員參與。
第三,圖指標相關元資料進行統一管理及分類,可靈活檢視、修改、複用、追溯。
3.2 本發明的完整技術方案
3.2.1 系統原理圖、結構說明圖或流程圖
圖1-系統原理圖
3.2.2 技術方案詳細描述
如圖2-系統流程圖所示,方案詳細描述如下:
步驟1:實時圖指標平臺獲取使用者設計圖指標相關的元資料資訊,包括資料來源、圖模型、圖指標等元資料。資料來源資訊描述了接入資料來源型別和資料來源欄位資訊,圖模型資訊描述圖關係網路的構建模型及構建資料的欄位對映資訊,圖指標資訊描述圖指標計算邏輯資訊。
步驟2:實時圖指標平臺根據資料來源資訊接收外部實時流資料。資料來源主要是可構建圖關係網路的人員及事件資訊,包括使用者登入、註冊、訂單交易、風險決策等資料來源。
步驟3:實時圖指標平臺將接收的實時流資料進行清洗、轉換、分流。將接收的資料來源中無效的資料及非法資料清除,並根據不同圖模型資料要求對資料進行轉換、分流。
步驟4:實時圖指標平臺根據圖模型資訊及資料欄位對映資訊,將實時資料流轉換生成可插入圖關係資料的類SQL。將人員及事件資訊轉換成用類SQL表示的使用者、裝置等節點及使用者與裝置節點之間關聯的登入、註冊等邊資料。
步驟5:實時圖指標平臺通過對nebula圖資料庫各圖空間執行類SQL將圖關係資料插入更新至nebula圖資料庫。通過實時插入更新類SQL表示的節點及關聯邊資料,將大量的人員和事件編織成一張龐大的圖關係網路,並實時更新。
步驟6:實時圖指標平臺接收外部系統查詢圖指標結果請求及入參,查詢使用者視覺化配置的圖指標相關元資料資訊。如查詢使用者x近30天內使用過的所有裝置關聯的註冊金白條使用者數量。
步驟7:實時圖指標平臺將視覺化配置的圖指標元資料資訊轉換成用類SQL表示的圖指標計算邏輯。如從使用者x節點查詢近30天登入、註冊等邊關聯出的所有裝置,再反向查詢這些裝置被多少註冊過金白條的使用者使用過。
步驟8:實時圖指標平臺通過對nebula圖資料庫執行查詢類SQL,獲取圖指標查詢結果,根據業務情況調整圖指標閾值,識別異常人員和群體風險行為。如使用者x近30天內使用過的所有裝置關聯的註冊金白條使用者數量大於5時,那麼識別出使用者x是風險使用者。
圖2-系統流程圖
3.3 本發明希望保護的技術創新點
本發明通過接收實時大資料流,實時構建圖關係網路,實現圖指標資料實時查詢。
本發明通過視覺化配置維護圖指標相關資訊,實現圖指標及相關元資料統一管理、快速部署上線。
- 應用健康度隱患刨析解決系列之資料庫時區設定
- 對於Vue3和Ts的心得和思考
- 一文詳解擴散模型:DDPM
- zookeeper的Leader選舉原始碼解析
- 一文帶你搞懂如何優化慢SQL
- 京東金融Android瘦身探索與實踐
- 微前端框架single-spa子應用載入解析
- cookie時效無限延長方案
- 聊聊前端效能指標那些事兒
- Spring竟然可以建立“重複”名稱的bean?—一次專案中存在多個bean名稱重複問題的排查
- 京東金融Android瘦身探索與實踐
- Spring原始碼核心剖析
- 深入淺出RPC服務 | 不同層的網路協議
- 安全測試之探索windows遊戲掃雷
- 關於資料庫分庫分表的一點想法
- 對於Vue3和Ts的心得和思考
- Bitmap、RoaringBitmap原理分析
- 京東小程式CI工具實踐
- 測試用例設計指南
- 當你對 redis 說你中意的女孩是 Mia