一種基於實時大數據的圖指標解決方案

語言: CN / TW / HK

作者:京東科技 尚建平

1. 現有技術

在電商、金融風控領域,使用圖來建模,將大量的人員和事件編織成一張龐大的圖關係網絡,構建圖指標來識別異常人員和羣體風險行為,目前圖指標現有實現方式是基於離線數據或t+1數據構建圖關係網絡,圖指標由業務人員或需求人員根據業務需要提出具體需求由開發人員臨時開發、測試、部署、上線。

2. 現有技術的缺點

第一,圖指標時效性差,無法實時更新圖關係數據,在某些時效性強的場景下圖指標不可用。

第二,創建、修改圖指標流程繁瑣,業務及需求人員無法單獨實現,需開發人員臨時開發。

第三,圖指標相關元數據沒有統一管理及分類,無法查看、修改、複用、追溯。

3. 本發明技術方案

3.1 本發明所要解決的技術問題(即發明目的)

第一,接收實時大數據流,實時構建圖關係網絡,圖指標可基於實時圖關係數據查詢。

第二,業務及需求人員對圖指標可視化創建、測試、上線,無需開發人員參與。

第三,圖指標相關元數據進行統一管理及分類,可靈活查看、修改、複用、追溯。

3.2 本發明的完整技術方案

3.2.1 系統原理圖、結構説明圖或流程圖

圖1-系統原理圖

3.2.2 技術方案詳細描述

如圖2-系統流程圖所示,方案詳細描述如下:

步驟1:實時圖指標平台獲取用户設計圖指標相關的元數據信息,包括數據源、圖模型、圖指標等元數據。數據源信息描述了接入數據源類型和數據源字段信息,圖模型信息描述圖關係網絡的構建模型及構建數據的字段映射信息,圖指標信息描述圖指標計算邏輯信息。

步驟2:實時圖指標平台根據數據源信息接收外部實時流數據。數據源主要是可構建圖關係網絡的人員及事件信息,包括用户登入、註冊、訂單交易、風險決策等數據源。

步驟3:實時圖指標平台將接收的實時流數據進行清洗、轉換、分流。將接收的數據源中無效的數據及非法數據清除,並根據不同圖模型數據要求對數據進行轉換、分流。

步驟4:實時圖指標平台根據圖模型信息及數據字段映射信息,將實時數據流轉換生成可插入圖關係數據的類SQL。將人員及事件信息轉換成用類SQL表示的用户、設備等節點及用户與設備節點之間關聯的登入、註冊等邊數據。

步驟5:實時圖指標平台通過對nebula圖數據庫各圖空間執行類SQL將圖關係數據插入更新至nebula圖數據庫。通過實時插入更新類SQL表示的節點及關聯邊數據,將大量的人員和事件編織成一張龐大的圖關係網絡,並實時更新。

步驟6:實時圖指標平台接收外部系統查詢圖指標結果請求及入參,查詢用户可視化配置的圖指標相關元數據信息。如查詢用户x近30天內使用過的所有設備關聯的註冊金白條用户數量。

步驟7:實時圖指標平台將可視化配置的圖指標元數據信息轉換成用類SQL表示的圖指標計算邏輯。如從用户x節點查找近30天登入、註冊等邊關聯出的所有設備,再反向查找這些設備被多少註冊過金白條的用户使用過。

步驟8:實時圖指標平台通過對nebula圖數據庫執行查詢類SQL,獲取圖指標查詢結果,根據業務情況調整圖指標閾值,識別異常人員和羣體風險行為。如用户x近30天內使用過的所有設備關聯的註冊金白條用户數量大於5時,那麼識別出用户x是風險用户。

圖2-系統流程圖

3.3 本發明希望保護的技術創新點

本發明通過接收實時大數據流,實時構建圖關係網絡,實現圖指標數據實時查詢。

本發明通過可視化配置維護圖指標相關信息,實現圖指標及相關元數據統一管理、快速部署上線。