GraphInsight 網路安全分析實踐
:raising_hand|type_1_2:♀️ 編者按:本文作者是螞蟻集團前端工程師十吾、阿里巴巴達摩院圖計算工程師澤東,介紹了 GraphInsight 在網路安全分析場景下的應用與實踐,歡迎查閱~
引言
GraphInsight 是螞蟻集團 AntV 團隊免費開放的圖視覺化分析應用搭建平臺,底層是開源的圖可視分析引擎 AntV G6,本文介紹 GraphInsight 在 ChinaVis 2022 視覺化挑戰賽中,用圖計算技術在網路安全分析場景下的應用與實踐。
背景
ChinaVis 作為中國的視覺化盛會,在 2022 年的挑戰賽中公佈了一道圖計算相關分析網路黑灰資產的賽題 ,其中網路黑灰產是指利用資訊科技和網路技術,實施各類違法犯罪活動來謀取不正當利益的產業形態,例如網路詐騙、網路賭博、網路色情、違禁品交易等。在該場景下,GraphInsight 團隊使用圖計算技術,為其設計並實現了一套圖視覺化分析方案,挖掘潛在的黑灰資產,取得了不錯的效果。接下來,我們將詳細介紹其中的技術與分析思路。
-
GraphInsight 官網:http://graphinsight.antgroup.com/
-
AntV G6 官網:http://g6.antv.vision/zh
-
AntV G6 GitHub 地址:http://github.com/antvis/G6
技術架構
-
GraphInsight: 負責提供圖應用快速搭建的能力,搭建基礎的黑灰產分析應用。例如,GraphInsight 允許我們針對該場景自定義設計開發分析任務,如資料總覽、節點重要性、社群發現、路徑分析、模式匹配等。
-
GraphScope: 負責解決該場景下,大規模圖資料的儲存、查詢、計算問題。在探索過程中,GraphInsight 隨時可以通過呼叫 GraphScope 的服務,進行大規模圖資料的計算。
分析思路和分析工具
整體分析思路為:
-
前置處理:圖建模、統計與特徵分析;
-
GraphInsight:從點到線到面的互動式圖可視分析,包括: 關係擴散 - 種子節點啟發 – 節點社群分析 – 路徑分析 (鏈路識別) – 模式匹配 (子圖挖掘) – 圖推理演化(自然人網路);
-
GraphScope:上述所有分析演算法均可在前端畫布資料上探索實踐,確認有用後,發起 GraphScope 大規模計算 ,在返回結果資料上繼續分析。
事實上,該圖分析思路在各個領域均可通用。針對黑灰產分析場景,各環節有特殊業務語義與業務規則作為分析條件。各環節拆解如下:
圖建模
圖模型 (Schema) 是對資料的抽象定義,幫助我們理解、管理、查詢資料。該場景下的實體型別有域名 Domain、IP 地址、證書 Cert 等,關係型別有跳轉、子域名、關聯證書等。針對不同的實體/關係型別,可在圖模型上進行視覺通道與資料型別的對映配置。在分析階段展示的資料將依據模型樣式配置進行展示。

資料處理與儲存
開源圖計算引擎 GraphScope 提供了大規模圖計算能力、gremlin 圖查詢能力。我們將比賽資料按圖模型儲存。圖分析過程中,將使用 GraphScope 開源的 gremlin 客戶端查詢資料到前端進行圖可視分析,並在必要時使用 GraphScope 圖計算能力進行大規模計算。
統計與特徵分析
在進入圖分析之前,我們對整體資料情況較陌生。通過全量資料的統計與特徵分析,將結果通過統計圖表的方式呈現,可輔助得到資料整體概覽,並從中找到切入點。
通過上面的統計圖表,我們可輕易地發現度數大的、關聯域名多的、涉賭多的、非法交易平臺數量多的、重要性指標高的等統計資訊突出的節點。統計圖表中的柱子、散點等元素,可以統計圖中異常突出的資料為起點,進行後續的資料分析。
圖可視分析
-
關係擴散
根據題幹線索節點,以及上述資料總覽面板中發現的異常節點作為起點,進行一跳/多跳的關係擴散,從而逐步得到一份與線索種子節點相關的子圖。針對該場景,擴散具有一定業務規則,例如根據邊的強弱,決定是否繼續展開。
-
種子節點啟發
使用 PageRank、度中心性、邊關聯性等演算法計算節點重要性,輔助分析師發現風險種子節點。
-
社群分析
節點聚類往往說明了風險域名、註冊人等形成子網路的社群資訊,可用於團伙、核心網路資產及其輻射資產的識別。如使用 k-core 演算法計發現k 核心的子圖,或使用 Louvain 等發現緊密聚類,如下圖聚類間存在個別橋接節點,值得關注。

-
路徑分析
上文方法找到了核心資產節點、資產節點聚類間關係後,使用路徑分析可以快速啟發核心資產間的鏈路。下圖中,我們找到了兩個核心資產之間的鏈路,從路徑上繼續擴散挖掘更多資訊。
-
模式匹配
模式匹配可用於識別黑灰產的運作模式、團伙結構等。模式匹配的關鍵在於,風險圖模式強依賴專家經驗。面對新場景、新資料,專家也需要升級經驗。在圖可視分析中設計互動式的模式定義、探索、驗證,可高效輔助使用者總結經驗模式。如下圖所示,為根據左側面板中自定義的模式,最終的匹配效果。
分析案例
下面我們來看,如何利用上述思路與工具,來解決網路黑灰資產的挖掘問題,在該問題中,我們的目標是分析出網路黑灰資產間的鏈路。
首先, 通過資料總覽,發現下圖(A)中,大多數註冊人相關域名以涉賭、涉黃為主,其中代表名為“李xxxxx友”的註冊人的紫色柱子相對突出,表明他註冊了大量非法交易平臺域名,隨後通過 gremlin 對“李xxxxx友”節點進行一跳擴散查詢,發現其註冊的域名中僅少量域名無風險標記(C圖淺橙色)。

其次,在上圖(C)基礎上繼續擴散,得到下圖,其中“李xxxxx友”暫記 a。此例中,我們使用節點重要性分析來發現更多種子節點。最終發現多個關聯大量風險域名的 IP、證書,如紅框圈出的 b、c、d 點。

為了進一步發現種子節點的社群結構資訊,我們使用 k-core 社群發現等演算法,最終發現了 2 個緊密核心結構,如下圖。觀察圖發現這些核心 IP 基本屬於一個 ASN。

與此同時,藉助 GraphScope 引擎的能力,我們將 k-core 的計算結果作為一列新的屬性加回原圖中,後續該欄位將作為 gremlin 的查詢過濾條件,篩選出如下圖(B)。

最後,使用路徑分析工具,查詢多個核心節點之間的鏈路,找出節點間的關聯性,最終高亮黑灰資產間的鏈路如下。

結語
針對 ChinaVis 2022 視覺化挑戰賽中的問題,本文首先介紹了 GraphInsight 背後實踐的解體思路與使用到的分析工具,其次給出了該案例場景下的分析過程。可以看到,融合了 GraphInsight 與 GraphScope 的圖計算能力,使用者可以在海量圖資料中輕鬆挖掘潛在的重要資訊,為進一步的決策提供了更多的可能。真誠的歡迎大家試用,並反饋任何問題。
有點意思,那就點個關注唄 :information_desk_person|type_3:♀️
:point_down|type_5: 點選「閱讀原文」,在評論區與我們互動噢
- Ant Design 5.0 釋出會議程來了!
- 人物誌|禎逸:用開放的心態擁抱變化
- 支付寶新一代動態化技術架構與選型綜述 | Cube 技術解讀
- 支付寶客戶端體驗度量與診斷
- 818 3D 跑酷開發總結
- cnpm rapid 極速模式開源啦!
- Android drawFunctor 原理及應用
- GraphInsight 網路安全分析實踐
- GraphInsight 在供應鏈漏洞分析場景中的應用實踐
- 藏不住了!一線大廠內部圖可視分析的需求清單
- 支付寶 AR 空中寫福技術揭祕
- 為什麼 Table 這麼慢?!
- Umi 4 特性 05:穩定白盒效能好的 ESLint
- 支付寶 AR 空中寫福技術揭祕
- Umi 4 特性 04:build 階段的構建提速
- Umi 4 特性 03:預設最快的請求
- React 18 對 Hooks 的影響 :1
- 營銷場景下互動技術的應用與探索
- Umi 4 特性 02:React Router 6 和新路由
- React 效能優化總結