資料庫數字孿生技術獲突破,Ganos兩項研究成果入選VLDB

語言: CN / TW / HK

近日,國際頂級資料庫學術會議VLDB 2022在澳大利亞悉尼舉辦。阿里雲與達摩院空天資料庫引擎團隊有關Ganos的兩項研發成果被VLDB 2022收錄。VLDB與SIGMOD、ICDE並稱為資料庫業界的三大頂級學術會議,收錄全球研究機構以及科技企業在資料庫領域最前沿、最頂級的研究成果。資料庫作為核心基礎軟體,是底層硬體基礎資源與上層應用系統之間的重要橋樑。 Ganos率先借助雲原生能力研究大規模3D場景和移動物件軌跡的In-database空間計算,研發成果在VLDB的發表,揭開了資料庫基礎軟體在數字孿生3D空間計算方向上的嶄新篇章。

將現實世界放進資料庫

數字孿生 ,是指利用物理模型、感測器更新、模擬模擬等技術完成現實世界到虛擬世界的對映。簡而言之,就是創造現實世界的數字克隆體,並把它放到計算機管理起來。和傳統計算機輔助設計(CAD)不同,這個數字克隆體是會“動”的,發生在現實世界中的變化會實時地反映到數字克隆體上。作為一個新興技術,數字孿生還有很多的挑戰亟待解決,比如用什麼模型來表示現實世界的物體、如何儲存數字克隆體、如何支援高效的查詢和資料更新等。

隨著智慧城市和數字孿生技術的結合,快速分析與處理大規模的多維、動態、場景化空間資料已構成挑戰。例如,建築的精細化BIM模型資料、網聯汽車產生的大量動態軌跡資料,無人機拍攝的實景三維資料等。傳統資料庫能良好處理整數、浮點數、文字等各種常規資料型別,但如何把一幢摩天大樓數字化後放進資料庫?如何對城市中的各類移動車輛的動態資料進行有效管理仍然存在諸多挑戰。這種以人、車、建築等複雜單體(靜態或動態)及其動態互動為處理物件的新型資料庫需要資料庫處理模式的變革,也需很大程度上依賴雲算力的極致發揮。Ganos團隊通過阿里巴巴達摩院資料庫與儲存實驗室的關鍵技術突破,並藉助阿里雲的技術轉化,在解決數字孿生背景下如何在資料庫中表示和儲存現實世界的數字克隆,並支援高效的查詢與分析計算問題上實現了階段性的重要突破。

成果簡介

主論文《Ganos: A Multidimensional, Dynamic, and Scene-Oriented Cloud-Native Spatial Database Engine》為阿里雲和達摩院的獨立研究,分析了數字孿生新技術浪潮背景下,多維、動態、場景化新型空間多模態資料的挑戰,介紹了Ganos在雲原生關係型資料庫PolarDB for PostgreSQL上的實現,包括應用背景、系統架構、支援的資料型別、低成本高可用性擴充套件儲存機制以及多級並行查詢等技術。 Ganos加持PolarDB資料庫,使之成為業界首個具備數字孿生空間計算,且最早系統性支援移動物件和3D場景資料處理能力的雲原生資料庫。

3D場景空間計算(基於3DMesh)

無人機4D軌跡資料查詢(基於Trajectory)

論文闡述的主要技術創新包括:

對多維、動態、場景化資料提供資料庫原生支援。 Ganos將多維、動態、場景化資料視為資料庫首等公民,提供3DMesh、Trajectory、Raster、PointCloud等新型資料型別與模型體系、多維索引訪問方法以及空間查詢、時空查詢、面向場景查詢和跨模態查詢複雜能力。

低成本高可用性擴充套件儲存機制。 Ganos利用雲原生物件儲存服務(OSS)大容量、低成本、高可用特性實現了一套擴充套件儲存機制,在保證查詢效率的同時大幅擴充套件了儲存容量,並降低了儲存成本。

空間多級並行查詢處理機制。 針對數字孿生場景多維複雜查詢耗時長的難題,Ganos結合PolarDB共享儲存、存計分離雲原生架構特性,創新提出了面向空間計算的多級並行查詢處理框架,相較於已有並行機制實現高達一倍以上的效能提升。

與此同時,針對百億級超大規模軌跡資料的處理,Ganos團隊與皇家墨爾本理工大學(RMIT)合作,在本次VLDB大會上聯合發表了論文《VRE: A Versatile, Robust, And Economical Trajectory Data System》。論文介紹了功能豐富、強魯棒性、低成本的大規模彈性軌跡系統VRE的系統設計,而 該系統正是阿里雲多模資料庫Lindorm時空軌跡處理系統的原型。 論文闡述了VRE的系統架構、軌跡分段模型、時空索引機制以及兩階段查詢處理框架等技術。

VRE系統架構

VRE系統(Lindorm Ganos原型)的功能特性和主要技術創新為:

覆蓋豐富的軌跡查詢。 結合阿里巴巴的實際應用需求,VRE首個全面支援了ID時間查詢、空間範圍查詢、時空範圍查詢等基礎查詢,以及近似軌跡搜尋、近似軌跡連線、子軌跡近似搜尋等高階查詢,並且同時支援Fréchet、Hausdorff、 DTW、 LCSS和 EDR距離度量。

高效儲存和索引機制。 VRE提出了新的軌跡分段模型,在儲存成本和過濾效能兩方面的綜合性能明顯優於傳統的以軌跡為單位的儲存模型以及以軌跡點為單位的儲存模型。同時,針對各類查詢實現了不同的索引結構,顯著提升了查詢效能。

兩階段查詢處理框架。 VRE採用了兩階段查詢處理框架,在第一階段僅使用資料規模小的軌跡元資料進行過濾操作,在第二階段只對第一階段無法過濾掉的軌跡資料才讀取完整的軌跡做檢查。將過濾操作下推到儲存層,大幅減少了資料傳輸開銷和查詢效率。

優異的效能。 實驗表明,VRE在儲存開銷和查詢效率方面都表現優異,和現有方法相比,可以實現1/3的儲存開銷以及 高達10倍以上的典型查詢效率提升。

行業應用

從實驗室到使能百業,Ganos在快速迭代進化。Ganos解決了傳統位置多模態大資料使用流程複雜、使用門檻高、應用效率低等問題,實現了位置智慧服務的普惠計算,目標使能千行百業。據不完全統計,雲上Ganos引擎被建立次數達到3萬6千多次,目前已應用到航空航天、自然資源、共享出行、災害應急、交通物流、遠端銀行、農業/海洋/水利以及社交/健身/O2O等總計45個不同行業/應用方向。

/ End /  

推薦閱讀

點選“ 閱讀原文 ”檢視 阿里雲資料庫 更多資訊