分散式資料庫--ZMP資料遷移平臺

語言: CN / TW / HK

在雲端計算、大資料和物聯網時代,數字化轉型悄然在各行各業中進行。然而資料作為最基礎的要素,如何進行多源異構的海量資料交換?如何保證資料的時效性和準確性?如何讓海量異構資料實現雲上、雲下的協同?是我們長此以往關注的焦點。而ZMP資料遷移平臺正致力於雲間資料交換場景,支援不同資料結構,可幫助政企客戶快速搭建高效能、高安全、高可靠、高穩定的資料交換平臺。

 

1.  功能

ZMP資料遷移平臺不僅有基礎的系統、使用者和主題管理,也有視覺化運維的伺服器管理及訊息監控等,更主要的是集成了訊息服務、資料轉換同步等中介軟體,同時加入了遷移評估和應用的智慧改造。

  • 伺服器管理:提供伺服器、訊息服務、同步元件的安裝、啟停、配置和監控等功能。

  • 主題管理:提供訊息服務主題的建立、刪除、編輯和監控,在資料交換中,不需要使用者建立和刪除主題,由資料交換任務統一管理。

  • 資料遷移評估:提供源庫資料庫(Oracle9i,Oracle11g,Oracle12c,SQLserver)的資料採集,畫像及目的端資料庫為云溪資料庫或MySQL時的相容性評估。

  • 資料採集:針對多個Oracle版本和SQLServer,構建了資料採集工具。

  • 源庫畫像:根據採集的資料,自動生成智慧五邊圖(規模,會話,風險,負載,複雜度),資料庫的概要資訊與詳細資訊——包括資料庫效能及執行時的效能,容量,Oracle特性,物件詳情、全景搜尋等。使用者可以直觀地把握以上資訊,並在詳情頁檢視具體的資訊。同時,在不同物件的依賴關係裡,還可以實現跳轉,幫助理解資料庫原有結構。

  • 相容評估:將源庫所有物件與SQL語句進行解析,判斷其與目標庫(之間的相容情況,並輸出其統計結果。在評估詳情中看到每一個物件的相容情況及遷移風險等情況。

  • 資料交換:提供作業、任務、資料來源和同步表的建立、刪除、編輯、監控和統計報表功能。

  • 支援結構化資料交換:云溪資料庫、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。

  • 支援非結構化資料交換:Linux/Windows檔案、FTP、SFTP、OSS、HDFS各種樣式,各種大小的資料交換。

  • 支援半結構化資料交換:JSON、CSV等半結構化資料與資料庫交換。

  • 支援多協議資料採集:MQTT、COAP、MODBUS、XPH、DICOM、HTTP、RTSP、RTMP等。

  • 智慧改造:載入原始碼(工程)資料夾,對其中檔案進行嗅探,尋找其中的SQL語句,並進行統計、分析、改造,並對改造情況進行統計分析,並提供手動檢視與改造等相關功能。

  • 使用者管理:提供使用者的建立、刪除、編輯、許可權分配和審計等功能。

  • 系統配置:提供控制檯日誌、系統告警等功能。

  • 版本管理:提供同步元件安裝包更新、同步元件升級等功能。

     

2.  優勢

ZMP資料遷移平臺在支援多種資料來源的基礎上,提供視覺化拖拽方式進行流程編排。既大大降低了對源端的影響,又提高了同步效率。同時支援超大檔案和各種網路資料傳輸。

  • 同步效率高:每秒10萬級記錄以上同步量。

  • 源端影響小:支援Oracle、SQLserver、MySQL、MariaBD和達夢日誌增量同步,不需要依賴觸發器、CDC、時間戳。

  • 多欄位時間戳:支援多時間戳、增量欄位、支援時間戳及增量欄位向前偏移。

  • DDL變更捕獲:支援資料庫級別和表字段級別

  • 資料管理監控:採用視覺化拖拽方式進行流程編排,視覺化管理監控資料流向、資料統計、資料報表及相關警告。

  • 支援結構化資料交換:云溪資料庫、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。

  • 超大檔案和網路資料傳輸:支援複雜環境下TB級別檔案,支援中繼路由、檔案網閘、有限頻寬等各種網路資料傳輸,支援斷點續傳。

  • 國產化環境及中介軟體:支援mips、x86、arm等CPU架構和金蝶、中創等。

 

3.  架構

功能架構:

 

技術架構:

 

資料庫交換架構:

 

檔案交換架構:

 

 

4.  應用

各種型別資料、大資料平臺和行業應用,通過ZMP資料遷移平臺實現高效的資料交換。醫療通訊等行業產生的結構化、非結構化、檔案等資料,通過ZMP平臺抽取、轉換、加密傳輸和入庫,最大化實現資料的價值。同時雲上雲下資料協同。

跨網路、跨防火牆、跨中繼路由、跨網閘等方式部署平臺可使用多種不同的應用場景。異構採集對資料來源影響小,實現資料高效採集,可靠傳輸,支援海量訊息儲存;資料交換支援單節點每秒百萬級訊息處理,叢集下支援每秒億級訊息吞吐量,訊息容量可達PB級。