阿里雲Lindorm聯合智臾科技釋出 金融高頻交易資料量化分析與處理方案

語言: CN / TW / HK

金融市場L1/L2的報價和交易資料是量化交易研究非常重要的資料,隨著數字業務快速演進,具有時序特徵的交易資料激增,對底層資料庫和量化分析系統提出了更高的要求。傳統的關係資料庫支撐這樣的資料量級,即便分庫分表,查詢效能也遠遠無法達到要求。常用列存NoSQL資料庫可以解決這個資料量級的儲存,但是這類通用的儲存引擎缺乏對時序資料的友好支援,在查詢和計算方面都存在嚴重的不足,且無法支援對量化金融場景實時業務計算、流批一體分析、多源資料融合分析。

image.png

阿里雲原生多模資料庫Lindorm聯合浙江智臾DolphinDB釋出金融高頻交易資料量化分析與處理方案,通過雲原生方式整合DolphinDB實時高效的資料處理能力和Lindorm多模海量資料融合儲存分析能力,集成了功能強大的程式語言和高容量高速度的流資料分析系統,為金融場景海量時序資料的量化分析計算提供一站式解決方案。方案操作簡單,可擴充套件性強,具有良好的容錯能力及優異的多使用者併發訪問能力。

方案優勢能力

資料庫儲存

  • 高吞吐低延遲的列式記憶體引擎。

  • 列式混合引擎(基於記憶體和磁碟)為儲存海量資料的資料倉庫提供了優越效能。

  • 靈活的分割槽方案:支援值分割槽、範圍分割槽、列表分割槽、雜湊分割槽和組合分割槽。

  • 支援單表百萬級別的分割槽數,大大縮減對海量資料的檢索響應時間。

  • 庫內分析:可在資料庫中進行復雜的程式設計和運算,避免資料遷移的耗時。

  • 提供多種SQL功能的擴充套件,包括非同時連線、視窗連線、透視表、複合列等。

  • 支援同一個分割槽資料庫內多表快速聯結。

  • 資料壓縮。

  • 支援多使用者併發訪問。每個使用者以給定的許可權在獨立的會話中工作。

  • 元資料高可用:多個控制節點使用Raft協議實現強一致性。

  • 分割槽資料高可用:一個數據庫可以包含上百萬個分割槽,分割槽的多副本之間使用改良的二階段提交協議實現分割槽副本的強一致性。

  • 運維高可用:線上增加伺服器節點,線上平衡節點間資料,線上為分割槽資料表增加欄位。

  • 資料庫的增量備份機制:當分割槽副本數為N的時候,在N-1個節點宕機的情況下,保證系統仍可以持續寫入和讀取。

  • 使用內嵌的分散式檔案系統自動管理分割槽資料及其副本,為分散式計算提供負載均衡和容錯能力。

資料庫內資料分析

  • 程式語言功能強大且表達能力豐富。支援指令式程式設計、函數語言程式設計、向量程式設計、SQL程式設計和RPC(遠端函式呼叫)程式設計。

  • 程式語言的語法與SQL和Python非常相似,易上手易使用。

  • 內建1000多個函式,涵蓋絕大多數常用的資料處理、資料分析、機器學習等功能,以及檔案呼叫與資料庫管理等功能。

  • 通過記憶體引擎、資料本地化、細粒度資料分割槽和平行計算實現高速的分散式計算。

  • 提供即時編譯版本,極大加速for-loop, while-loop與if-else等語句的執行速度。

  • 支援多種計算模型,包括pipeline、map-reduce和迭代計算。

  • 為動態資料分散式計算提供快照隔離。

  • 通過在多工中共享記憶體的資料副本來提高系統吞吐量。

  • 可便捷地分析分散式資料。在單個節點上編寫指令碼後,無需編譯和部署即可在整個叢集上執行。

流資料

  • 無縫整合流資料和資料庫表。可以使用SQL查詢本地流資料或分散式流資料。

  • 內建時間序列、橫截面、異常檢測以及響應式狀態引擎等多種流資料聚合引擎。

  • 可使用DolphinDB中的使用者自定義函式處理資訊。

  • 亞毫秒級的資訊延遲。

  • 使用實時資料更新歷史資料倉庫只有亞秒級延遲。

  • 可以從任意偏移量重現歷史資訊。

  • 提供可配置的選項(如分割槽、工作執行緒、佇列)用於流量控制和效能調優。

生態

  • 提供多種程式設計API,包括C++、Python、Java、C#、Go和Excel等。

  • 已有的pandas程式只需做少量改動即可通過pandas API (orca) 在DolphinDB中執行。

  • 提供多種外掛,包括MySQL、ODBC、HDF5、Parquet等。

  • 內建Web伺服器,用於叢集管理、效能監控和資料訪問。

  • 提供DolphinDB GUI與VS Code外掛等IDE(整合開發環境)用於資料分析。

  • 通過內建函式、Web介面或Prometheus實現系統監控。

分享到: