年度盤點:20+主流資料庫重大更新及技術要點回顧

語言: CN / TW / HK

資料庫行業年度回顧

技術的多元化探索與產品的差異化發展

2021年,各家資料庫產品都取得了長足的進步。

首先,從技術角度上看,分散式、雲及雲原生、多模、HTAP、AI自治等代表性技術,成為了各大廠商佈局發力的重點。

伴隨著資料規模激增、場景複雜化,對大規模資料儲存、計算提出了更高的要求。分散式資料庫迎合這一趨勢,近些年來發展迅速,逐步在業務核心場景中被嘗試使用。其中不少分散式資料庫產品在功能、效能、易用性、穩定性等方面都逐步完善成熟,相信在未來幾年,分散式資料庫將取得更大發展。

根據第三方機構預測,未來幾年託管在雲端的資料庫將佔據主導地位,雲與資料庫的結合將爆發出巨大力量。一方面,以雲資源部署的傳統資料庫增長喜人,另一方面,以存算分離、彈性擴充套件為特點的雲原生資料庫已逐步成熟。雲端帶來的低成本、高易用、超便捷,必將吸引更多企業上雲並帶動企業數字化轉型升級。

隨著資料化深入、場景多元,資料結構化越來越靈活,大量半結構、非結構化資料被更多地利用起來。以圖、時序、文件為代表的產品,正受到更多的關注。未來多模資料庫以一種原生支援各種資料模型、有著統一訪問介面、能自動化管理異構資料等優勢,必將找到更多的使用場景。

除了資料模型更加多元外,對關係模型資料的使用場景也趨於融合。傳統的 TP、AP類劃分正在受到更多挑戰,HTAP技術也將受到更多關注。其帶來的資料時效性、單一入口等類似多模一樣,為業務帶來了更多的便捷性。在不少應用場景,HTAP簡化原有技術棧,統一訪問方式,對使用者意義重大。

伴隨著資料庫功能越來越強大、技術越來越複雜,如何降低使用門檻成為使用者關注的問題。AI4DB的出現,大大簡化了資料庫管理和使用門檻。當前這一技術,尚處於早期階段,相信未來將成為各資料庫產品的技術護城河。

另外,從資料庫廠商發展角度上看,根據所處發展階段的不同而形成了差異化的發展方向。國際大廠基於較為完善的產品之上,著力突破智慧化、新硬體、混合儲存計算等方向;雲廠商在構建產品生態、雲原生等方向發力,進一步提升雲端競爭力;新興廠商則在某一垂直領域(如HTAP、多模、一體化、高相容性等)著手,尋找差異化競爭路線;而開源產品,則更多在增加企業級能力、提高安全性等方面發展。

資料庫產品年終盤點

主流資料庫的版本更迭與釋出亮點

在如此百花爭鳴的2021,dbaplus社群攜手一眾資料庫行業專家,彙總、梳理並提煉出主流資料庫全年度的版本更迭、效能優化、功能提升等關鍵資訊,希望對大家瞭解資料庫發展趨勢,以及資料庫選型工作有所幫助和啟發。

本期要點

DB-Engines資料庫排行榜

一、RDBMS

  • Oracle推出21c及Exadata 21.2

  • MySQL 8.0共釋出5個版本

  • MariaDB 10.6新特性技術要點分析

  • SQL Server 2022預覽版釋出

  • PostgreSQL 14版本正式釋出

  • OceanBase商業版及社群版共迭代8個版本

二、 NewSQL

  • TiDB共釋出16個大小版本

三、時序資料庫

  • MatrixDB共更新4個版本

四、大資料生態圈

  • Elastic共釋出7個大版本

  • Greenplum保持每月迭代一個小版本,最新發布6.18.2

五、國產資料庫

  • SequoiaD B共更新5個

  • DM8 2021年度重大更新及技術要點分析

  • QianBase TM 2021年度重大更新彙總

  • ArkDB 2021年度重大更新彙總

  • OushuDB 2021年度重大更新彙總

六、雲資料庫

  • 華為雲2021年度重要資料庫產品更新彙總

  • 騰訊雲2021年度重要資料庫產品更新彙總

  • 阿里雲2021年度重要資料庫產品更新彙總

  • 京東雲正式釋出StarDB

  • 青雲2021年度多款資料庫產品更新彙總

推出dbaplus Newsletter的想法

感謝名單

為方便閱讀、重點呈現,本文對各板塊內容進行了精簡,需閱讀完整版可點選文末 【閱讀原文】 或登入雲盤下載: https://pan.baidu.com/s/1VePhm9OoGkvhZCzOoqE3Cg (提取碼:iurv)

DB-Engines資料庫排行榜

以下取自2021年12月的資料,具體資訊可以參考http://db-engines.com/en/ranking/,資料僅供參考。

DB-Engines排名的資料依據5個不同的因素:

  • Google及Bing搜尋引擎的關鍵字搜尋數量;

  • Google Trends的搜尋數量;

  • Indeed網站中的職位搜尋量;

  • LinkedIn中提到關鍵字的個人資料數;

  • Stackoverflow上相關的問題和關注者數。

RDBMS

Oracle推出21c及Exadata 21.2

Oracle 21c是甲骨文向用戶提供的最新創新版本,2020年12月8日首先在Oracle Cloud上釋出可用,2021年8月份開始提供21.3本地安裝版下載:Linux x86-64,HP-UX ia64,Microsoft Windows x64 (64-bit)。

下一個Oracle資料庫版本是23c,將是一個長期支援版本。預計釋出時間為2023年,它將包括所有領域的創新和增強功能,以進一步增強Oracle的融合資料庫引擎。

一、Oracle 21c重要新特性摘要

  • AutoML自動化機器學習:使資料科學家和分析師更易於利用資料庫內建的機器學習技術,充分利用機器學習的優勢;

  • 原生的區塊鏈支援:Native Blockchain Tables;

  • In-memory增強:In-Memory向量連線,自我管理的In-Memory列儲存,In-Memory混合列掃描;

  • 原生JSON資料型別:支援二進位制格式的JSON;更新密集型或掃描密集型操作速度數倍增長;

  • 持久記憶體儲存:持久化記憶體儲存被支援,提供微秒級I/O響應;

  • SQL的巨集支援:允許開發者將複雜的處理邏輯通過巨集進行定義;

  • 在Oracle資料庫內部執行JavaScript;

  • 優化的圖模型。

注:關於以上特性的具體說明,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

二、Exadata System Software 21.2主要功能增強

今年釋出的Exadata System Software 21.2在Exadata系統的效能和可管理性上,帶來了更多創新特性,使Exadata在效能方面的可預測性更強,併為資料整合環境帶來更強的可伸縮性。使用Exadata將使資料管理變得更加高效、系統更加穩定。Exadata軟體21.2版本的主要功能增強:

  • 永續性儲存索引

  • 永續性列快取

  • I/O資源管理叢集計劃

  • 共享智慧掃描元資料 

三、Oracle 19c新特性引入及Always Free新服務推出

Oracle在21c推出了諸多新特性,這些新特性也不斷被引入Oracle Database 19c當中,使用者可通過應用補丁的方式來升級資料庫並使用這些特性。在21c中的一些新特性,比如SQL (Table) Macros (RU 19.7)、Blockchain Tables (RU 19.10)、Immutable Tables (RU 19.11)都已經加入到19c。

2021年4月20日,甲骨文公司進一步展示了其對開發者的承諾,通過擴充套件Oracle Cloud Free Tier,提供兩種新的Always Free服務,可快速建立低程式碼Oracle APEX應用程式和管理JSON文件資料。這兩項服務對Oracle Cloud使用者都是完全免費的,並且沒有限制時間。

MySQL 8.0共釋出5個版本

2021年,MySQL 8.0釋出了5個版本8.0.23~8.0.27,修復了大量的bug,在效能和穩定性方面進一步增強。

8.0.26有大量的變數名稱修改,例如master修改為source、slave修改為replica,例如slave_net_timeout修改為replica_net_timeout。

一、優化

1、線上DDL操作相關優化

對於線上DDL操作,儲存通常是瓶頸。為了解決這個問題,CPU利用率和索引構建已進行了改進。索引現在可以同時構建而不是序列構建。記憶體管理也得到了加強,以遵守使用者設定的記憶體配置限制。由兩個變數innodb_ddl_threads和innodb_ddl_buffer_size變數控制管理。

2、優化TRUNCATE / DROP

當用戶對InnoDB表空間TRUNCATE或DROP操作:

  • 對有龐大緩衝池(>32GB)例項上的大表刪除;

  • 對具有自適應雜湊索引引用大量頁面的表空間;

  • TRUNCATE臨時表空間。

以上情況,刪除的頁和表空間和對應的AHI專案,會在訪問期間被動地從緩衝區刪除,以前清理和截斷表空間會馬上在緩衝區中發起一個全列表掃描,從而對效能有負面的影響。

3、Performance_Schema支援將度量執行緒名稱(非mysqld)匯出到作業系統

為了提高監視MySQL和故障排除的能力,Performance_Schema支援將度量執行緒名稱(非mysqld)匯出到作業系統,這使得顯示執行緒名稱的實用程式,例如偵錯程式和Unix ps命令,可以顯示不同的mysqld執行緒名稱,而不是"mysqld"。

二、複製

從沒有使用GTID的源頭複製到開啟GTID的副本,現在可以使用CHANGE REPLICATION SOURCE TO語句的ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS選項將複製通道設定為將GTID分配給尚未開啟GTID的複製事務。

此功能允許從不使用基於GTID的複製的源複製到使用基於GTID的副本。對於多源副本,使用者可以混合使用ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS的通道和不使用的通道。GTID可以包括副本自己的伺服器UUID或使用者分配的伺服器UUID,以識別來自不同來源的事務。

從庫預設啟動多執行緒複製,從而避免很多從庫延遲導致主從資料不一致的情形。

三、MGR

MGR新特性,single consensus leader,組複製的組通訊引擎預設使用組中的每個成員作為leader,在組複製通訊協議設定為8.0.27或以後,組複製引擎現在可以使用單一的一個leader來驅動共識(單主模式下)。

系統變數group_replication_components_stop_timeout指定Group Replication在關閉時等待仍在進行的元件完成操作的時長。以前,超時值預設為 31536000 秒(365 天),在某些場景下沒有幫助,新的預設值是300秒,這樣如果在5分鐘之前沒有解決該情形,Group Replication元件將停止,允許成員重新啟動並重新加入。

當使用基於GTID的複製時,可移除複製元資料的的持久化(包括二進位制日誌檔名和位置),可使用CHANGE REPLICATION SOURCE TO的GTID_ONLY新選項,這個選項對於非同步的複製通道是預設禁止的,對於組複製的通道是預設開啟的,並且不能禁止。

MySQL複製的非同步連線故障轉移機制支援副本使用組複製(單主模式),當主要成員發生故障時,其他組成員可以再次連線到傳送者。MySQL支援使用單主模式的組複製(主要成員用於接受日誌)作為非同步複製的副本,當主要成員發生故障時,其他成員可以再次連線到複製源。使用該功能可以配置兩個複製組之間的非同步複製,並支援連線故障轉移。

關於組複製:現在可以將處於單主模式的組配置為處於超級只讀模式,它將只接受複製的事務,而不接受來自客戶端的任何直接寫操作。

MySQL Server的非同步連線故障轉移機制現在支援Group Replication拓撲,這是通過自動監控組成員的更改並區分主伺服器和次伺服器實現的。

注:關於更多新特性及MySQL Database Service with  Heatwave相關的具體說明,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

MariaDB 10.6新特性技術要點分析

MariaDB 10.6.5穩定版GA釋出於2021年11月8日,新功能和改進如下:

1、資料字典改進支援原子DDL(atomic DDL)

MariaDB 10.6使用新的資料字典,廢棄了MyISAM系統表。MySQL庫元資訊儲存在資料目錄中mysql.ibd的innodb表空間檔案中。

新的資料字典支援原子DDL(atomic DDL)功能,這意味著,當執行DDL時,資料字典更新、儲存引擎操作和二進位制日誌中的寫入被組合成一個要麼完全執行、要麼不執行的單個原子事務。這提供了更好的可靠性,未完成的DDL不會留下任何不完整的資料。

2、select for update增加nowait和skip locked行鎖限制

MariaDB 10.6針對於select...for update新增nowait和skip locked行級鎖的限制。

1)nowait表示不等待鎖,若想獲取被鎖住的資料,則立即返回不可訪問異常。使用nowait子句的作用就是避免進行等待,當發現請求加鎖資源被鎖定未釋放的時候,直接報錯返回。

2)skip locked表示跳過等待鎖,若想獲取被鎖住的資料,則不返回該資料。在對資料行進行加鎖操作時,如果發現數據行被鎖定,就跳過處理。這樣for update就只針對未加鎖的資料行進行處理加鎖。

3、支援Invisible Index隱藏索引

MariaDB 10.6 支援了Invisible Index隱藏索引這個特性,可把某個索引設定為對優化器不可見,但引擎內部還是會維護這個索引,且不可見屬性的修改操作只改了元資料。當我們發現某個索引不需要想刪掉時,可先把索引設為不可見,觀察業務的反應,如果一切正常就可以drop掉;如果業務受影響,說明此索引刪掉會有問題,就可快速改回來。相對於DROP/ADD索引這種比較重的操作,Invisible Index顯然非常靈活方便。

4、InnoDB 傳統行格式COMPRESSED Row Format壓縮技術功能廢棄

InnoDB提供了兩種壓縮技術,一種是早期的行格式壓縮COMPRESSED Row Format,它是在建立表時指定ROW_FORMAT=COMPRESS,並通過選項 KEY_BLOCK_SIZE 設定壓縮比例。另一種是新的頁壓縮Page Compression,在支援Sparse file(稀疏檔案)的EXT4/XFS檔案系統上,通過使用Punch Hole(打洞)特性進行壓縮。

官方推薦使用頁壓縮Page Compression,行格式壓縮COMPRESSED Row Format廢棄。

5、新增Binlog檔案過期清理引數binlog_expire_logs_seconds

使用新的引數binlog_expire_logs_seconds代替expire_logs_seconds,新引數的時間粒度是精確到秒,能夠更加靈活的控制Binlog檔案過期時間,預設值604800秒(7天)。

6、新增sys Schema

sys庫結合了information_schema和performance_schema,現在用檢視的方式,把一些優化和診斷資訊彙總起來,更加直觀,通過新的sys schema機制顯著提升易用性。

7、審計日誌可去除記錄select操作

在之前的版本里,審計日誌會記錄所有操作。在MariaDB 10.6版本里,記錄事件可細分化。

8、TokuDB儲存引擎廢棄

TokuDB已無人維護,在MariaDB 10.6版本里已將其廢棄刪除,官方推薦用Facebook的MyRocks儲存引擎代替之。

注:關於以上新功能和改進的具體說明及實操指導,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

SQL Server 2022預覽版釋出

微軟將推出SQL Server 2022,是迄今為止跟微軟自家公有云Azure最深度融合的資料庫。目前已經發布SQL Server 2022私人預覽版,新版本依然支援跨平臺部署(包括Linux、Windows和Kubernetes),新特性如下:

1、雙向HA/DR到Azure SQL

SQL Server 2022與Azure SQL託管例項的新連線功能完全整合,藉助內建的分散式可用性組(DAG)將本地資料庫資料複製到Azure SQL託管例項作為DR副本使用。

當本地資料庫環境遭到破壞時候,可以從本地SQL例項故障轉移到Azure SQL託管例項(DR),反之亦然。

利用新連線功能還可以橫向擴充套件資料庫只讀請求,將只讀取請求解除安裝到Azure SQL託管例項。

2、Azure Synapse Link

SQL Server 2022的Azure Synapse Link提供自動捕獲SQL Server中更改並將更改發給Azure Synapse Analytics。

3、Azure許可權整合

Azure雲最近推出的Azure Purview作為統一的資料治理和管理服務。SQL Server與Azure Purview整合以實現更好的資料發現,從而打破資料孤島。

4、原生區塊鏈支援

SQL Server 2022引入了一個新的分類帳功能,用於建立資料修改的不可變跟蹤記錄。它可以防止惡意活動造成的資料篡改事件。適用於儲存關鍵財務資料,例如銀行交易,內部和外部審計等場景。

5、多執行計劃快取

眾所周知,引數嗅探是一個普遍問題。SQL Server預設快取基於引數的執行計劃。因此,使用不同引數執行查詢可能會產生效能問題。SQL Server 2022支援為單個引數化語句快取多個執行計劃,根據傳入引數值選擇最優執行計劃,只需要更改所需資料庫相容性級別為160,此功能將作為資料庫範圍自動啟用。

6、Peer-to-Peer副本衝突

在多寫資料庫環境中,使用者可以更改本地資料庫資料並在更新的雙向流中保持複製。但是,如果多個客戶在不同的寫入副本同時更新同一行,則可能會造成資料衝突,從而導致整個操作停頓。SQL Server 2022為這些場景自動執行最後一次寫入獲勝規則。如果SQL Server檢測到任何衝突,它會使用(保留)所有副本最新修改值。因此,使用者可以順利執行多寫環境,而不會發生衝突影響操作。

PostgreSQL 14版本正式釋出

2021年9月30日,PostgreSQL 14版本正式釋出,為開發和系統運維人員在開發和管理資料驅動的應用上帶來了多種新特性,主要效能提升與增強如下:

1、JSON 存取便利性和多範圍資料型別Multirange

PostgreSQL自9.2版本起就通過使用一個指定的語法來支援JSON資料型別的存取操作。在PostgreSQL 14版本中支援使用類似下標的方式來存取JSON,比如:SELECT ('{ "postgres": { "release": 14 }}'::jsonb)['postgres']['release']; 的語法在新版本中是可以工作的。

Range範圍資料型別也是自PostgreSQL 9.2版本支援的,在新版本中通過引入Multirange又增加了對多範圍資料的支援。一個多範圍的資料是一組不重疊的已排序的單範圍資料集,這個型別的引入,可以讓開發人員通過編寫簡單的查詢處理複雜的範圍資料。

2、在大負載下的效能提升

PostgreSQL 14版本中在有大量連線的場景下,大幅提高了事務的吞吐量,在一些測試場景下,最高可達1倍的提升。新版本也在減少B樹索引負載方面有了提高,包括對頻繁更新的表索引減少了表膨脹的情況。

3、對分散式負載的增強

分散式PostgreSQL資料庫也從新的14版本獲益很多,在使用邏輯複製時,PostgreSQL現在可以使用流式方式向訂閱者複製執行中的事務,同時在對大事務進行復制時效能也得到了優化。PostgreSQL 14版本在邏輯複製時,也對邏輯解碼系統進行了幾處增強。

4、資料庫管理和可觀測性

PostgreSQL 14版本中的效能優化也涉及到資料整理子系統,包括減少B樹索引負載。新版本中也增加了“緊急模式的清理”,用於預防事務ID的回捲。用於收集資料統計的ANALYZE指令,經過優化後,在新的14版本中,執行非常快。

PostgreSQL 14新版本中也增加了幾個新特性以方便使用者對伺服器的監控,包括新增對COPY指令執行進度、WAL日誌寫入操作、複製插槽的統計資訊的跟蹤。新增compute_query_id引數可以讓使用者通過pg_stat_activity、EXPLAIN VERBOSE來跟蹤使用者的查詢。

5、SQL效能、一致性和易用性

查詢規劃也在PostgreSQL 14版本中進行了增強。新版本中有好幾項並行查詢的優化,包括並行順序掃描,在PL/SQL中,使用RETURN QUERY可以並行查詢,而REFRESH MATERIALIZED VIEW物化檢視重新整理現在也可以使用並行機制執行了。另外,通過對新版本中新增的快取的使用,帶有巢狀JOIN的查詢也得到了效能提升。

儲存過程,現在通過使用OUT引數,支援返回資料。

PostgreSQL 14版本中引入了新的時間函式date_bin,可以按指定的間隔對時間進行處理。這個版本中對可遞迴的公共表示式表CTE也增加了便於理解的語義關鍵字SEARCH和CYCLE,用於幫助對查詢的結果排序和迴圈的檢查。

6、安全性增強

PostgreSQL 14版本中,通過使用pg_read_all_data和pg_write_all_data兩個預定義的角色,可以給使用者進行完全只讀或是隻寫的許可權。另外,新版本中,預設使用與標準相容的SCRAM-SHA-256演算法來進行密碼的管理。

注:關於本年度PostgreSQL常用外掛動態、衍生產品動態的彙總,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

OceanBase商業版及社群版共迭代8個版本

一、年度重大更新總結

2021年,OceanBase資料庫共計迭代8個版本(商業版及社群版),持續在企業級能力構建上發力,圍繞相容性、HTAP混合負載、小規格價效比等核心能力,在Oracle/MySQL相容、易用性、穩定性、效能和功能等諸多方面持續迭代增強與優化升級。

二、技術要點分析

1、OceanBase商業版關鍵特性盤點

  • 效能: Sysbench OLTP整體效能提升68%,BMSQL tpmC效能提升20%,TPC-H效能提升620%,大幅提升了OLAP能力;支援小規格部署,效能提升30%;突破分散式資料庫事務限制,支援超大事務。

  • 相容性: 針對Oracle和MySQL模式,在功能、語法、函式、過程語言、系統包等方面均進行了相容性增強,進一步降低業務遷移到OceanBase的改造成本,以及使用者使用OceanBase的學習成本。持續增強Oracle相容性,支援儲存過程讀寫及定時器任務管理排程能力;適配MySQL 5.7協議,MySQL模式下支援自增列和DML觸發器。

  • 易用性: 支援Schema History回收功能和自動清空回收站功能,提升自動化能力簡化運維成本;提供內部狀態視覺化能力,通過虛擬表讀取任務佇列及記憶體任務情況;加強效能診斷報告能力,對叢集的效能指標、引數和資源配置、負載進行分析並生成診斷報告幫助DBA進行效能診斷;提供SQL診斷調優特性,針對SQL進行健康情況診斷及效能問題排查,識別可能會影響系統穩定性的慢SQL及可疑SQL,幫助使用者提早排查問題規避風險。

  • 穩定性: 在訪問連續性、資料一致性和事務執行等方面針對性提升系統的穩定性,新增全域性死鎖檢測、本地路由表自動重新整理、備機強一致性讀、系統異常狀態偵測強化、叢集網路流控優化能力。

  • 強化管控能力: 支援多租戶資源隔離,滿足跨業務跨部門複雜業務場景;OceanBase公有云在海外發布,在安全特性(SSL加密、TDE資料透明加密、VPC隔離)滿足海外安全合規需求的同時,通過資料儲存壓縮技術優勢,實現成本下降30%、儲存空間下降90%。

2、OceanBase社群版關鍵特性盤點

  • 相容性: 適配支援MySQL 5.7驅動協議,支援會話變數;新增MySQL 8.0的通用表表達式;支援租戶/使用者最大連線數設定;新增支援10個函式,完善資料校驗、時區轉換查詢及網路能力。

  • 高可用: 提供物理備份與恢復能力,實現叢集級物理備份(資料全量和增量備份&秒級別觸發的事務日誌近實時備份)、租戶級物理恢復(恢復到歷史任意時間點)。

  • 易用性: 新增自動化引數配置功能,主動探測系統資源自動配置OceanBase引數;新增自動化測試功能,支援整合執行mysql_test、TPCH和Sysbench測試框架;新增錯誤碼解析工具ob_error,快速定位錯誤;新增管理員工具ob_admin,提升疑難問題分析診斷能力。

  • 開放介面: 開放TABLE API介面,支援KV介面讀寫資料,提升高效能儲存訪問能力;開放Change Data Capture(CDC)介面,提供對外資料同步介面。

  • 生態工具: 支援資料同步工具Canal和DataX,支援將資料從MySQL遷移到OceanBase,通過DataX實現資料全量遷移;支援Prometheus監控系統;支援客戶端工具DBeaver;支援使用Docker部署OceanBase;全面支援主流x86平臺作業系統。

NewSQL

TiDB共釋出16個大小版本

一、年度重大更新總結

2021年TiDB在規模化聯機交易和實時分析能力兩大領域實現快速的迭代創新,總共釋出了16個大小版本,在效能、相容性、穩定性、安全性、可用性、可觀測性、可管理性等方面做了大量改進。4月釋出的TiDB 5.0版本,引入MPP架構拓展HTAP能力版圖,以一棧式資料服務平臺服務企業級核心場景;11月釋出的5.3版本累計優化和更新功能達到40餘項。

二、技術要點分析

1、MPP架構: TiFlash引入MPP架構,提升了高讀寫混合負載下的查詢速度與穩定性,通過與TiDB-Server共享SQL前端,向業務提供一體化的入口,實現瞭解析器(Parser)和優化器的共享,能夠根據查詢型別自動選擇最優的索引或MPP計算模式,隔離事務處理與資料分析不同型別的負載。相較4.0版本,計算效能與併發負載能力均提高10倍+,並且在複雜查詢處理和叢集計算上也有明顯優勢。

2、效能: 與4.0版本相比,Sysbench Update Index / Non-index的效能分別提升了28%和81%,TPC-C提升36%。主要通過聚簇索引、臨時表、Plan Cache、非同步提交事務、Stale Read、Raftstore Async IO等特性提升了效能。

3、相容性: 持續提升MySQL相容性,支援List / List Columns Partition、公共表示式CTE、EXCEPT和INTERSECT操作符,以及部分表示式索引和FOR UPDATE OF TABLES語法。另外還支援了將資料從AWS Aurora/S3遷移到TiDB。 

4、穩定性: 支援人工繫結INSERT、REPLACE、UPDATE、DELETE語句的執行計劃,支援開啟自動捕獲並將最近一次執行計劃儲存在系統表中。引入新的排程演算法,降低排程帶來的效能抖動,提升擴縮容的穩定性。調控Compaction速度,平衡前端讀寫和後臺任務的資源爭搶。改善TiKV / TiFlash / TiCDC的流控機制,減少IO爭搶和OOM頻率。

5、安全性: 引入動態許可權和安全加強模式來限制SUPER許可權。TiDB Dashboard需要的許可權進一步降低。各個元件都增加了日誌脫敏的開關,防止資料洩露。

6、可用性: 提升Region成員變更時的可用性,提升系統在發生網路分割槽時的可用性,支援多節點意外損壞後的線上有損恢復。

7、可觀測性: 優化Explain顯示查詢的執行計劃,通過Lock View提供了更多悲觀鎖的鎖衝突和鎖等待的資訊。TiDB Dashboard引入持續效能分析功能,提供在叢集執行狀態時自動儲存例項效能分析結果的能力,幫助使用者縮短故障診斷時間。

8、可管理性: Placement Rules支援SQL介面對資料的存放規則進行調整。Plan Replayer可一鍵儲存和恢復現場問題的相關資訊,提升查詢計劃問題診斷的效率。DM和TiCDC增加了叢集管理方面的Open API支援,Lightning增加了執行任務前的檢查項。TiUP優化了叢集部署操作邏輯,優化了升級時長和穩定性,支援斷點功能,更加容易運維。

時序資料庫

MatrixDB共更新4個版本

一、年度重大更新總結

2021年,MatrixDB總共更新了4個版本,4.0~4.3,在資料寫入、資料儲存、資料查詢方面都取得了重大突破。

二、技術要點分析

1、自研儲存引擎: MatrixDB自研了mars儲存引擎,針對時序場景做了大量優化。通過行列混存的儲存方式,既做到了列存壓縮,又通過為分組後的資料增加稀疏索引來實現查詢優化,做到了高壓縮、高效能。

2、高吞吐資料載入工具: MatrixGate高吞吐資料載入工具,打破了MatrixDB master單點瓶頸,通過外部表方式,資料直接進入segment資料節點。同時,使用微批量的方式使得資料實時生效。經測試,可達到每秒5000萬資料點的吞吐效能。

3、可擴充套件資料型別: mxkv可擴充套件資料型別突破了關係資料模型模式固定的限制,可以靈活增加新欄位。相比於原生json資料型別佔用儲存空間更低、查詢效能更好。

4、持續聚集: 持續聚集是一種能快速響應聚集查詢的機制。建立持續聚集後,在資料寫入過程中,系統自動實時對原資料進行聚集計算,並同步到物化檢視中。使用者通過檢視查詢聚集結果將大大減低計算量,通常毫秒延遲即可獲得。

5、其他: MatrixDB還支援了空間資料型別,可以應用於地理資訊場景;完成了國產平臺麒麟、ARM的支援和認證。

三、明年展望

MatrixDB將在高效能和易用性上繼續投入,對架構、儲存、執行進行協同優化,藉助向量化等技術,大幅提升查詢和分析效能。在易用性上,將構建面向時序分析和機器學習的簡化程式設計框架與輔助函式,智慧分析系統與查詢狀態,自動優化管理軟硬體故障,進一步提高安全性和可靠性,降低使用門檻和成本。

大資料生態圈

Elastic共釋出7個大版本

截至2021年12月12日,Elastic.co共釋出了7個大版本,其中6個是穩定版本,從7.11.X~7.16.X,每個大版本中間包括幾個小升級版本;另外還有1個測試版本,8.0.0-alpha-beta,令人期待的8.0.X穩定版本看來是要到2022年度。

Elasticsearch 2021年度版本釋出

7.11~7.16版本的增強與提升:

1、Runtime field: Runtime field直譯“動態執行時欄位”,帶來了很多語法便利與效能提升,在此之前若要進行欄位的靈活性,需要藉助Script完成,且不能在查詢上下文中複用,必然也會損失很多效能。

2、Frozen tier: Forzen tier直譯“凍結層”,ES節點可以設定多種節點角色,現在增加一種凍結層角色,用於掛載快照資料進行搜尋,同時可以利用節點的共享快照快取,大大提升效能。

3、Cross cluster eql search: EQL帶來了很多查詢語法上便利,尤其是在安全分析領域, EQL 支援跨叢集查詢,帶來了更多的便利,在一個叢集上,可以同時查詢分析多個叢集

4、Async sql search: SQL是ES提供的另外一種資料查詢方式,同比DSL語法簡潔,入門快,非同步查詢是ES提供的一種資料查詢機制,可以支援海量資料分析場景,SQL支援非同步結合了兩者的優點。

5、Cross cluster sql search: SQL也支援跨叢集查詢,大大簡化了之前跨叢集複雜的查詢方式。

Greenplum保持每月迭代一個小版本,最新發布6.18.2

Greenplum 6.0自正式版釋出以來,保持每月一個小版本的迭代速率,持續為使用者提供新功能與修復補丁。2021年下半年,Greenplum已完成了從6.16.2~6.18.2多個版本的升級。提供的新特性如下:

1、Greenplum 6.17.0版本開始支援PXF 6.1.0。

2、Progress DataDirect JDBC Driver v6.0.0+181已於6.17版本中開始支援。

3、gprecoverseg、gpaddmirrors和gpmovemirrors實用程式現在包含-b選項,用於指定每個主機並行操作的最大段數。

4、gpecheckcat實用程式現在允許使用者使用新的-s選項跳過一個或多個測試。此外,-R選項現在接受要執行的多個測試的逗號分隔列表。

5、gpstate -e和gpstate -s命令現在提供有關主映象段WAL同步狀態的更詳細的輸出。

6、Greenplum 6.18.0引入了一個新的查詢優化器伺服器配置引數,optimizer_xform_bind_threshold。

7、新的gp_autostats_allow_nonowner伺服器配置引數,配置Greenplum資料庫以在表被非所有者更新時觸發對錶的自動統計資訊收集。

8、Greenplum 6.18.0引入了新的contrib模組gp_legacy_string_agg。

9、Windows客戶端和載入程式工具包的許可證檔案已更新到最新版本。

10、Greenplum 6.18.0刪除了~/.gphostcache檔案;管理實用程式現在使用替代機制將主機名對映到介面。

11、為了增強產品的可支援性並幫助除錯工作,Greenplum資料庫現在在遇到記憶體不足 (OOM)情況時報告保留和最大虛擬記憶體分配。

Greenplum緊密擁抱PostgreSQL社群,以敏捷的方式快速升級核心。Greenplum核心已於2020年9月升級至12,目前Greenplum團隊正在努力為升級後的核心程式碼進行重構、開發和測試工作,為Greenplum 7版本做準備。

國產資料庫

SequoiaDB共更新5個版本

2021年,巨杉資料庫SequoiaDB總共更新了5個版本,3.2.8、3.4.2、3.4.3、3.4.4和5.0.2。3.4.3和5.0.2都是修復版本,目前兩個版本上修復的問題相同。從大版本上看,5.0大版本包含更豐富的功能,包括MVCC、按時間點恢復和STP(時間序列協議)等功能。

一、SequoiaDB 3.4.4版本值得關注的效能優化及新特性

1、新特性:

  • SQL引擎:新增MySQL例項與SDB元資料對映功能;新增MySQL例項與SDB資料組強繫結功能。

  • SequoiaDB:提供死鎖檢測快照,方便發現事務死鎖並進行處理。

2、相容擴充套件性:

  • SQL引擎:支援MySQL 5.7.34。

3、靈活性:

  • C++連線池支援使用密碼檔案,支援修改協調節點的地址、使用者名稱及密碼。

  • 集合空間新增getDomainName()及listCollections()介面。

  • 備份支援引數MaxDataFileSize,用於指定備份檔案大小。

4、效能優化:

  • SQL引擎:優化MySQL下壓策略,提升查詢效能。

  • SequoiaDB:優化count操作的網路互動,提高count操作效能;優化事務中大批量刪除記錄時的記憶體使用。

二、SequoiaDB 3.4.3和5.0.2版本值得關注的效能優化及新特性

1、新特性: 新增資料來源功能。

2、相容擴充套件性:

  • SQL引擎:MySQL/MariaDB增加preferedinstance配置引數,可靈活配置讀操作訪問的例項。 

  • SequoiaDB引擎:FAP功能完善,支援findAndModify及bulkWrite功能。

3、效能優化:

  • SQL引擎:優化MySQL索引查詢效能;優化MySQL multistatement資料插入效能。

  • SequoiaDB:優化併發回放效能;優化主子表下對切分鍵排序查詢的效能。

注:關於SequoiaDB各版本更新的具體說明,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

DM8 2021年度重大更新及技術要點分析

2021年,達夢旗下的關係資料庫DM8、圖資料庫、雲資料庫以及資料庫一體機都進行了重大的更新和釋出。

一、DM8年度重大更新總結

2021年,DM8總共更新了11個版本,在穩定性、效能、安全、高可用、備份與恢復、資料遷移、部署運維和功能方面進行大量改進,關鍵特性更新如下:

1、持續進行深度相容性改進。相容Oracle系統檢視all_arguments,dba_arguments,user_arguments,增加動態檢視SYS.V$PKGPROCS、SYS.V$PKGPROCPARAMS、SYS.V$PKGPROCINFOS和disql中的DESC命令的查詢速度;完善對Oracle中JSON相關的相容性,merge into (+) 寫法相容;支援Oracle的multiset函式,tz_offset函式、multiset函式等;增加在MySQL相容模式下,支援longtext,mediumtext,longblob,mediumblob四個資料型別的別名,以及其它相容性特性。

2、繼續完善和優化共享儲存叢集DSC相關功能,支援資料庫版本滾動升級、叢集支援XA事務、支援全文索引功能、節點故障處理的優化等。

3、正式推出分佈資料庫叢集DPC,持續對相關SQL查詢效能進行優化、支援快速裝載的命令列引數化、開發表空間遷移等功能。

4、安全性方面,與更多加密卡、加密平臺對接;支援“Wallet口令管理”、支援膨脹的加密演算法等。

5、易用性方面,正式推出了遷移評估、效能監控、叢集管理、運維監控管理一體化的加強版元件DEM。 

二、明年展望

達夢目前已開始了資料庫一體機的研發工作,首款基於超融合及共享儲存叢集的一體機樣機已完成,針對信創領域資料庫的問題和特點,進行了很多有針對性的設計和優化;針對本地交付和雲交付,提供不同的架構方案。

注:關於DM8技術要點分析,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

QianBase TM 2021年度重大更新彙總

易鯨捷QianBase TM 在2021年陸續進行了多個版本的產品迭代,併發布了QianBase TM 1.6.6正式版本,以及QianBase TM 1.6.6SP1~SP6,另外還發布了QianBase TM 1.6.7RC1~RC4,結合使用者需求和專案實踐,對產品在功能、可用 性、穩定性及擴充套件性方面進行研發優化。主要新增特性包括:

一、資料庫

1、Binlog reader功能;

2、表資料和索引對比功能,檢查表資料和索引資料的一致性;

3、Savepoint支援多回滾點,在事務中可以回滾到設定的任意回滾點;

4、QueryCache可用於儲存執行計劃,避免SQL語句重複編譯;

5、Delete with commit,解決線上的大批量刪除資料需求;

6、分割槽表功能(技術預覽),目前只支援range分割槽;

7、可設定RS級別以及事務級別行鎖數量上限,防止大批量更新導致出現Full GC問題;

8、SQL審計日誌新增登入資料庫使用者名稱、資料庫伺服器IP和使用者登入到退出過程中的會話ID;

9、備份恢復:

  • 支援binlog reader表備份恢復;

  • 快速恢復模式(fast mode);

10、滾動升級和滾動重啟:

  • QianBase的滾動升級/重啟是指在不停止業務執行的情況下,對其叢集中所有節點的QianBase資料庫逐個進行升級/重啟;

  • 該過程首先會挑選資料庫的普通節點進行重啟,最後重啟idtmsrvr所在的節點。

11、非同步複製:

  • 支援最大可靠寫異機模式;

  • 支援最大保護模式(預覽版)。

二、連線服務

1、多ActiveDCSMaster: 即在一個EsgynDB叢集上有多個可以工作的DcsMaster,這些DcsMaster同時都可以提供連線服務。

2、JDBC T4驅動快取: 將靜態表資料載入至JDBCT4驅動端的記憶體,當訪問到此靜態表資料時,並且SQL語句中僅包含單表查詢,針對這種資料載入至驅動端快取,此後每條SQL都會訪問這張表存放在JDBCT4驅動端記憶體內的資料,無需再通過IO從伺服器端獲取,提高資料獲取的效能。

三、基礎架構

1、支援NTP伺服器HA配置,安裝時支援兩個NTP伺服器,確保其可靠性。

四、工具類

1、Esgyn DBManager:

  • 通過Esgyn DBManager對Hadoop/Hbase等元件進行管理監控;

2、運維日誌收集工具。

ArkDB 2021年度重大更新彙總

2021年,ArkDB主要在以下方面進行了提升和優化:

ArkDB:

1、升級相容MySQL 8.0.23。

2、引擎物理複製模型重構,實現極速主從切換,大幅提升切換的穩定性。

3、優化啟動流程,提升啟動速度大幅提升。

4、重構logic複製邏輯,避免潛在的死鎖發生。

5、優化mvcc index search btree一致性讀的問題,index lock無鎖化優化,死鎖優化。

6、新增對壓縮表空間和自定義page size的支援。

7、寫效能優化,增加大量測試用例,大幅提升ArkDB穩定性。

8、Arkolap增加流控功能,提升OLTP引擎和OLAP引擎的資料同步效能。

9、Arkolap功能優化,支援線上動態調整同步相關引數。

10、Arkolap支援binlog複製模式。

11、Arkolap相容性改進,相容了更多的特殊語法和型別。

12、ArkDB優化Arkolap分散式方案,提升寫入效能。

13、ArkDB優化基於快照的快速備份和快速還原。

14、ArkDB增加和原生MySQL8的雙向物理備份相容。

15、ArkDB備份穩定性提升,完善了快照備份功能。

Arkpoxy:

1、100%相容MySQL 8.0的語法。

2、實現了內部連線池的功能,解決了大量短連線會造成機器socket資源不足的問題。

3、新增add/delete route命令,可以在已有的server基礎之上,增加路由。

4、實現了延遲連線的功能,提升了連線效能。

5、實現了對連線效能的優化,使用者登入速度大幅提升。

6、實現了可以利用mysql-test來測試的功能,進一步保證了穩定性。

7、在以Percona為後端的情況下,支援了連線透穿的功能,減少運維成本與複雜度,減小了接入難度。

OushuDB 2021年度重大更新彙總

1、OushuDB 4.8.0.0

  • 整合全新的Extendable Resource Manager,相比之前單點RM,通過引入ERM部署多個RM的方式來均衡負載,更加合理的分配資源;

  • 新增Native Magma格式,支援更高效的增刪改查,併發小查詢效能也得到進一步優化;

  • 優化新執行器external sort,採用新的外排優化演算法,達到了更高效的排序效能。

2、OushuDB 4.6

  • ANALYZE命令的效能優化;

  • 加鎖機制效能優化;

  • 資料快取功能增強;

  • 分散式表儲存Magma的增強;

  • 適配了麒麟V10作業系統和鯤鵬920伺服器。

3、OushuDB 4.5

  • 預設建表改為Native ORC格式;

  • Native ORC update/delete鎖優化;

  • 新執行器支援SPI。

4、OushuDB 4.4

  • 多虛擬叢集技術,共享同一份儲存,計算效能物理隔離;

  • 新UDP interconnect效能優化;

  • Native ORC支援ALTER TABLE。

5、OushuDB 4.3

  • 物件儲存功能增強;

  • Native ORC支援BloomFilter;

  • 新執行器支援Native ORC的update/delete;

  • Magma事務和鎖特性的增強;

  • Magma小查詢優化。

雲資料庫

華為雲2021年度重要資料庫產品更新彙總

一、GaussDB(for openGauss)年度重大更新總結

GaussDB(for openGauss)正式推出了Ustore儲存引擎、基於Paxos協議的DCF高可用元件、同城雙叢集高可用等多個重大核心新特性,為企業級使用者打造了穩定高效能的儲存引擎、高可用的核心能力。

二、GaussDB(for MySQL)年度重大更新總結

  • 釋出HTAP特性,支援混合負載能力;

  • 釋出並行建立索引,建立索引速度提升10倍;

  • 釋出NDPQ近資料並行處理技術大幅提升複雜查詢效 率;

  • 支援資料庫代理多地址功能增強分析業務和主業務的隔離能力;

  • 釋出4核和8核規格;

  • 支援SSL加密,增強鏈路安全能力;

  • 支援備份檔案跨地域儲存;

  • 支援包週期例項節點退訂功能;

  • 支援例項回收站功能。

三、華為雲RDS系列產品年度重大更新總結

1、釋出應用無損透明(ALT): 針對網際網路、遊戲客戶,對資料庫高可靠的訴求,推出應用無損透明(ALT),增強系統可靠性,搭配融合Proxy + RDS MySQL,實現HA主備例項,故障場景切換,業務零中斷。

2、跨區域備份: 雲資料庫RDS支援將備份檔案存放到另一個區域儲存,某一區域的例項故障後,可以在異地區域使用備份檔案在異地恢復到新的RDS例項,用來恢復業務。

3、秒級監控: 資料庫關鍵指標,實現秒級粒度監控,提高監控指標的瞬時精確值,RDS for MySQL支援秒級監控,包括1秒監控和5秒監控。

四、GaussDB NoSQL系列產品年度重大更新總結

1、GaussDB(for Redis)

2021年,GaussDB(for Redis)產品堅持打磨核心,提升使用者體驗,持續為更多使用者提供穩定可靠的企業級Redis服務,並在以下方面有重要的產品更新:

1)企業級關鍵特性

  • 支援物理級別的多DB隔離功能;

  • 支援ACID級別的事務功能;

  • 支援Lua指令碼批處理功能;

  • 支援SSL安全訪問功能。

2)雲服務能力

  • 推出8G輕量型規格:讓使用者可在小快取場景應用企業級Redis服務。

  • 支援節點規格變更:讓使用者可快速將例項整體的吞吐能力翻倍,應對業務高併發。

  • 無損線上升級:滾動式線上升級,業務僅秒級感知即可完成重要版本更新。

  • 支援從原生Redis/SSDB/Pika/Kvrocks等多種源端資料遷移:讓使用者不再受制於自建資料庫維護難題,輕鬆上雲,聚焦業務本身。

  • 提供慢日誌查詢及更豐富的監控指標展示:運維體驗提升。

2、GaussDB(for Influx)

2021年,華為雲時序資料庫GaussDB(for Influx) 總共更新了16個版本,最值得關注的新功能有:

  • 冷熱分級儲存,使用者自定義冷熱資料,冷資料將被轉存到單位成本更低的儲存介質上,達到進一步降低資料儲存成本的目的。

  • 相容Flux2.0語法, Flux是InfluxDB的功能資料指令碼語言,專為查詢、分析和處理資料而設計。

  • 提供時序資料分析引擎,內建高效的時序資料的異常檢測和預測演算法,支援演算法可插拔,自定義分析演算法無縫整合。

  • 支援增/全量備份恢復,配置備份策略後,系統自動定期執行,無需人工干預。

3、GaussDB(for Mongo)

2021年,DDS&GaussDB(for Mongo)共計更新了11個重要版本,其中Q2Q3版本中釋出了重大特性:叢集分散式事務,為廣大開發者在NoSQL資料庫技術選型方面提供更多選擇空間。此外,萬用字元索引,客戶端加密,隱藏索引,重定義片鍵等重要特性。在聚合查詢類操作運算元上支援30+,新提供3類pipeline stage算符。這些新功能的釋出上線能夠為Mongo提供更完備的使用場景。

注:關於上述華為雲資料庫產品的具體技術要點分析,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

騰訊雲2021年度重要資料庫產品更新彙總

國產化資料庫

一、TDSQL-C年度重大更新

  • 相容MySQL 8.0自研引擎釋出,提供豐富企業級特性;

  • 滿載CPU流水,提升吞吐能力;

  • 軟體棧多路Run2Completion、全鏈路RDMA,極短IO延遲;

  • 首個支援instand ddl的雲原生引擎,秒級完成結構變更;

  • 核心審計全鏈路上線,提供安全防護能力;

  • Serverless支援WorkLoad智慧預測以及動態擴縮資源。

二、TDSQL MySQL版功能優化

  • 接入雲監控2.0;

  • 支援一主多從(最大5從);

  • 支援二次身份驗證;

  • TDSQL支援SSL連線加密;

  • 支援例項VPC切換;

  • 支援在控制檯上進行例項重啟;

  • 支援例項降配;

  • 支援GB18030字符集;

  • 全面支援雲監控資料介面,舊版告警策略平滑遷移至新版告警策略;

  • 支援切換VIP時自定義老VIP的保留時間;

  • 支援修改只讀策略;

  • 自助跨可用區平滑遷移。

三、 TDSQL PostgreSQL版功能增強及升級

  • TDSQL PostgreSQL版繼2020年9月推出Oracle相容版後,2021年在Oracle相容能力上全面增強,包括觸發器語法、遊標、包、自定義函式、資料字典、巢狀表、系統檢視等方面的Oracle相容度提升。2021年7月正式開放公有云免費內測。

  • TDSQL PostgreSQL版於2021年11月正式推出高Oracle相容的集中式版本,可使中小型Oracle應用更平滑遷移,且與分散式版本在同一套管控納管,支援未來平滑擴容到分散式的TDSQL PostgreSQL Oracle相容版的能力。

四、DBhouse資料庫統一管理平臺釋出

2021年11月4日,騰訊雲資料庫DBhouse工具釋出。DBhouse是騰訊雲基於企業級分散式資料庫在私有云場景中實現對使用者自運維資料庫統一納管的一站式平臺,能夠從流程化、自動化、標準化等多方面提升資料庫運維管理效率,保障資料安全。

  • 資料庫型別支援豐富,囊括Oracle、MySQL等七大主流資料庫;

  • 平臺包含監控、報警、巡檢、運維等功能,覆蓋資料庫運維管理工作完整生命週期,打造智慧運維閉環。

SAAS

一、資料庫智慧管家DBbrain

支援私有云TDSQL+自建MySQL;支援混合雲,可接入多源使用者自建Mysql例項,提供資料庫管理優化運維自治等服務。公有云新增Redis引擎支援、關係型高階審計日誌分析、死鎖解析、熱點保護、視覺化執行計劃等;MongoDB引擎支援將於1月底釋出。

二、DTS-DBbridge

1、 公有云/TCE版本

  • 鏈路豐富,基本覆蓋雲上所有資料庫產品。

  • 資料遷移推出跨賬號遷移、無鎖遷移、異常自助重試、資料一致性校驗等高階特性。

  • 資料同步形態上線,支援雙向同步、環形同步、多對一同步等場景。

2、 DBbridge釋出平臺化產品版本1.4v

  • 平臺架構能力全面升級,實現資料遷移和同步任務叢集化管理、任務高可用排程、資料庫同步引擎外掛化配置、同步任務之間實現資源隔離。

  • 資料庫場景覆蓋進一步擴充套件,支援資料庫遷移型別包括:TDSQL PG到Oracle、TDSQL MySQL/PG到kafka、TDSQL到datahub、TDSQL MySQL到TDSQL PG(包括反向)、TDSQL到檔案、TDSQL到達夢DB等。

NoSQL

一、MongoDB

釋出MongoDB 4.2版本支援分散式事務,分散式事務將 MongoDB 的多文件事務從副本集擴充套件到共享叢集,能夠為更廣泛的場景服務。

新增MongoDB審計,批量回檔,可用區靈活切換等特性,為使用者提供了完善的資料安全管控和追溯能力,滿足資料快速精準回檔、資料容災的自由切換等諸多易用性訴求。

二、Redis

Redis釋出了全球複製功能,在保證效能和資料可靠性的前提下,提供了雙向複製能力,使得Redis可以跨地域同步資料,進而輕鬆解決業務因跨地域訪問導致的延遲問題,助力企業快速實現異地多活架構,並極大降低業務設計複雜度。

三、時序資料庫CTSDB

時序資料庫CTSDB支援Prometheus資料儲存、SQL查詢、資料庫多帳號許可權管理、支援國產化環境ARM/海光x86/銀河麒麟等。

四、圖資料庫KonisGraph

圖資料庫KonisGraph是在公有云正式釋出的一站式智慧圖平臺服務,基於騰訊在海量圖資料上的實踐經驗,支援屬性圖模型和TinkerPop Gremlin查詢語言,提供海量圖資料儲存、相簿管理、視覺化查詢和分析互動能力。

HTAP資料庫

一、 TDSQL-H LibraDB

2021年11月HTAP資料庫TDSQL-H LibraDB正式釋出。產品突出可插拔式TP設計、強大的資料分析引擎和一體化雲原生系統。

注:關於更多騰訊雲資料庫產品的年度更新內容,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

阿里雲2021年度重要資料庫產品更新彙總

一、阿里雲資料庫自研產品

1、雲原生關係型資料庫PolarDB

  • PolarDB MySQL 8.0釋出新版本8.0.1.1.10

    新版本主要對熱點行(秒殺)、DDL、Group By等場景進行了優化,提升資料庫效能和易用性。新增支援Group By的隱式排序功能,熱點行優化功能,解決“秒殺”類效能瓶頸。支援DDL物理複製同步,提升新增索引等常見DDL操作的效能。支援並行MDL同步,提升DDL操作的效能,降低複製延遲。

  • PolarDB MySQL新版本5.7.1.0.6釋出上線,支援秒級加欄位和“秒殺”場景優化

    最新版本5.7.1.0.6,支援秒級加欄位(Instant add column)和“秒殺”優化(Statement Queue)。

  • PolarDB-X 2.0效能趨勢和例項會話功能釋出

    PolarDB-X 2.0通過效能趨勢分析和例項會話管理功能,可監控PolarDB-X 2.0的各節點CPU、記憶體、QPS等效能指標;對例項會話進行管理,使用者進行資料庫自治管理更加便捷。

  • PolarDB-X 2.0支援TDE透明加密

    PolarDB-X 2.0支援透明資料加密TDE(Transparent Data Encryption)可對資料檔案執行實時I/O加密和解密,資料在寫入磁碟之前進行加密,從磁碟讀入記憶體時進行解密。開發人員無需更改任何應用程式,即可使用TDE功能。

2、雲原生資料倉庫AnalyticDB

  • AnalyticDB MySQL版主動運維功能釋出

    主動運維功能釋出,核心版本推送後,使用者可自主選擇升級時間。通過這種方式,使用者可主動選擇業務低峰進行版本升級,降低了業務影響,提高了使用體驗。

  • AnalyticDB MySQL版釋出SQL智慧診斷功能

    SQL智慧診斷功能方便使用者快速自主定位慢SQL問題。在分析查詢的基礎上,對檢索出的慢查詢或資源消耗大的查詢進行調優。效能調優需結合目標查詢的執行計劃數、統計指標及診斷結果來完成,其中SQL自診斷功能可對SQL查詢的Query、Stage和運算元(Operator)級別的資訊分別進行統計,再在統計資訊的基礎上進行診斷並提供調優建議。

  • AnalyticDB PostgreSQL版新功能釋出,核心及SQL診斷與優化能力升級

    新版本核心提升排序及查詢能力,支援增量自動排序等核心功能。控制檯進一步優化智慧診斷與能力服務,提供SQL分佈統計及執行計劃分析。

二、阿里雲開源託管 & NoSQL產品

1、雲資料庫MySQL版

  • MySQL 5.7/8.0基礎版可原地升級至高可用版雲盤架構;

  • 儲存型別升級功能釋出,SSD雲盤可原地升級至效能更好的ESSD雲盤;

  • 通過資料庫自治服務DAS(Database Autonomy Service),可實現效能的自動擴容功能。

2、雲資料庫PostgreSQL版

  • RDS PostgreSQL釋出基於Intel SGX的全加密雲資料庫;

  • RDS PostgreSQL支援接入自建域。

3、雲資料庫SQL Server版

  • RDS SQL Server釋出支援2019企業叢集版;

  • RDS SQL Server 2019標準版支援TDE加密。

4、雲資料庫專屬叢集

  • MyBase MySQL基礎版例項支援8.0版本;

  • MyBase MySQL增加本地SSD型:i2g、i2的多個主機規格,支援部署MySQL高可用例項。

5、雲資料庫ClickHouse版

  • 冷熱資料分層釋出;

  • 支援平滑遷移升級。

6、雲資料庫Redis版

  • Redis/Tair控制檯釋出概覽頁;

  • Redis自動擴容功能。

7、雲資料庫MongoDB版

  • MongoDB釋出5.0版本;

  • MongoDB Serverless預置容量模式支援計算規格變配、更大儲存空間。

8、雲資料庫HBase版 - Serverless服務支援SSD儲存

9、圖資料庫 - GDB只讀節點功能正式全網釋出

注:關於上述阿里雲資料庫產品的更多版本效能分析,可詳細閱讀本期Newsletter完整版(點選本文文末【閱讀原文】可下載)

京東雲正式釋出StarDB

一、2021年7月13日正式釋出金融級國產分散式資料庫StarDB

1、金融級高可用

  • 多資料中心容災架構、秒級監控,保證異常故障自動完成高可用切換,無需人工干預。

  • 多副本資料強同步,保證任意事務資料完成時都至少有兩份副本資料,避免資料丟失,RTO小於30秒,RPO為0。

2、彈性伸縮

  • 設定彈性擴縮容節點數量,自動完成存量資料遷移,增量資料同步和資料一致性校驗。

  • 推送規則,實現自動擴縮容。

3、高效能

  • 原始碼核心層面對系統資源進行使用者態管控,記憶體自動回收優化,增加執行緒池功能,實現特性場景的查詢優化。

  • 同時具備效能鏈路監控、主動優化和故障自愈的能力。

4、安全合規

  • 擁有全面的分散式許可權管控系統,實現了配置加密和資料加密功能,提供全鏈路資料庫審計以及歷史資訊追溯等功能。

5、智慧管控

  • 擁有超大規模叢集自動化運維管理能力,實現了資產管理視覺化、效能管控自主化、容災切換自動化、故障診斷智慧化。

二、京東雲資料庫全面支援多雲部署

京東雲資料庫全面支援Kubernetes的雲原生架構。通過Operator,京東雲資料庫實現了統一的雲原生管理、運維:

  • 自定義控制器,持續根據期望狀態和當前狀態差異進行變更操作;

  • 統一部署、無縫升級;

  • 線上彈性伸縮;

  • 自動資料備份及一鍵恢復;

  • 統一的Promethous監控及報警;

  • 自動應對容器故障、機器故障、網路故障、單機房故障等多種異常場景。

青雲2021年度多款資料庫產品更新彙總

一、關係型資料庫MySQLPlus與分散式資料庫RadonDB年度重大更新

1、2021-02-02 RadonDB 1.1.4版本上線

  • 新增Lower-case-table-names引數,支援開啟或關閉大小寫敏感。

2、2021-07-09 MySQL Plus 1.0.9版本正式上線

MySQL Plus 1.0.9版本基於MySQL 5.6、5.7、8.0核心構建。

  • 新增分析例項節點,支援從主節點同步並分析資料;

  • 新增指定Master節點功能。

3、2021-07-12 MySQL Plus支援外網地址連線

  • MySQL Plus通過在管理控制檯申請外網地址和設定IP白名單;

  • 支援使用外網地址連線資料庫。

二、關係型資料庫PostgreSQL與分散式資料庫PolonDB年度重大更新

1、2021-02-03 PostgreSQL PG11-高可用版-V1.0.6版本正式上線

2、2021-11-03 PostgreSQL PG9.6/PG10-高可用版-V1.1.5/PG11-高可用版-V1.0.7版本正式上線

三、時序分析資料庫ChronusDB與ClickHouse年度重大更新

1、2021-08-23 ChronusDB 1.0.7 / ClickHouse 1.1.6版本正式上線

2、2021-11-03 ChronusDB 1.0.8 / ClickHouse 1.1.7版本正式上線