新一代雲原生資料庫的設計與實踐

語言: CN / TW / HK
時間 2022-07-01 22:15:47

資料庫與作業系統、中介軟體組成了基礎軟體的三駕馬車，也是企業 IT 系統必不可少的核心技術。從上世紀 60 年代誕生至今，不論是網際網路行業還是銀行、電信、製造等傳統行業，都依賴著資料庫技術的演進。

在步入雲原生時代以後，傳統資料庫在服務可用性、資料可靠性、系統安全性、資料庫備份、軟硬體投入、系統託管、維護成本、部署擴容、資源利用率等關鍵方面都有所欠缺。在此背景下，分散式資料庫系統獲得了令人振奮的發展，雲基礎設施和資料庫進一步整合，彌補了傳統資料庫的痛點，帶來了高可擴充套件性、全面自動化、快速部署、節約成本、管理便捷等優勢。關於資料庫技術的討論焦點已經從上雲（ On Cloud ）到如何與雲原生真正結合（ In Cloud ），這是一種從外向內的轉變，對於資料庫而言，擁抱雲原生似乎是顯而易見又十分正確的道路。

業務種類繁多、資料存量大，成本居高不下；業務增速快，訴求不斷變化的挑戰，對資料庫底層技術能力帶來了更高的要求，如何設計一個面向未來的、雲原生化的資料庫系統？資料湖技術帶來了怎樣的新特性？運維告警如何智慧分析與診斷？這些問題都有賴資料庫與雲原生工程師們的巧思妙手。

在7 月 22、23 日即將舉辦的2022 稀土開發者大會上，由位元組跳動資料庫技術負責人張雷作為出品人的《新一代雲原生資料庫》專場演講， 將誠邀各個大廠的核心業務專家為開發者們帶來自身從業雲原生資料庫使用探索中的寶貴經驗分享。本屆開發者大會免費報名中，點選報名連結或識別海報二維碼即可與各位牛人分享交流。

演講主題：雲原生資料庫技術趨勢與英特爾最佳實踐

基於緊耦合的設計方式，傳統資料庫系統的靈活性和伸縮性受到很大的限制。隨著雲原生時代的到來，資源池化，計算和儲存解耦，可以按需按量使用、彈性排程資源，雲原生技術下的資料庫系統也成為未來技術的主流方向。雲原生與分散式結合的新一代雲原生資料庫具備了高擴充套件性、易用性、迭代快速、成本降低等特點。本演講將分析常用雲原生資料庫的技術流行趨勢和技術架構，同時分享使用者的雲原生資料庫部署的案例分析，包括如何採用英特爾在資料庫技術上的從硬體到軟體的整體能力，來幫助使用者優化其雲原生資料庫的解決方案。

演講大綱：

  1. 雲原生資料庫技術發展趨勢
  2. 雲原生資料庫技術生態
  3. 典型雲原生分散式資料庫方案及英特爾最佳實踐

演講嘉賓：

任曉蕾 英特爾資料中心與 AI 事業部解決方案架構師

接近 20 年的 IT 工作經驗，目前在英特爾公司擔任解決方案架構師，主要的技術領域是大資料分析/資料庫，在資料庫和大資料類軟體的架構設計和系統優化方面具有豐富的經驗。

演講主題：Apache Doris 的資料湖分析技術與應用實踐

Apache Doris 是一款基於 MPP 架構的開源分析型資料庫。依託其強大的並行處理能力和高效能運算元，可以在海量資料集上提供亞秒級的互動式查詢體驗。 而近年來，隨著資料湖技術飛速發展，越來越多的企業開始依託資料湖技術構建其基礎資料的儲存架構，並利用資料湖提供的批流一體，事務隔離和資料更新能力，沉澱了大量企業資料。 本次分享，將介紹如何基於 Apache Doris 對資料湖中的資料進行快速分析，以及 Doris 在多源資料聯邦查詢方面的功能和進展。幫助聽眾瞭解 Apache Doris 的資料湖分析技術細節以及如何快速構建高效的查詢分析體系。

演講大綱：

  1. Apache Doris 簡介及核心功能一覽
  2. Apache Doris 資料湖分析技術內幕
  3. 基於 Apache Doris 構建統一的多源資料分析系統
  4. Apache Doris 社群及未來規劃

演講嘉賓：

李繼炳 SelectDB 高階軟體研發專家、Apache Doris Contributor

主要從事 Apache Doris 查詢層優化和資料湖相關研發工作，具有超過 10 年的大資料系統和資料庫核心領域的設計與研發經驗。加入 SelectDB 前，曾任百度大資料部高階研發工程師，負責 Apache Doris 元資料模組的設計與開發。後加入 AWS，負責 AWS Snowmobile EB 級資料遷移服務的設計與實現。

演講主題：雲時代下的資料庫自治體系建設與實踐

伴隨業務的高速擴張，美團私有云資料庫出現井噴，伴隨而來的是大量的告警。這些告警的根因往往需要運維人員長時間的分析，並帶來了不可控的時間成本以及誤判風險，由此造成的小故障擴大成大事故的案例數不勝數。因此，本次的主題將會介紹如何利用實時計算能力 (Flink/Spark) 構建海量監控資料的計算和儲存、基於海量資料豐富資料庫的可觀測性、結合專家經驗 + AI 實現資料庫異常發現和根因定位、讓決策和處理聯動提升故障自愈的能力。

演講大綱：

  1. 資料庫例項高速增長下，團隊面臨的主要矛盾
  2. PB 級的海量監控資料實時計算和儲存能力建設
  3. 完善資料庫可觀測性（全量 SQL/Transaction/Lock 等）
  4. 基於 AI 的資料庫異常發現、根因定位和故障自愈
  5. 實際場景中的經典案例展示

演講嘉賓：

蔡金龍 美團基礎研發平臺數據庫研發主管

美團資料庫平臺研發組負責人，負責過 SRE、KV 和 DBA 相關運維團隊，主導了美團關係資料庫變更和管控平臺 RDS、資料庫自治服務 DAS 和資料庫安全防火牆 DBSS 相關專案從 0-1 的建設。目前正在構建新一代資料庫智慧運維平臺，藉助 AI 實現資料庫高度自治。

演講主題：位元組雲原生資料庫（MySQL）的優秀技術實踐

位元組雲原生資料庫（veDB for MySQL）自 2020 年 4 月推出以來，已經在位元組內部業務大量上線並即將在火山引擎平臺正式公測，但由於內部業務大都從 MySQL + 本地 NVME SSD 遷移而來，使用過程中也碰到了不少的問題。比較突出的是，計算儲存拉遠後造成的效能問題。如何克服這些問題同時又不影響業務側體驗及口碑非常重要。本次演講會挑選幾個典型的技術案例，深入介紹 veDB （for MySQL）技術上是如何克服這些挑戰的。

演講大綱：

  1. 位元組雲原生資料庫（MySQL）簡介
  2. 技術案例一：Fast DDL
  3. 技術案例二：Hot （Extended） Buffer Pool
  4. 技術案例三：Quick Resharding
  5. 技術案例四：Parallel Query
  6. 未來技術發展方向

演講嘉賓：

聶願願 位元組跳動基礎架構 MySQL 技術負責人

畢業於武漢華中科技大學，有 10 餘年的資料庫核心開發經歷，曾供職於 IBM、Teradata、華為，2019 年加入位元組跳動基礎架構團隊，目前負責 veDB （for MySQL） 技術方向及所在團隊。主要關注分散式資料庫、分散式儲存技術方向。加入位元組跳動後，從無到有參與構建了 veDB （for MySQL）產品，並已在位元組內部大量上線應用。

演講主題：Google Cloud 在雲原生資料庫上的實踐和探索

雲原生資料庫的發展日新月異，“向左走，還是向右走”？Google Cloud 作為全球資料庫的領導者，構建了一個日益完整的雲原生資料庫體系，通過持續創新、引領潮流，協助我們的使用者解決諸多資料計算、儲存、分析、管理所面臨的挑戰和問題，激發業務活力。

演講大綱：

  1. 雲原生資料庫的概覽
  2. Spanner 資料庫帶來的創新
  3. AlloyDB 在 Log is database 的探索

演講嘉賓：

郭斌 Google Cloud 資料庫架構師

多年資料庫技術實踐經驗，精通主流關係型資料庫和 NoSQL 資料庫，對各類新的資料庫技術有著深入的理解和豐富的實戰經驗，特別是近兩年來和遊戲公司合作較多，對遊戲公司的資料庫需求吃得很準，鑽得很深。加入谷歌之前，曾在 Elastic、MongoDB、Oracle 擔任架構師、諮詢工程師等職位。

本屆大會策劃的專題除新一代雲原生資料庫以外，還包括了開源和商業化探索、大前端、低程式碼、業務背後的架構演進、微服務和 Serverless、雲原生技術架構和變革等十數個技術專場，由來自位元組、阿里、騰訊、快手等公司具備技術影響力與洞察力的行業專家負責議題把控，目前大會出品人已全部集齊，講師陣容即將確認完畢。除了為期兩天的沉浸式內容體驗，稀土開發者大會還為萬千開發者朋友們準備了豐厚的獎品，報名參會的開發者將有機會參與抽獎，贏取豐厚大獎， 敬請期待 。

「其他文章」
「」
「」