數倉還是資料湖?亦或是湖倉一體?該如何選型?

語言: CN / TW / HK

2022年9月17日,09:00-12:45,在DataFunSummit 2022:現代資料棧技術峰會上,由 Alluxio開源佈道師 傅正佳 老師出品的 資料湖倉論壇 邀請到了來自百度、位元組跳動、華為、Databricks、Alluxio的一線技術專家與您深度分享交流。

出品人:傅正佳 Alluxio 開源佈道師

個人介紹:傅正佳,Alluxio 開源佈道師。本科畢業於上海交通大學電子系,隨後取得香港中文大學資訊工程博士學位,畢業後加入新加坡高階數字科學中心(美國伊利諾伊大學在新加坡的研究所)從事科研工作,在計算機網路和分散式系統領域相關的頂級國際會議發表多篇論文。加入Alluxio前,傅正佳曾在新加坡科技公司Bigo Technology擔任機器學習研發總監。

彭翔宇 百度 資深研發工程師

個人介紹:彭翔宇,百度資深研發工程師。畢業於上海交通大學,十年大資料工程技術開發經驗,技術方向覆蓋Hadoop、Spark、Flink、Clickhouse等開源專案,在百度先後負責雲圖(元資料統一管理)、Minos(資料傳輸)、Pingo(分散式計算)等產品的研發工作,目前在百度PALO團隊負責實時數倉研發工作。

演講主題:從 Apache Doris 存算分離到 PALO 的湖倉一體

演講提綱:

1. 百度 PALO 實時數倉的歷史及其與 DORIS 的血緣關係

2. PALO 的資料儲存結構

3. PALO 存算分離的實現

4. PALO 在湖倉一體方向的實踐與未來

聽眾收益:

1. 瞭解 PALO 資料倉庫的資料結構

2. 瞭解 PALO 存算分離的原理

3. 瞭解 PALO 在湖倉一體方向的實踐

耿筱喻 位元組跳動資料平臺 大資料工程師

個人介紹:碩士畢業於南京大學 PASA LAB 大資料實驗室,就職於位元組跳動資料引擎團隊,目前專注於資料湖場景落地。

演講主題: 位元組跳動 LAS 資料湖儲存核心揭祕

演講提綱:

1. 資料湖生產落地遇到的問題

2. 資料湖元資料服務

3. 資料湖非同步操作管理服務

4. 未來計劃

聽眾收益:

1. 資料湖生產落地遇到的問題

2. 資料湖元資料管理現狀,解決方式

3. 資料湖非同步操作全託管、多租戶支援

李立偉 華為 大資料高階工程師

個人介紹:華為大資料高階工程師,iceberg活躍貢獻者。

演講主題:Iceberg 在華為終端雲的探索

演講提綱:

1. 整體架構概覽

2. 應用場景

3. 特性增強

聽眾收益:

1. 通過 iceberg 大規模降低儲存

2. iceberg 的生產配套生態建設

3. 如何在 iceberg 上進行實時資料處理

範文臣 Databricks 技術主管

個人介紹:範文臣,Databricks 開源組技術主管,Apache Spark PMC member,Spark社群最活躍的貢獻者之一。從2013年開始參與Spark的研發,2015年加入Databricks,目前主要負責Spark Core/SQL 的設計開發和開源社群管理。

演講主題:Lakehouse technology as the future of data warehousing

演講提綱:介紹 lakehouse 架構的基本概念,以及搭建 lakehouse 架構的實踐經驗

聽眾收益:瞭解 lakehouse 架構,參考業界的實際搭建經驗。

王北南 Alluxio 軟體工程師

個人介紹:王北南 Alluxio工程師,畢業於復旦大學,獲美國Syracuse大學計算機工程博士學位。Prestodb開源社群Committer,Presto iceberg/druid/parquet等模組的主要維護者。曾任Twitter Presto/Hive team的Tech Lead,負責大規模分散式SQL的研發與維護,期間團隊的上雲相關工作獲得IC2E’21 最佳論文。目前負責Alluxio儲存和本地快取,是Alluxio的核心維護者之一。

演講主題:Presto+Alluxio 加速 Iceberg 資料湖訪問

演講提綱:

1. Presto Iceberg connector 簡介

2. 告別 Hive Metastore 和元資料一致性的討論

3. Parquet 資料格式的加密儲存

4. Presto 的分割槽下推和 Alluxio 的本地快取

5. 進一步下推以及 Alluxio 的語義快取

6. 未來工作:Arrow 和原生運算元的支援

聽眾收益:

1. 瞭解 Presto Iceberg Connector 的最新研發進展

2. 瞭解 Alluxio 的本地快取對 iceberg 的加速

3. 瞭解 Presto 和 Alluxio 資料湖的未來研發方向

▌如何參與?

識別二維碼,入群收看直播