全網第一份 Kylin 4.0 效能調優指南!

語言: CN / TW / HK

收錄於話題

#技術部落格

1個

Kylin 4.0 相較之前的版本是一個 重大的架構升級 版本,全新的構建引擎和查詢引擎極大地提升構建效能和查詢效能,解決了查詢 單點問 等痛點;去除了 HBase 依賴,很大程度地解決了 Kylin 的難運維問題,也使得 Kylin 的計算和儲存分離變為可能,更加符合 雲原生 的技術趨勢。

隨著 Kylin 4.0-alpha 版本的釋出,全新的構建和查詢引擎也使 Kylin 4.0 中的調優方式相比 Kylin 之前的版本發生了重大的變化,這使得 Kylin 老使用者積累的大部分調優經驗不再適用於 Kylin 4.0 。

為了使使用者能夠快速瞭解 Kylin 4.0 中的調優方式和最佳實踐,避免在使用 Kylin 4.0 過程中由於其調優方式與 Kylin 之前版本的巨大差異而遇到效能瓶頸,Kyligence 的大資料架構師張智超釋出了 Kylin 4.0 的最新效能調優指南。( 點選“閱讀原文”,直達 Kylin 4 最新效能調優指南

除此之外,我們更特意推出了本期 B 站視訊,來講解在 Kylin 4.0 中如何優化 Cube 構建和查詢效能。 本次視訊主要分為  Cube  構建效能優化 查詢效能優化 兩個部分。

#  上篇「Cube 構建效能優化」

關於 Cube 構建效能優化,除了可以通過原有的設定層級維度、必需維度等方式對 Cube 進行剪枝來提升構建速度以外,還可以通過設定合理的 Spark 資源配置來優化構建,比如利用 Kylin 4.0 中的新特性自動調參,或者調整全域性字典以及維度錶快照的相關配置來提升效能。

# 下篇「查詢效能優化」

而查詢效能優化,則主要是通過在 Cube 中指定 shardBy 列、設定 sortBy 列順序、減少小檔案、對查詢引擎 SparderContext 的配置進行調整等方式來實現的。

除了以上針對 Kylin 4.0 調優的講解視訊,大家還可以在 Kylin Wiki  中瞭解 Kylin 4.0 的最新進展。 隨著 Kylin 4.0 不斷迭代更新,Kylin 4.0 的效能調優方式也會不斷髮生變化和更新,歡迎大家持續關注我們的 最新效能調優指南」 (點選“閱讀原文”即可直達

Kylin 4.0  效能調優指南目錄如下圖:

往期案例與實踐

喜歡 Kylin 的產品和文章的話,別忘了 分享 收藏 點贊 ,讓更多人知道我們哦:blush:

點選

閱讀原文

檢視 Kylin 4.0 效能調優完整指南