課件獲取：關注公眾號“數棧研習社”，後臺私信 “ChengYing” 獲得直播課件

影片回放：點選這裡

ChengYing開源專案地址：github 丨 gitee 喜歡我們的專案給我們點個__ STAR！STAR！！STAR！！！（重要的事情說三遍）__

技術交流釘釘 qun：30537511

本期我們帶大家回顧一下海洋同學的直播分享《ChengYing部署Hadoop叢集實戰》

一、Hadoop叢集部署準備

在部署叢集前，我們需要做一些部署準備，首先我們需要按照下載Hadoop產品包：

● Mysql

http://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Mysql_5.7.38_centos7_x86_64.tar

● Zookeeper

http://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Zookeeper_3.7.0_centos7_x86_64.tar

● Hadoop

http://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hadoop_2.8.5_centos7_x86_64.tar

● Hive

http://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hive_2.3.8_centos7_x86_64.tar

● Spark

http://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Spark_2.1.3-6_centos7_x86_64.tar

接著我們可以將下載好的產品包直接通過ChengYing介面上傳，具體路徑是：部署中心—元件管理—元件列表—上傳元件安裝包：

可以通過兩種模式上傳產品包：

本地上傳方式

產品包在先下載到本機電腦儲存中，點選本地上傳，選在產品包上傳。

網路上傳模式

直接填寫產品包網路地址上傳（ChengYing的網路需要和產品包網路互通）。

Hadoop叢集部署流程

做完準備後，我們可以開始進入叢集部署，Hadoop叢集部署流程包括以下步驟：

叢集部署順序說明

• 首先需要部署Mysql和zookeeper，因為Hadoop需要依賴zookeeper，Hive元資料儲存使用的是Mysql；

• 其次需要部署Hadoop，Hive

• 最後部署Spark，因Spark依賴hivemetastore

PS：部署順序是不可逆的

Hadoop叢集部署角色分佈

產品包標準部署流程

• 選擇需要部署的產品包，點選部署按鈕，然後選擇對應需要部署的叢集，預設叢集為dtstack，叢集名稱可配置；

• 下一步選擇需要部署的服務，預設產品包下的服務都會部署，可以根據實際需求部署，在此階段可以對服務的配置檔案進行修改，例如：修改Mysql連線超時時間等；

• 最後點選部署，等待部署完成。

Mysql服務部署流程演示

接下來我們以Mysql服務部署流程來為大家實際演示下整體流程：

● 第一步：選擇叢集

● 第二步：選擇產品包

● 第三步：選擇部署節點

● 第四步：部署進度檢視

● 第五步：部署後狀態檢視

Hadoop叢集使用與運維

叢集部署完畢後，若有需求可以進行配置變更操作。

● 配置修改

例如：如果需要操作修改yarn的配置檔案，可以先選擇yarn-site.xml檔案，可以在搜尋框搜尋需要修改的配置檔案key，如cpu_vcores。

● 配置儲存

● 配置下發

Taier對接Hadoop操作流程

ChengYing除了可自動部署運維外，還可以對接Taier部署Hadoop叢集，Taier 是一個大資料分散式視覺化的DAG任務排程系統，旨在降低ETL開發成本、提高大資料平臺穩定性，大資料開發人員可以在 Taier 直接進行業務邏輯的開發，而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現，將工作的重心更多地聚焦在業務之中。

利用ChengYing部署管理Taier服務，可以做到實時監控Taier的服務狀態，隨時介面修改Taier配置等。Taier對接Hadoop叢集的操作流程如下：

• 首先需要在Taier控制檯選擇多叢集配置，新增一個叢集；

• 然後配置sftp、資源排程元件、儲存元件和計算元件；

• 配置完成後需要儲存並且測試連通性。

注意事項：

在對接過程中，sftp主機需要和Taier網路相通，並且sftp配置主機的路徑需要存在，如果不存在，需要手動建立。

Taier的部署網路需要與Hadoop網路相通，如果執行任務，需要在Taier所在節點加入Hadoop叢集的Host配置;編譯/etc/hosts檔案，增加IP Hostname。

● 第一步：配置公共元件

首先進入Taier登陸介面，點選控制檯，新增叢集，然後進入多叢集管理介面，配置公共元件，選擇SFTP，進入SFTP配置介面。

● 第二步：配置SFTP

然後配置SFTP的host，認證方式，預設採用使用者名稱密碼方式，輸入使用者名稱和密碼，並且輸入path路徑，此路徑需要在主機上存在，如果不存在，需要手動建立一個SFTP路徑.

● 第三步：資源排程元件配置

需要到部署Hadoop伺服器到/opt/dtstack/Hive/hive_pkg/conf目錄下獲取hive-site.xml檔案，下載到本地；

到/opt/dtstack/Hadoop/Hadoop_pkg/etc/Hadoop目錄下獲取hdfs-site.xml、core-site.xml、yarn-site.xml檔案，下載到本地；

這四個檔案壓縮成一個zip包，上傳這個壓縮包。

● 第四步：計算元件配置

選擇計算元件模組，選擇需要對接的計算引擎Hive和Spark，選擇Hive和Spark的版本，填寫對應的jdbc（jdbc:hive://ip:port/）連線串，然後點選儲存，測試連通性。

注意：jdbcurl中ip分別為Hive元件的hiveserver2和Spark中的thrifterserver所在節點ip。

● 第五步：配置Hive和Spark

以下是配置完成Hive和Spark元件後，測試連通性的狀態。

注意：本地演示環境Hadoop未開啟安全，Hive和Spark只需要配置jdbcurl即可。

Hadoop叢集近期規劃

最後和大家聊聊Hadoop叢集近期規劃，近期主要有三大規劃：

● 產品包製作

製作ChengYing部署產品包的流程及實踐。

● ChunJun&Taier產品包

製作可以用ChengYing部署的Taier和chunjun的產品包

● Hadoop運維

通過ChengYing運維大資料叢集；

通過ChengYing一鍵開啟Hadoop叢集安全。

袋鼠雲開源框架釘釘技術交流群（30537511），歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊，開源專案庫地址：http://github.com/DTStack