Cloudera Manager主機管理

語言: CN / TW / HK

Cloudera Manager提供了多種功能來管理叢集中的主機。

檢視主機狀態

您可以檢視有關由Cloudera Manager管理的主機的摘要資訊。您可以檢視所有主機,叢集中的主機或單個主機的資訊。

檢視所有主機

要顯示有關由Cloudera Manager管理的所有主機的摘要資訊,請單擊左側選單中的主機>所有主機。將顯示“所有主機”頁面,其中列出了由Cloudera Manager管理的所有主機。

主機列表顯示由Cloudera Manager管理的叢集中主機的整體狀態。

  • 提供的資訊根據選擇的列而有所不同。要更改列,請單擊“列:n選定”下拉列表,然後選擇要顯示的列旁邊的複選框。

  • 單擊角色數量左側的,以列出該主機上執行的所有角色例項。

  • 在搜尋框中輸入搜尋詞(主機名、IP地址或角色),以逗號或空格分隔,以過濾主機列表。使用引號來表示完全匹配(例如,包含空格(例如角色名稱)的字串)和方括號來搜尋範圍。顯示與任何搜尋詞匹配的主機。例如:

hostname[1-3], hostname8 hostname9, "hostname.example.com"hostname.example.comHDFS DataNode
  • 您還可以通過從頁面左側“過濾器”部分的構面中選擇一個值來搜尋主機。單擊“過濾器”切換以顯示或隱藏“過濾器”部分。

檢視叢集中的主機

請執行以下任一操作:

  • 選擇叢集>叢集名稱>主機 。

  • 在主螢幕中,單擊完整表格叢集表。

將顯示“所有主機”頁面,其中列出了按叢集名稱過濾的主機。

檢視單個主機

通過單擊“所有主機”頁面上的主機連結,可以檢視有關單個主機的詳細資訊-已使用和可用的資源(CPU /記憶體/儲存)、正在執行的程序、有關主機代理的詳細資訊等等。

將主機新增到叢集

將主機新增到叢集的步驟。

您可以使用“新增主機”嚮導將一個或多個主機新增到叢集中,該向導將安裝JDK,Cloudera Runtime和Cloudera Manager Agent軟體。安裝軟體並啟動Cloudera Manager代理後,該代理將連線到Cloudera Manager Server,您可以使用Cloudera Manager管理控制檯來管理和監控新主機上的Cloudera Runtime。

“新增主機”嚮導不會在新主機上建立角色。成功新增主機後,您既可以新增角色,一次新增一項服務,也可以應用主機模板,該模板可以為多個角色定義角色配置。

重要

  • 不合格的主機名(短名稱)在Cloudera Manager例項中必須唯一。例如,您不能同時由同一Cloudera Manager Server管理host01.example.com和 host01.standby.example.com

  • 單個叢集中的所有主機必須執行相同版本的CDH。

  • 新增新主機時,必須安裝相同版本的CDH,以使新主機能夠與叢集中的其他主機一起使用。安裝嚮導使您可以選擇要安裝的CDH的版本,還可以選擇一個自定義儲存庫以確保所安裝的版本與其他主機上的版本匹配。

  • 如果要管理多個叢集,請選擇與計劃在其中新增新主機的叢集上使用的CDH版本匹配的CDH版本。

  • 當您新增新主機時,將發生以下情況:

    • YARN的topology.map已更新為包括新主機

    • 所有服務(Flume,Hive,Hue,Oozie,Solr,Spark,YARN)的配置中如果包括topology.map,都標記為過時

新增主機後的方便點,您應該重新啟動陳舊的服務以選擇新配置。

Parcel

在Parcel標籤頁面,你可以下載、分發、並激活可用的parcel到叢集中。您可以使用parcel將新產品新增到叢集中,或升級已經安裝的產品。

配置主機

通過“配置”選項卡,您可以設定與Parcel和資源管理相關的屬性,還可以監控受管理主機的屬性。

您在此處進行的配置設定將影響所有託管主機。您還可以通過單擊“所有主機”頁面中的主機來配置單個主機的屬性,這將覆蓋此處設定的全域性屬性。

要編輯主機的預設配置屬性,請單擊“配置”選項卡。

檢視主機角色分配

您可以按以下方式檢視對主機的角色分配:

  1. 在左側選單中,點選 主機>角色。

2.單擊叢集名稱或所有叢集。

主機模板

“主機模板”頁面使您可以建立和管理主機模板,這提供了一種方法,用於指定應應用於主機的一組角色配置。

主機模板使您可以指定一組角色組,這些角色組可以通過一次操作應用於一個主機或一組主機。當您需要擴充套件叢集時,這將大大簡化配置新主機的過程。CDH 4和CDH 5叢集主機均支援主機模板。

重要

主機模板只能應用於CDH版本與該主機模板所屬的叢集上執行的CDH版本相匹配的CDH。

您可以通過單擊主機>主機模板來建立和管理 主機模板。

不需要模板;執行初始叢集安裝時,Cloudera Manager會將角色和角色組分配給叢集的主機。但是,如果要將新主機新增到叢集,則主機模板可以使此操作變得更加容易。

如果存在現有主機模板,則會在頁面上列出它們,以及指向模板中包含的每個角色組的連結。

如果要管理多個叢集,則必須為每個叢集建立單獨的主機模板,因為模板指定了特定於單個叢集中角色的角色配置。現有主機模板在它們適用的叢集下列出。

  • 您可以單擊角色組名稱,以轉到該角色組的“編輯配置”頁面,您可以在其中修改角色組設定。

  • 在與模板關聯的“操作”選單中,您可以編輯、克隆或刪除模板。

主機磁碟概述

如何檢視叢集中所有磁碟的狀態。

在左側選單中,單擊 主機>磁碟概述,以顯示部署中所有磁碟狀態的概述。公開的統計資訊匹配或以上的統計為基礎iostat,並顯示為一系列直方圖,預設情況下覆蓋系統中的每個物理磁碟。

調整時間線的端點以檢視不同時間段的統計資訊。在框中指定過濾器以限制顯示的資料。

例如,要檢視單個機架rack1的磁碟,請將過濾器設定為:logicalPartition = false and rackId = "rack1",然後單擊 過濾器。單擊直方圖以向下鑽取並識別離群值。將滑鼠懸停在圖表上,然後單擊以顯示有關圖表的其他資訊。

刪除主機

您可以通過兩種方式從叢集中刪除主機:

  • 從Cloudera Manager中完全刪除主機。

  • 從叢集中刪除主機,但將其留給Cloudera Manager管理的其他叢集使用。

兩種方法都將停用主機,刪除角色並刪除託管服務軟體,但保留資料目錄。

從Cloudera Manager刪除主機

要從Cloudera Manager刪除主機,請首先停用該主機,然後將其刪除。

  1. 在Cloudera Manager管理控制檯中,轉到主機>所有主機。

  2. 選擇要刪除的主機。

  1. 選擇“選定的操作>主機停用”。

  1. 在主機上停止代理。

  2. 在Cloudera Manager管理控制檯中,轉到 主機>所有主機。

  3. 重新選擇在步驟2中選擇的主機。

  4. 選擇“已選擇的操作” >“從Cloudera Manager中刪除”。

從叢集中刪除主機

從叢集中刪除主機將保留由Cloudera Manager管理的主機,並保留Cloudera Management Service角色(例如,事件伺服器,活動監控器等)。

  1. 在Cloudera Manager管理控制檯中,單擊主機選項卡。

  2. 選擇要刪除的主機。

  3. 選擇“選定物件的操作” >“從叢集中刪除”。將顯示“從叢集中刪除主機”對話方塊。

4.將選擇保留為停用角色,然後跳過刪除Cloudera Management Service角色。單擊確認以繼續刪除選定的主機。

停止主機上的所有角色

您可以從“主機” 頁面停止主機上的所有角色。

  1. 在左側選單中,單擊 叢集>主機 或主機>所有主機。

  2. 選擇一個或多個要停止所有角色的主機。

  3. 選擇“選定物件的操作” > “在主機上停止角色”。

啟動主機上的所有角色

您可以從“主機” 頁面上啟動主機上的所有角色。

  1. 單擊主機選項卡。

  2. 選擇一個或多個要啟動所有角色的主機。

  3. 選擇“選定物件的操作” >“在主機上啟動角色”。


更改主機名

在安裝Cloudera Manager並建立叢集之後,可能需要更新執行Cloudera Manager Server或叢集服務的主機的名稱。

重要

  • 此處描述的過程需要Cloudera Manager和叢集停機。

  • 如果有任何使用者建立的指令碼引用了特定的主機名,則還必須更新這些主機名。

  • 由於執行過程的長度和複雜性,Cloudera不建議更改叢集主機名。

在叢集之間移動主機

在叢集之間移動主機,必須首先停用主機,從主機中刪除角色,然後完成其他任務。

配置升級域

升級域允許對叢集主機進行分組,以在重新啟動和升級期間獲得最佳效能。

升級域支援更快的叢集重啟,更快的Cloudera Runtime升級以及跨大型叢集的無縫OS補丁和硬體升級。升級域提供了預設HDFS塊放置策略的替代方法,可在一組主機(可能比單個機架大)上分佈資料,Cloudera Manager可以立即升級/重新啟動這些主機,而不會影響服務和資料可用性。當您選擇升級為域塊放置策略,您還可以指派一個升級域組到每個資料節點主機。NameNode使用這些組在寫入資料時分配塊,並安排滾動重啟和升級。對於超大型叢集或頻繁重新啟動滾動的叢集,此功能很有用。

例如,如果將HDFS配置為預設複製因子3,則NameNode會將副本塊放置在3個不同的“升級域”中的DataNode主機上以及至少兩個不同的機架上。

注意

  • Cloudera建議您為每個升級域分配大約相等數量的DataNode主機。

  • 叢集中的升級域數應大於或等於HDFS複製因子。在叢集上執行滾動重新啟動時,升級域組中的所有主機將同時重新啟動,隨後其餘每個升級域組中的主機也將重新啟動。

  • 您應該建立足夠數量的升級域,以便當單個升級域中的所有主機都離線時,叢集仍可以正常執行。升級域的適當數量取決於叢集的工作負載和容量,並且可能需要調整以獲得最佳效能。

  • 為了利用改進的滾動重啟效能,升級域組不應重複機架分配。升級域組中的主機數應大於機架中的主機數。

  1. 為所有主機配置升級域:

    1. 單擊 主機>所有主機。

    2. 選擇要新增到升級域的主機。

    3. 單擊“所選操作” >“分配升級域”

      c.在“新升級域”欄位中輸入升級域的名稱 。

            e. 單擊確認按鈕。

2.設定HDFS塊副本放置策略:

    1. 開啟Cloudera Manager管理控制檯。

    2. 轉到叢集的HDFS服務。

    3. 單擊配置選項卡。

    4. 搜尋“ HDFS塊副本放置策略”配置引數。

            e.選擇升級域。

        f.分配給每個主機的升級域顯示在“所有主機”頁面上的“升級域”列中。(您可能需要將此列新增到表中:單擊 表上方的“列”下拉列表,然後選擇“升級域”列。)

        g.單擊儲存更改。

    3.重新啟動HDFS服務。

為主機指定機架

為了獲得最佳效能,配置Cloudera Manager以便了解網路的拓撲非常重要。網路位置(例如主機和機架)用樹表示,該樹反映了位置之間的網路“距離”。HDFS將使用網路位置來更智慧地放置塊副本,以權衡效能和彈性。

在主機上放置作業時,CDP比機架內傳輸更喜歡機架內傳輸(那裡有更多可用頻寬)。MapReduce和YARN排程程式使用網路位置來確定最接近的副本在哪裡作為對映任務的輸入。這些計算是在機架識別指令碼的幫助下執行的。

Cloudera Manager包含內部機架感知指令碼,但是您必須指定叢集中主機所在的機架。如果您的叢集包含10個以上的主機,則Cloudera建議您為每個主機指定機架。HDFS、MapReduce和YARN將自動使用您指定的機架。

Cloudera Manager支援巢狀機架規格。例如,您可以指定rack:/rack3,或/group5/rack3表示第五組中的第三個機架。叢集中的所有主機在其機架規格中必須具有相同數量的路徑元件。

  1. 單擊主機>所有主機。

  2. 選擇要分配給機架的主機。

  3. 單擊“選定物件的操作” >“分配機架”。

4.輸入以斜槓/開頭的機架名稱或ID ,例如/rack123或 /aisle1/rack123。

5.點選確認。

6.可選)重新啟動所有受影響的服務。機架分配不會針對正在執行的服務自動更新。

在叢集主機上執行維護

您可以通過使用Cloudera Manager管理主機停用和重新啟用過程來在叢集主機上執行次要維護。

在此過程中,您可以指定是否從退役的主機中抑制警報,對於執行DataNode角色的主機,您可以指定是否將複製不足的資料塊複製到其他DataNode以維護叢集的複製因子。當在叢集主機上執行較小的維護時,例如新增記憶體或更換網絡卡或電纜(預期維護時段較短,並且由於缺少丟失的塊而浪費額外的叢集資源是不希望的)時,此功能很有用。

您還可以將主機置於維護模式,該模式可在維護視窗期間抑制不必要的警報,但不會停用主機。

要在叢集主機上執行主機維護:

  1. 停用主機。

  2. 在主機上執行必要的維護。

  3. 重新託管主機。


原文連結:https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/concepts/topics/cm-host-management.html

https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/managing-clusters/topics/cm-managing-hosts.html




本文分享自微信公眾號 - 大資料雜貨鋪(bigdataGrocery)。
如有侵權,請聯絡 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。