使用YARN Web UI和CLI

這是Yarn使用系列的中的一篇。

訪問 YARN Web 使用者介面以監控叢集、佇列、應用程式、服務和任務流的活動。

您可以從 Cloudera Manager 訪問 YARN Web 使用者介面來監控叢集。

1. 在 Cloudera Manager 中，選擇 YARN 服務。

2. 單擊Web UI選項卡。

3. 選擇ResourceManager Web UI。

ResourceManager Web UI 在新的瀏覽器視窗中開啟。

請注意，在 ResourceManager 高可用性配置中，如果您選擇非活動 ResourceManager，則連結將指向活動 ResourceManager 的 Web UI。

“叢集概覽”頁面按應用程式和佇列顯示叢集資源使用情況、有關已完成和正在執行的應用程式的資訊以及叢集中記憶體和 vCore 的使用情況。

應用程式的叢集資源使用情況

顯示應用程式正在使用的叢集資源的百分比和可供使用的百分比。

葉子佇列的叢集資源使用情況

顯示葉子佇列正在使用的叢集資源的百分比和可供使用的百分比。

來自所有使用者的完成的應用程式

顯示已完成、已終止和失敗的應用程式的數量。

監控正在執行的應用程式

顯示掛起和正在執行的應用程式的數量。

memory-mb – 使用

顯示已用的和可用的記憶體量。

vcores – 使用

顯示已使用的和可用的vcore數。

監控Node Manager

顯示以下類別下Node Manger的狀態：

• 活動的

• 不良

• 退役中

• 已退役

• 失聯

該節點上的Yarn Web使用者介面頁面，可以檢視有關該NodeManagers正在執行的叢集節點的資訊。

該節點在以下標題頁面顯示的細節：資訊、節點狀態和節點熱圖圖表。

資訊

資訊選項卡顯示在下面的圖中所示的節點的詳細資訊：

您可以對任何列進行排序以檢視所需節點的詳細資訊。您還可以搜尋以從整個列表中查詢特定節點標籤。

要檢視任何節點標籤的節點管理器頁面，請單擊相應的節點 HTTP 地址。所述節點管理器頁面顯示的節點的詳細資訊作為顯示在下面的圖中：

您還可以在餅圖表示中檢視以下類別中的資源使用情況：

1. 記憶體

2. Vcore

3. Yarn-io/GPU

節點狀態

此選項卡以圖形表示形式顯示節點管理器。它顯示詳細資訊，例如活動節點的數量、不健康的節點的數量、退役的節點和退役的節點管理器的數量。

節點熱圖圖表

此選項卡根據節點的記憶體使用情況以圖形方式顯示節點。您可以在搜尋欄中輸入主機或機架詳細資訊以過濾節點。

該佇列頁面是YARN佇列排程依賴和顯示的細節。您可以檢視所有分割槽的佇列或過濾以檢視分割槽的佇列。

容量排程器

檢視佇列詳細資訊

在容量排程程式檢視中，單擊代表特定佇列的圓圈。頁面的右欄會更新為該佇列的詳細資訊。

以下示例顯示了佇列的詳細資訊：

您可以雙擊佇列以在單獨的頁面上檢視其詳細資訊。您還可以通過單擊相應的應用程式的 ID 來檢視提交到該佇列的任何應用程式的詳細資訊。

您可以使用 YARN Web 使用者介面搜尋應用程式並檢視其詳細資訊。

該應用程式頁面會顯示詳細資訊以表格形式yarn的應用。

• Application ID：應用程式的識別符號。

• Application Type：指定 Mapreduce、YARN、TEZ 或其他應用程式的應用程式型別。

• Application Name：提供應用程式的名稱

• User：作為應用程式所有者的使用者的名稱。

• State：應用程式的執行狀態。

• Queue：指定應用程式所屬的佇列名稱。

• Progress：應用程式的進度以百分比顯示。

• Start Time：應用程式執行開始的時間。

• Elapsed Time：應用程式執行所用的時間。

• Finished Time：應用程式執行完成的時間。

• Priority：執行應用程式的優先順序。

• %Cluster：應用程式執行使用的叢集資源的百分比。

該應用程式頁面顯示的YARN應用程式以表格形式的列表。您可以在此列表上應用搜索過濾器以僅顯示與搜尋條件匹配的應用程式。

您可以將搜尋條件指定為正則表示式或 SQL 語句。

1. 在“應用程式”頁面上，根據您要執行的搜尋型別，從下拉列表中選擇 Regex或SQL。

2. 在搜尋框中，指定搜尋條件。

1. 單擊搜尋以檢視與搜尋條件匹配的應用程式的詳細資訊。

注意

• 
  

• 除了指定搜尋條件來過濾應用程式列表之外，您還可以根據您的要求選擇或清除狀態和 佇列複選框以檢視特定的應用程式集。

• 您可以通過單擊表中任何列標題旁邊的相應箭頭按升序或降序對應用程式條目進行排序。

單擊“應用程式”頁面上的 YARN 應用程式會顯示其詳細資訊。

您可以檢視所選應用程式的以下詳細資訊：

• 申請嘗試

• 資源使用

• 診斷

• 日誌

申請嘗試

您可以在圖表檢視和網格檢視中檢視嘗試。

圖表檢視

圖表顯示嘗試的開始時間和結束時間。您還可以以表格的形式找到嘗試的詳細資訊，例如應用程式嘗試 ID、開始時間、完成時間、已用時間、AM  Container ID 和 AM Node ID。您可以使用 AM 節點 Web UI 訪問節點 UI。您還可以通過單擊日誌連結來檢視日誌。

網格檢視

一個表格顯示了應用程式嘗試的詳細資訊。您可以找到嘗試的詳細資訊，例如應用程式嘗試 ID、開始時間、完成時間、已用時間、AM 容器 ID 和 AM 節點 ID。您可以使用 AM 節點 Web UI 訪問節點 UI。您還可以通過單擊日誌連結來檢視日誌。

資源使用

此選項卡顯示應用程式嘗試使用的資源。

診斷

使用此選項卡檢視應用程式嘗試的診斷詳細資訊。您可以檢視任何未完成的資源請求和排程資訊。

日誌

使用此選項卡檢視特定於容器的日誌。從下拉列表中選擇一個嘗試並選擇特定容器以檢視所需的日誌。

您可以在“工具”頁面上檢視 YARN 配置和 YARN 守護程式日誌 。

Yarn配置

您可以看到以下配置檔案中定義的屬性值：

1. 核心配置：core-default.xml 檔案中定義的屬性的詳細資訊。

2. YARN 配置：yarn-default.xml 檔案中定義的屬性的詳細資訊。

3. MapReduce 配置：mapred-default.xml檔案中定義的屬性的詳細資訊 。

YARN 守護程序日誌

您可以檢視日誌檔案列表。單擊日誌檔案可在瀏覽器的另一個選項卡中檢視其內容。

使用 YARN CLI 檢視執行應用程式的日誌。將日誌聚合配置為將屬於由 NodeManager 分組的單個應用程式的所有容器的日誌聚合並寫出到檔案系統中配置位置的單個日誌檔案。

您可以使用 YARN ResourceManager Web UI 訪問容器日誌檔案，但在使用yarn logs CLI 命令時可以使用更多選項。

檢視應用程式的所有日誌檔案

使用以下命令格式檢視應用程式的所有日誌：

yarn logs -applicationId <Application ID>

檢視應用程式的特定日誌型別

使用以下命令格式檢視應用程式特定型別的所有日誌：

yarn logs -applicationId <Application ID> -log_files <log_file_type>

例如，僅檢視stderr錯誤日誌：

yarn logs -applicationId <Application ID> -log_files stderr

該-logFiles選項還支援 Java 正則表示式，因此以下格式將返回所有型別的日誌檔案：

yarn logs -applicationId <Application ID> -log_files .*

檢視 ApplicationMaster 日誌檔案

使用以下命令格式檢視應用程式的所有 ApplicationMaster 容器日誌檔案：

yarn logs -applicationId <Application ID> -am ALL

使用以下命令格式僅檢視第一個 ApplicationMaster 容器日誌檔案：

yarn logs -applicationId <Application ID> -am 1

列出容器 ID

使用以下命令格式列出應用程式的所有容器 ID：

yarn logs -applicationId <Application ID> -show_application_log_info

檢視一個容器的日誌檔案

獲得容器 ID 後，您可以使用以下命令格式列出特定容器的日誌檔案：

yarn logs -applicationId <Application ID> -containerId <Container ID>

顯示容器日誌檔案資訊

使用以下命令格式列出應用程式的所有容器日誌檔名（型別）：

yarn logs -applicationId <Application ID> -show_container_log_info

然後您可以使用該-logFiles選項檢視特定的日誌型別。

檢視一個容器的部分日誌檔案

對於大型容器日誌檔案，您可以使用以下命令格式僅列出特定容器的部分日誌檔案：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size <bytes>

檢視前 1000 個位元組：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size 1000

檢視最後 1000 個位元組：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size -1000

下載應用程式的日誌

使用以下命令格式將日誌下載到本地資料夾：

yarn logs -applicationId <Application ID> -out <path_to_local_folder>

容器日誌檔案組織在標有適用節點 ID 的父資料夾中。

顯示 YARN 日誌的幫助

要顯示 的幫助yarn logs，請執行以下命令：

yarn logs -help

原文連結：http://docs.cloudera.com/cdp-private-cloud-base/latest/yarn-using-ui-cli/topics/yarn-ui-access-web-user-interface.html