CDP私有云基礎版7.1.6版本概要

語言: CN / TW / HK

Cloudera於2021年3月宣佈釋出Cloudera Data Platform(CDP)私有云(PvC)基本版本7.1.6和Cloudera Manager版本7.3.1。這些版本引入了從HDP 3到CDP私有云基礎版的直接升級路徑,同時添加了許多增強功能以簡化從CDH 5和HDP 2的升級和遷移路徑,並彙總了先前版本中的所有先前維護增強功能。

新功能的完整列表如下:

升級增強

  • HDP 3升級

    • HDP 3客戶現在可以將其HDP 3.1.5叢集直接升級到CDP私有云基礎版。此處提供了升級過程的完整詳細資訊 。

    • 已釋出新版本的AM2CM工具(1.2.0)以支援HDP3到CDP的升級。

  • 文件化的回滾過程

    • 回滾過程可用於支援從CDH5到CDP 7.1.6的升級

    • 回滾過程可用於支援從HDP 2到CDP 7.1.6的升級。

  • Accumulo支援

    • CDP私有云基礎版現在支援基於Accumulo 2.0的由Apache Accumulo增強的操作資料庫(OpDB)。

    • Accumulo 2.0是第一個支援語義版本用於管理和一致性的版本,批量匯入API縮短了資料上傳時間,簡化了指令碼以簡化管理並改善了使用者體驗,如表摘要和專用的掃描支援。

    • 現在,這使得使用Accumulo升級到CDP私有云基礎版的CDH 5、HDP 2和HDP 3客戶成為可能。更多細節 在這裡

  • CDH 5升級增強

    • YARN FS2CS工具針對排程器遷移的增強功能為從CDH 5.13-5.16升級或遷移的客戶提供了更好的排程器過渡,具有改進的放置規則,新的放置規則評估引擎和新的權重模式,可通過靈活的自動佇列建立功能進行容量分配容量排程程式。

  • YARN升級增強

    • YARN和YARN佇列管理器現在支援動態和自動子佇列建立。

    • YARN佇列管理器現在支援分割槽和節點標籤**-**客戶現在可以將叢集劃分為子叢集,並使用標籤對節點進行分類。這允許將作業部署為在具有特定特徵的節點上執行。另外,佇列管理器UI現在可以用於管理YARN分割槽。

    • YARN佇列的增強放置規則**-**為了解決以前的侷限性,引入了一個新的放置規則評估引擎,該引擎支援新的基於JSON的放置規則格式。

    • 現在,可以使用新的Queue Manager UI增強功能輕鬆建立放置規則。

    • 為YARN資源分配引入了一種稱為權重模式的新功能,它提供了更多的靈活性,並且更容易從公平的排程程式配置中進行遷移。

平臺支援增強

  • 新的作業系統版本

    • CDP私有云基礎版現在支援針對Intel x86和IBM PPC硬體的RHEL / CENTOS 7.9。

  • 新的資料庫版本

    • CDP私有云基礎版現在支援MySQL8和Postgres12。

  1. 常規功能增強

  • Cloudera Manager增強功能(版本7.3.1)

    • 現在,可以將Ranger稽核配置為使用本地檔案系統而不是HDFS進行儲存,從而使包括Kafka和NiFi在內的更廣泛的叢集型別能夠在具有完全安全性和治理功能的情況下執行,而不會增加HDFS的資源/管理開銷。

    • 對流元件的自定義Kerberos主體支援:SRM、SMM、Cruise Control、Kafka Connect和Schema Registry。這為更廣泛的叢集型別啟用了靈活的、外部管理的kerberos身份。

    • (退役)服役步驟可以定義為CSD服務的一部分,當使用諸如Kafka、Ozone和任何第三方軟體的服務時,可以實現更加無縫的叢集向上/向下擴充套件和維護工作流。

    • 服務和角色指標收集支援收集列舉的文字值。

  • 事務支援

    • 現在可以使用ANSI SQL語義支援跨行和表的複雜分散式事務,MySQL或PostgreSQL使用者非常熟悉。有關 詳細資訊和基準測試結果,請參 見此部落格

  • 資料倉庫增強

    • 在Impala中實現並重新啟用與ROLE相關的語句,從而允許管理員向ROLES授予特權,並將ROLES分配給GROUPS,從而提供強大的許可權控制。有關 詳細資訊,請參見 文件

    • Hive Warehouse Connector簡化提供了一種通用配置來指定操作模式(Spark Direct Reader或JDBC)。通過spark.sql(“ <query>”),它的使用是完全透明的。為了向後相容,仍支援早期版本中使用的配置,但最終將不建議使用。有關詳細資訊,請參見通過HWC讀取資料

    • 添加了對Impyla客戶端的支援,該客戶端使開發人員可以在Python程式中將SQL查詢提交到Impala。有關 詳細資訊,請參見 文件

    • Kudu支援INSERT_IGNORE、UPDATE_IGNORE和DELETE_IGNORE操作,從而簡化了客戶端應用程式並提高了接收效能。

    • Kudu的叢集重新啟動和重新平衡更快。

  • 物件儲存增強

    • Ozone的增強功能以支援Kafka Connect、Atlas和Nifi接收器。客戶現在可以使用Kafka聯結器無需任何修改即可寫入Ozone。Nifi接收器使Nifi可以將Ozone用作安全CDP叢集中的儲存。Atlas整合為Ozone中的資料儲存提供了沿襲和資料治理功能。

    • Ozone的垃圾桶支援現在提供了恢復可能意外刪除的金鑰的功能。因此,客戶可以使用此功能來恢復可能已被意外刪除的資料。

    • Ozone 的Multiraft協議支援提高了寫入資料管道的速度,從而將寫入效能提高了30%。

  • 授權和稽核增強

    • Ranger稽核篩選器(技術預覽)-使用ranger repo配置中的JSON定義的篩選器,管理員可以限制訪問時捕獲哪些稽核事件。這對於使稽核日誌與已經進行更高級別稽核的服務使用者保持相關性特別有用。例如,可以建立稽核過濾器以排除服務使用者的活動(例如,來自Hive的METADATA_OPERATION)以減少稽核量並使相關的終端使用者稽核事件易於管理。

    • Ranger稽核訪問改進-使列可調整大小,並允許使用者選擇他們想要檢視的列。

    • 改進了Hive-HDFS ACL同步的效能。

產品文件增強

docs網站現在在大多數頁面的右下角提供了一個“反饋”選項卡,供讀者評論。讀者被問到“我們如何改善?” 並請他們告訴我們他們喜歡什麼,我們如何改善內容和內容交付,以及他們遇到什麼問題。反饋意見直接傳遞給內容開發團隊以快速採取行動。

  1. 其他資源

  • Package詳情

  • Parcel詳情

  • Cloudera Manager發行說明

  • Cloudera Runtime發行說明

  • CDP PvC基本概述

原文連結:https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202103-716.html



本文分享自微信公眾號 - 大資料雜貨鋪(bigdataGrocery)。
如有侵權,請聯絡 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。