7月28日，在袋鼠雲2022產品發佈會上，袋鼠雲技術負責人思樞正式宣佈旗下產品「大數據基礎平台EasyMR」發佈。

EasyMR是袋鼠雲自研的大數據基礎平台，提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件，完全兼容Apache開源生態；支持企業級安全管控，一鍵開啟LDAP+Kerberos+Ranger認證權限體系；提供一站式運維管理平台，幫助企業快速構建大數據平台，降低運維成本。

結合袋鼠雲在數字化領域多年的寸積銖累，此次全新發布的大數據基礎平台EasyMR緊跟開源生態的先進技術，不僅可以幫助客户輕鬆應對海量數據的採集、存儲、計算、分析挖掘和數據安全等應用場景，並且對於智能運維的部署、升級、擴縮容、監控等進行全方位支持，真正做到成為企業便捷、智能、高效的“數據底座”。

六大特性打造國產大數據基礎平台

不同於十年前的新奇，現在大家已經完全習慣自己身處於“大數據時代”這件事情，所有人都能夠深切地感受到大數據對於生活帶來的各種改變和便利，數據爆發的時代推動着每個個人、企業、行業，甚至是國家往前走。

當前國際形勢風雲變幻，中美雙邊關係的割裂，國家對於信創國產化的大力支持，給國內的大數據行業帶來巨大沖擊的同時，也帶來了全新機遇。

數據基礎平台作為一切的基礎和底座，自然成為國產替代的重中之重。只有真正擁有了自主可控的平台建設能力，才能逐步建立基於自己的 IT 底層架構和標準，形成自有開放生態。

EasyMR就是這樣一款自主研發、完全可控的，致力於助力企業信息化智慧轉型的“企業數據底座”。

下面通過描述EasyMR的主要特性，來具體説説，EasyMR是如何幫助企業實現智能的？

● 界面化集羣運維

Hadoop集羣、大數據平台在日常運維中涉及到的節點擴容縮容、組件停止啟動、服務滾動重啟、服務參數修改、版本升級與回滾等多種運維操作，通過邏輯化、流程化的產品界面展現，方便運維人員操作和監控，提高運維效率。

● 自動化部署

EasyMR通過規範化的步驟和參數約定製作出產品安裝包，發佈包中的Schema文件中配置了安裝包中所有的服務，包含各服務的配置參數、健康檢查參數，服務之間的依賴關係等。產品部署時可根據Schema中的相關配置實現一鍵全自動化部署。

● 儀表盤集羣監控

通過集成開源的Promethus和Grafana，實現對集羣、服務、節點的核心參數監控，並通過靈活形象的儀表盤進行數據展現。包含CPU佔用率，RAM使用率、磁盤空間、IO讀寫速率等核心參數進行監控，實時掌握集羣、服務、節點的運行狀態，降低運維故障率。同時，支持用户自建儀表盤及監控項，實現自定義監控項。

● 實時告警

支持實時監控集羣中各組件服務的運行指標，如CPU、內存、磁盤、讀寫IO等，並支持短信、釘釘、郵件告警通道配置，集成多種第三方消息插件。當集羣服務出現異常時，可觸發告警條件，系統將及時通知接收人。

● 強擴展性

通過自研的Easyagent Server抽象出七大REST接口，安裝、啟動、停止、更新、配置修改、卸載、執行等與上層應用進行交互，可使agent類別和功能可輕鬆無限擴展。

● 安全穩定

數據安全、產品安全是大數據產品需要重點考慮的問題。EasyMR在產品設計中過濾掉rm、drop等命令行，防止對數據庫的誤操作，通過更加安全的方式執行相關命令。同時提供服務的滾動重啟、產品的斷電重啟，解決運維時服務不停止運行的場景並節省運維時間。

豐富的大數據組件夯實數據基座

EasyMR支持Hadoop2.8.5、Hadoop3.2.1大數據集羣搭建，支持豐富的大數據組件，用户可以根據業務需要進行組件的選擇。

那麼，EasyMR具體支持那些大數據組件呢？

● Yarn

版本支持：

· Yarn 支持Hadoop 2.8.5、3.2.1

主要功能為Hadoop的資源調度器，負責管理整個Hadoop集羣的資源（CPU和內存）管理和調度。

● Hdfs

版本支持：

· Hdfs 支持Hadoop 2.8.5、3.2.1

Hdfs即Hadoop 分佈式文件系統，是Hadoop的三大基礎組件之一，主要是處理大數據場景下數據的增、刪、改、查、文件切片等功能。

● Flink

版本支持：

· Flink 1.12

面向數據流處理和批量數據處理的可分佈式的開源計算框架。

● Spark

版本支持：

· Spark 2.4.8

基於內存的新一代分佈式開源大數據框架，支持離線，實時計算，也支持 SQL 語法以及機器學習的處理。

EasyMR對開源組件的SQL的DDL能力進行了增強，支持Add Column語法。

● Hive

版本支持：

· Hive 2.3.8

· Hive 3.1.2

基於Hadoop的一套離線數據處理系統，在HDFS之上提供了結構化的表數據的管理能力，提供類 SQL 的查詢語法進行數據分析處理。

● Trino

版本支持：

· Trino 0.359

分佈式SQL查詢引擎， 用來專門進行高速、實時的數據分析。

EasyMR對Trino的Connector進行了增強，支持Connector的動態加載；對社區的Connector進行了擴展，支持星環Inceptor插件。

● Hbase

版本支持：

· Hbase 1.3.5

· Hbase 2.3.4

一款高可靠性、高性能、面向列、可伸縮、實時讀寫的分佈式數據庫。

● Zookeeper

版本支持：

· Zookeeper 3.6.2

分佈式應用程序協調服務，分佈式應用程序可基於它實現同步服務，配置維護和命名服務等，為分佈式集羣提供一種可靠、可擴展、分佈式、可配置的協調機制來統一系統的狀態。

一起進行一次安裝部署吧

其中，簡潔、易上手也是EasyMR的一大優勢。EasyMR既希望幫助企業實現多源數據的高效集成，全量數據的高效分析，同時也希望能夠降低平台的使用門檻，不會讓上手難度成為影響企業數字化轉型進程的一道壁壘。

所以，和我們一起進行一次大數據產品的安裝部署吧！

創建集羣

EasyMR支持多集羣的統一管理。

基於物理機/虛擬機進行主機集羣創建。

「添加主機」，通過賬號接入、命令行接入的方式進行主機節點的添加

上傳組件安裝包

選擇平台已有的組件安裝包進行安裝部署，或者通過本地上傳、網絡上傳的方式上傳自己的組件安裝包。

一鍵快速自動化部署

EasyMR支持單個產品包的手動部署和多個產品包的自動部署兩種部署方式。

自動部署通過上傳產品線定義組件部署流程，平台解析篩選相關組件，根據定義的主機角色實現自動資源自動編排，平台根據依賴關係完成組件的順序部署，大大節省了運維逐個部署、資源配置的時間。

產品安裝過程中，我們可以實時看到服務部署進度、查看部署日誌，服務部署情況一目瞭然。

7*24小時實時監控告警

EasyMR通過集成開源的promethus和grafana，實現對集羣、服務、節點的核心參數監控，並通過靈活形象的儀表盤進行數據展現。包含CPU佔用率，RAM使用率、磁盤空間、I/O讀寫速率等核心參數進行監控，實時掌握集羣、服務、節點的運行狀態，降低運維故障率。同時，支持用户自建儀表盤及監控項，實現自定義監控項。

設置告警規則

平台提供 “短信通道、郵件通道、釘釘通道、企業微信通道、自定義通道” 5種通道配置，用户根據需要選擇合適通道並填寫通道配置信息、消息模板、地址等完成通道配置。

寫在最後

沒錯，EasyMR就是這樣一款好用、易用、高效的大數據基礎工具，覆蓋企業服務監控運維、組件的升級與回滾、離線數據分析、流式數據處理等多種應用場景。

未來EasyMR將堅持自主創新，不斷進化，將積累的大數據實踐經驗複製到更多的企業。

袋鼠雲開源框架釘釘技術交流羣（30537511），歡迎對大數據開源項目有興趣的同學加入交流最新技術信息，開源項目庫地址：http://github.com/DTStack/Taier