大資料開源專案,一站式全自動化全生命週期運維管家ChengYing(承影)走向何方?
原文連結:三分鐘走進袋鼠雲一站式全自動化全生命週期運維管家ChengYing(承影)
課件獲取:關注公眾號 “數棧研習社”,後臺私信** “ChengYing”** 獲得直播課件
影片回放:點選這裡
ChengYing 開源專案地址:github 丨 gitee 喜歡我們的專案給我們點個** STAR!STAR!!STAR!!!**(重要的事情說三遍)
技術交流釘釘qun:30537511
2022年5月30日,袋鼠雲對外開源了一站式全自動化運維管家ChengYing(承影),為了幫助社群同學更好的使用ChengYing,自開源之後我們就緊鑼密鼓的籌備直播相關事宜,從6月開始,我們將每月為大家組織一次直播,和大家分享ChengYing的相關內容,歡迎大家持續關注。
一、ChengYing簡介
ChengYing(承影)——承襲於袋鼠雲開源專案名劍家族的概念,取自十大名劍之承影劍。
ChengYing(承影)作為一站式全自動化全生命週期運維管家,提供大資料產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、叢集監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。
ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家EasyManager,從開放式統一監控、到定義標準化部署能力,而後引入Prometheus/Grafana/自研dt-alert元件,完成統一監控2.0的功能優化,再到新增多叢集管理能力,最後完成了內部孵化,成功開源ChengYing。
二、ChengYing功能特性
在介紹ChengYing的功能特性之前,我們先熟悉幾個概念:
名詞概念
- 產品
指用ChengYing部署的大資料產品,如數棧(DTinsight)、雲日誌(EasyLog)等,作為ChengYing最高級別的組織單位。
- 元件
一般和"元件安裝包"等同,指產品下包含多個元件,即產品下包含多個元件安裝包,如數棧(DTinsight)產品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多個元件,代表不同的應用。
- 服務組
元件下的服務分類,如Hadoop元件下包含HDFS、Spark、Yarn、Flink、Default等服務組,進行服務區分。
- 服務
指服務組下的具體服務,如HDFS服務組下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等元件;Spark服務組下包含hivemetastore、spark_historyserver、thriftserver等元件。
- 主機分組
指對主機進行人為分組,當主機數量過多時可進行分組,方便管理。
- 主機
指伺服器,包含物理機、虛擬機器,指產品部署時需要的硬體資源,通常以主機IP或主機名稱進行區分。
功能特性
ChengYing具備六大功能特性:
- 統一的Schema定義
抽象化產品包定義,用一套標準的Schema定義一個產品包的完整的生命週期,包括安裝、啟動、配置、升級、解除安裝等。
- 叢集管理
支援多叢集設定,便於在一套ChengYing系統中部署多套資源隔離的服務;支援對叢集中所有產品包、所有主機、叢集資源的管理。
- 安裝部署
支援產品包的快速安裝與部署。
- 服務管理
支援檢視各服務及服務例項的執行、健康檢查狀態;
支援服務的配置修改下發;
支援服務的滾動重啟;
支援服務的配置檢視。
- 監控告警
整合prometheus/grafana元件作為視覺化儀表盤元件監控叢集、主機、服務效能檢測;支援郵件、簡訊、釘釘以及自定義告警通道傳送告警資訊。
- 節點擴容/縮容
支援根據叢集執行狀況,產品化支援主機資源擴充與縮減。
三、ChengYing系統架構設計
- ChengYing系統架構
- ChengYing Agent設計
- 統一Schema設計
- 監控設計
- 架構設計講解
由於架構設計講解的內容比較多,在此我們不做具體回顧,大家可以觀看影片進行詳細瞭解。
B站直播回顧地址:
http://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0
四、ChengYing快速入門
接下來為大家介紹如何快速部署ChengYing:
- 環境要求
- 快速部署
下載安裝包:
http://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz
解壓安裝包:
tar zxvf chengying-release-1.0.tar.gz
cd chengying-release-1.0
執行安裝指令碼:
sh install.sh local_ip(local_ip為Chengying所在機器ip)
檢視頁面:
- 上傳元件安裝包
- 選擇叢集與安裝包
- 配置服務
- 執行部署
五、ChengYing未來規劃
最後為大家介紹ChengYing的未來規劃及近期主要做的事情:
未來規劃
- 服務編排
支援基於主機角色與服務型別自動編排,減少人工操作成本。
- 部署方式
支援自定義部署產品包流水線順序。
- 安全認證
支援叢集開啟Kerberos認證,票據生成與下載。
- 監控告警
支援基於PromQL的自定義告警設定,豐富告警型別。
近期重點事宜
-
計劃8月底釋出ChengYing V1.1.0 Release。
-
每月一次開源技術直播。
-
與Chunjun/Taier夢幻聯動--嘗試使用ChengYing部署Chunjun/Taier。
袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:http://github.com/DTStack
- 啟用資料價值,探究DataOps下的資料架構及其實踐丨DTVision開發治理篇
- 實用五步法教會你指標體系的設計與加工
- 他來了!袋鼠雲大資料基礎平臺EasyMR正式上線
- ChunJun&OceanBase聯合方案首次釋出:構建一體化資料整合方案
- 開源專案丨ChengYing 1.1版本重磅釋出:新增超多功能,全新優化體驗!
- 開源交流丨一站式大資料平臺運維管家ChengYing安裝原理剖析
- 終於有人把不同標籤的加工內容與落庫講明白了丨DTVision分析洞察篇
- ChunJun Meetup演講分享 | 基於袋鼠雲開源框架的數倉一體化建設探索
- 開源交流丨任務or例項 詳解大資料DAG排程系統Taier任務排程
- 從Multirepo到Monorepo 袋鼠雲數棧前端研發效率提升探索之路
- 袋鼠雲思樞:數棧DTinsight,創新升級,全新出發,駛入數智轉型新賽道
- 開源交流丨批流一體資料整合框架ChunJun資料傳輸模組詳解分享
- Hi,我是ChunJun,一個有趣好用的開源專案
- 袋鼠雲申杭:數雁EasyDigit,致力成為金融行業資料洞察平臺供應商的“領頭雁”
- 開源專案丨一文詳解一站式大資料平臺運維管家ChengYing如何部署Hadoop叢集
- 從洞察到決策,一文解讀標籤畫像體系建設方法論丨DTVision分析洞察篇
- 想要精準營銷,從學習搭建一套對的標籤體系開始丨DTVision分析洞察篇
- 袋鼠雲思樞:數駒DTengine,助力企業構建高效的流批一體資料湖計算平臺
- DataOps不是工具,而是幫助企業實現資料價值的最佳實踐
- 開源專案丨Taier1.2版本釋出,新增工作流、租戶繫結簡化等多項功能