大資料開源專案,一站式全自動化全生命週期運維管家ChengYing(承影)走向何方?

語言: CN / TW / HK

原文連結:三分鐘走進袋鼠雲一站式全自動化全生命週期運維管家ChengYing(承影)

課件獲取:關注公眾號 “數棧研習社”,後臺私信** “ChengYing”** 獲得直播課件

影片回放:點選這裡

ChengYing 開源專案地址:githubgitee 喜歡我們的專案給我們點個** STAR!STAR!!STAR!!!**(重要的事情說三遍)

技術交流釘釘qun:30537511

2022年5月30日,袋鼠雲對外開源了一站式全自動化運維管家ChengYing(承影),為了幫助社群同學更好的使用ChengYing,自開源之後我們就緊鑼密鼓的籌備直播相關事宜,從6月開始,我們將每月為大家組織一次直播,和大家分享ChengYing的相關內容,歡迎大家持續關注。

一、ChengYing簡介

ChengYing(承影)——承襲於袋鼠雲開源專案名劍家族的概念,取自十大名劍之承影劍。

ChengYing(承影)作為一站式全自動化全生命週期運維管家,提供大資料產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、叢集監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。

ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家EasyManager,從開放式統一監控、到定義標準化部署能力,而後引入Prometheus/Grafana/自研dt-alert元件,完成統一監控2.0的功能優化,再到新增多叢集管理能力,最後完成了內部孵化,成功開源ChengYing。

file

二、ChengYing功能特性

在介紹ChengYing的功能特性之前,我們先熟悉幾個概念:

名詞概念

  • 產品

指用ChengYing部署的大資料產品,如數棧(DTinsight)、雲日誌(EasyLog)等,作為ChengYing最高級別的組織單位。

  • 元件

一般和"元件安裝包"等同,指產品下包含多個元件,即產品下包含多個元件安裝包,如數棧(DTinsight)產品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多個元件,代表不同的應用。

  • 服務組

元件下的服務分類,如Hadoop元件下包含HDFS、Spark、Yarn、Flink、Default等服務組,進行服務區分。

  • 服務

指服務組下的具體服務,如HDFS服務組下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等元件;Spark服務組下包含hivemetastore、spark_historyserver、thriftserver等元件。

  • 主機分組

指對主機進行人為分組,當主機數量過多時可進行分組,方便管理。

  • 主機

指伺服器,包含物理機、虛擬機器,指產品部署時需要的硬體資源,通常以主機IP或主機名稱進行區分。

功能特性

ChengYing具備六大功能特性:

  • 統一的Schema定義

抽象化產品包定義,用一套標準的Schema定義一個產品包的完整的生命週期,包括安裝、啟動、配置、升級、解除安裝等。

  • 叢集管理

支援多叢集設定,便於在一套ChengYing系統中部署多套資源隔離的服務;支援對叢集中所有產品包、所有主機、叢集資源的管理。

  • 安裝部署

支援產品包的快速安裝與部署。

  • 服務管理

支援檢視各服務及服務例項的執行、健康檢查狀態;

支援服務的配置修改下發;

支援服務的滾動重啟;

支援服務的配置檢視。

  • 監控告警

整合prometheus/grafana元件作為視覺化儀表盤元件監控叢集、主機、服務效能檢測;支援郵件、簡訊、釘釘以及自定義告警通道傳送告警資訊。

  • 節點擴容/縮容

支援根據叢集執行狀況,產品化支援主機資源擴充與縮減。

三、ChengYing系統架構設計

  • ChengYing系統架構

file

  • ChengYing Agent設計

file

  • 統一Schema設計

file

  • 監控設計

file

  • 架構設計講解

由於架構設計講解的內容比較多,在此我們不做具體回顧,大家可以觀看影片進行詳細瞭解。

B站直播回顧地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0

四、ChengYing快速入門

接下來為大家介紹如何快速部署ChengYing:

  • 環境要求

file

  • 快速部署

下載安裝包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz

解壓安裝包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0

執行安裝指令碼:

sh install.sh local_ip(local_ip為Chengying所在機器ip)

檢視頁面:

http://local_ip

file

  • 上傳元件安裝包

file

  • 選擇叢集與安裝包

file

file

  • 配置服務

file

  • 執行部署

file

五、ChengYing未來規劃

最後為大家介紹ChengYing的未來規劃及近期主要做的事情:

未來規劃

  • 服務編排

支援基於主機角色與服務型別自動編排,減少人工操作成本。

  • 部署方式

支援自定義部署產品包流水線順序。

  • 安全認證

支援叢集開啟Kerberos認證,票據生成與下載。

  • 監控告警

支援基於PromQL的自定義告警設定,豐富告警型別。

近期重點事宜

  • 計劃8月底釋出ChengYing V1.1.0 Release。

  • 每月一次開源技術直播。

  • 與Chunjun/Taier夢幻聯動--嘗試使用ChengYing部署Chunjun/Taier。

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack

「其他文章」