細數華為云云原生產品及五大開源實踐

語言: CN / TW / HK
摘要:華為雲已向CNCF貢獻多個首創開源項目,包括雲原生邊緣計算平台項目KubeEdge,雲原生批量計算項目Volcano,雲原生多雲容器編排項目Karmada,今年,華為雲又開源了兩個雲原生領域的項目Kurator和Kappital,收到廣大開發者的追捧。

本文分享自華為雲社區《細數華為云云原生產品及五大開源實踐》,作者: 華為雲社區精選。

今天的內容主要包括四個方面:雲原生髮展階段和趨勢,會涉及一些雲原生領域的歷史發展進程和技術趨勢。然後我會介紹5個華為雲主要的雲原生產品和5個華為在雲原生領域的開源項目。

我們先看第一個內容,雲原生髮展階段和趨勢。

簡單來看,企業 IT 建設所依賴的基礎資源經歷了從服務器到雲化資源的發展歷程,正在快速進入雲原生階段。

服務器階段的特點是以硬件設備為中心,業務應用隨不同廠商設備、操作系統、虛擬化軟件的差異化進行定製; 設備的安裝、調試,應用的部署、運維基本靠人力完成,自動化程度低,缺乏統一的設備和應用管理能力。後期隨着虛 擬化軟件的出現,資源的利用率、擴縮容器的靈活性方面得到一定的提升,但並未從根本上解決基礎設施與軟件割裂、 運維複雜的難題。

解決這些問題,在雲化階段,傳統模式下分佈離散的設備,被統一起來,實現了各類資源如計算、存儲、網絡的池化,通過統一的虛擬化軟件平台,為上層業務軟件提供統一的資源管理接口,實現資源管理能力的自動化,屏蔽一部分基礎設施的差異, 使得應用的通用性增強,但因為虛擬化軟件平台差異化較大,尤其是各廠商的一些商業化增強,無法在廠商間進行能力 共享,應用還是無法以完全標準化的模式構建,應用部署還是以資源為中心。

以資源為中心有一個明顯的弊端,就是應用的管理是資源的視角,舉個例子,我們在Kubernetes管理中心看到的是一個個的工作負載,只能劃分出有狀態負載、無狀態負載、任務等,沒有一個應用的視角,因為應用通常包含多個不同類型的工作負載。雲原生階段這一階段,企業的關注點從以資源為中心轉移到以應用為中心,包括應用敏捷交付、快速彈性、平 滑遷移、無損容災等。因此,企業開始考慮如何將基礎設施與業務平台融合,為業務應用提供標準的運行、監控、治理平台, 並將業務的通用能力下沉到平台側,更好的幫助企業實現應用的自動化,雲原生基礎設施成為了企業數字化轉型的首選。

據Forerester對國內三百多個企業的調研結果顯示,企業充分認同未來市場變化和企業發展的五大關鍵挑戰包括:需求快速變化、市場不確定性、業務連續性、創新業務價值、將本增效,其中讓企業領導者最擔憂的是需求的快速變化,這就要求企業未來的技術架構必須能夠滿足敏捷交付、快速彈性這些特性,以適應需求和市場的變化。CNCF的亞洲企業和雲原基礎設施使用率調研結果顯示雲原生已在企業內被廣泛使用,超過54%的企業正在使用雲原生基礎設施,14%的企業計劃使用。Gartner預測,到2025年超過95%的的數字化業務將基於雲原生基礎設施構建,可以看出雲原生在未來仍然有較大的增長空間,雲原生基礎設施是企業數字化轉型的長期首選。

下面我們進入第二部分,給給位展開介紹5個華為云云原生產品,

首先讓我們看一下CCE Turbo。從名字上看,CCE Turbo是CCE的加強版,它主要在計算、網絡、調度和安全幾個方面對CCE做了增強。

在計算方面,基於擎天架構,將容器存儲、容器網絡和容器引擎百分之百卸載到擎天卡上,服務器資源利用率可提升20%。

在網絡方面,深度整合了華為雲VPC的彈性網卡和輔助彈性網卡的能力,直接從VPC網段內分配容器IP地址、支持ELB直通容器、支持容器直接綁定安全組、支持容器配置QoS、支持容器直接綁定彈性公網IP、支持安全容器VF直通等高階能力,構建了業內領先的深度融合雲上虛擬私有云VPC的新一代容器網絡方案,實現了虛擬機trunkport,裸金屬ENI流量直通容器,性能提升40%。

在調度方面,實現了多類型業務智能混合調度,應用拓撲感知、分時複用等,緩存+多調度器共享視圖,調度速度達到1萬 Pod/s。CCE Turbo的調度,使用的是批處理工具Volcano,我們在之後開源項目中會詳細介紹。

在安全方面,支持裸金屬節點部署安全容器,提供虛擬機級別的資源和業務隔離以及基於VPC安全組提供容器網絡訪問控制能力和Qos限速。

智能邊緣平台IEF。智能邊緣平台的全稱是Intelligent EdgeFabric,它基於CCE構建,可以支持接入邊緣節點。接入Kubernetes集羣的節點需要有VPC以及相同子網的約束,IEF打破了這個約束,只需要在邊緣節點上安裝一個代理,EdgeCore,就能讓用户把已有的設備接入IEF管理。這些邊緣節點可以分佈在不同的地理位置,不同的邊緣節點可組成節點組,同一個邊緣節點可分屬不同的節點組,這樣應用就可按節點組調度。一個典型的雲邊端協同場景是分佈在全國的電塔或者通信塔上的攝像頭,視頻數據有着巨大價值,可以作為森林防火、濕地監控、禁漁監控的數據輸入,將全國可支持相同業務的攝像頭接入的邊緣節點劃到相同的節點組,這樣一個算法就可以實現全國發放,全國的相同業務都實現秒級更新。

除了基本能力,IEF還提供邊雲協同通道,支持邊緣節點提取價值數據上雲。IEF作為邊雲協同平台,它具備以下重要特性。海量設備接入能力,在物聯網和web3.0的趨勢下,越來越多的數據需要在邊緣處理,因此需要支持大規模邊緣設備接入,當前IEF可支持10萬級節點接入,實際已交付過六萬節點接入的項目。第二點是雲邊協同,為邊緣應用和雲上服務提供互訪的方式。第三點是離線自治,這是邊緣場景下的基本特性,因為邊緣節點與數據中心的節點不同,沒有穩定的風火水電供應,邊緣節點可能部署在露天場所或者倉庫、汽車裏,雲邊網絡得不到保證,因此需要保障部署到邊緣設備上的容器應用不被驅逐,需要長期穩定運行,IEF支持邊緣節點斷連後邊緣應用可穩定運行。最後一點是極致輕量,IEF可支持內存低至百兆的設備接入,大大擴大了接入設備的類型,讓更多的場景可以實現雲原生數字化升級。

雲容器實例(Cloud Container Instance,CCI)服務提供Serverless Container(無服務器容器)引擎,讓您無需創建和管理服務器集羣即可直接運行容器。

Serverless是一種架構理念,是指不用創建和管理服務器、不用擔心服務器的運行狀態(服務器是否在工作等),開發者只需動態申請應用需要的資源,把服務器留給專門的維護人員管理和維護,進而專注於應用開發,提升應用開發效率、節約企業IT成本。傳統上使用Kubernetes運行容器,首先需要創建運行容器的Kubernetes服務器集羣,然後再創建容器負載,如果使用CCI來部署容器應用,用户就無需在CCI集羣綁定虛擬機,直接部署應用即可,CCI會根據應用申請的資源為用户提供足夠的資源運行應用。除了這個基本能力,CCI還提供了其他能力。

第一是CCI擁有極致的性能,基於華為雲Vessel容器平台,批量調度引擎Volcano,Yangtse容器網絡和Everest容器存儲,在計算、網絡、存儲各方面做了深度優化,讓CCI單實例啟動耗時小於3秒,在30秒內可完成8000核可擴容。

第二點是使用容器Serverless相比於保持固定量資源運行應用,成本更低,因為容器Serverless按需申請資源並及時釋放,支持秒級計費,相比與按小時計費的容器集羣CCE費用更省。

第三點是極簡運維,用户無需關心底層的節點資源和Kubernetes容器集羣,CCI會根據業務自適應容器管理規模以及管控面自動升級,開發者只需專注應用管理。第四點是支持多元算力,CCI下面的計算資源可支持X86、鯤鵬、AMD、昇騰、GPU等多種算力形態,可根據容器應用的架構自動申請對應的資源,用户無需關心異構資源分配。

應用服務網格ASM 全稱是Application Service Mesh,在開源的微服務治理平台Istio的基礎上提供了八大商業能力。

第一點增強是提供端到端的圖形化控制枱,內置包括金絲雀/藍綠髮布不同的應用灰度發佈模式,在服務治理方面,支持按流量比例、請求內容、源IP等維度治理。

第二點增強是提供微服務級的可觀測性,傳統的監控服務提供的是單應用的監控,服務拓撲和調用鏈的支持採用的是侵入式的,ASM可支持非侵入式的日誌、拓撲和調用鏈,只需要用户把微服務相關的Service接入ASM的網格中。

第三點增強是提供性能更高的數據面,除了與Istio社區一樣支持Pod Sidecar部署外,還支持Node級的Sidecar部署。Node級的數據面資源開箱相比於Istio降低30%,時延降低30%。第四點增強是管理規模,ASM的單一網格可支持十萬級的Pod實例,實現高密度大規模的實例統一治理。

第五點增強是支持多種基礎設施治理,意思是網格可接入在容器、虛機或者物理機上部署的服務,幫助用户實現業務平滑遷移,不需要大刀闊斧地將整個服務從非容器架構遷移容器。

第六點增強是升級能力的提升,控制面和數據面的服務可以實現一鍵升級,支持數據面隨業務滾動和獨立升級。

第七點增強是管理面的可靠性和可維護性的增強,控制面支持跨AZ部署,用户無需擔心控制面的單點故障,影響數據面的服務治理,降低用户的運維負擔。

第八點是提供專家服務,相比於Istio開源社區,ASM能夠為客户提供更完整的諮詢和服務支持,幫助開發者更快地構建解決方案。

UCS的全稱是Ubiquitous Cloud-Native Service,是華為雲2021年重磅發佈的一個服務。要理解UCS可以把它拆成兩部分:分佈式雲和雲原生,大家對雲原生可能已經耳熟能詳,但是分佈式雲是最近兩年才起來的概念。何為分佈式雲?分佈式雲指的是將公有云服務(通常包括必要的硬件和軟件)分佈到不同的物理位置(即邊緣),而服務的所有權、運營、治理、更新和發展仍然由原始公有云提供商負責,這也意味着,公有云由原來的幾朵“大雲”,轉變為“大雲”加“小云”的分佈模式。分佈式雲解決了因地理空間所造成的“硬件”難題,雲原生則是從業務視角出發,解決企業應用雲計算的“軟件”難題。

UCS分佈式雲是一個資源和應用的統一管控平台,可接入4類區域的Kubernetes集羣,分別是華為公有云,自建IDC,邊緣集羣和第三方雲。華為雲公有云包括中心region,智能邊緣雲IEC以及智能邊緣小站IES上的CCE集羣。這裏簡單解釋一下IEC和IES,IES可理解為中心region拉遠的一個區域,IES是內置了計算、存儲和計算資源的一體化機櫃,可搬到用户機房,連接上華為雲後可被華為雲統一管理。IES和IES距離客户更近,雲服務或者應用部署到IEC和IES後,數據可在IES和IEC上處理,提供縮短業務時延。

第二類場景是自建IDC,用户在自己的數據中心或者機房自建K8s集羣或者使用華為雲的Kubernetes敏捷安裝版本CCE敏捷版創建的K8s集羣,可手工註冊到UCS。第三類場景是邊緣集羣,即通過智能邊緣平台IEF納管的邊緣設備組成的集羣可被UCS管理。最後一類是第三方雲上的Kubernetes集羣,比如AWS的EKS集羣,Google的GKE,Azure的AKS集羣,都可以註冊到UCS。除了從華為雲直接創建的集羣,手工註冊的UCS的集羣只需要在集羣上配置UCS的集羣管理的配置文件即可註冊到UCS,實現雲端到邊緣,跨雲多集羣的統一管理,實現集羣生命週期統一管理、配置策略統一管理、應用和資源可視化監控洞察等。

除了基本的集羣管理能力,UCS還提供了三大競爭力,應用算力供給、應用流量治理、應用與數據協同。

應用算力供給新模式,新供給模式支持百萬級分佈式節點資源協同供給以及1K分佈式集羣的統一調度,秒級響應。UCS實現全局資源視圖,通過對每個分佈式站點的實時故障探查感知故障資源,一旦出現故障,秒級將應用遷移到其他健康站點。UCS通過全局應用調度屏蔽位置帶來的複雜性,將全域的算力打通,根據資源分佈和業務特點,結合地理位置、網絡Qos、資源均衡度等條件,實現全域資源的最優化協同部署。

應用流量治理新模式,在分佈式雲中,流量互通是業務協同的根本,UCS通過提供全局服務能力,可以提供管理分佈式雲中的南北東西向流量策略,實現全局服務流量的智能調度,以及實現了網絡QoS優先級調度、地理親和、動態路由算法等調度能力。

數據與應用協同新模式。在分佈式雲的佈局下,數據的管理也是一個難題。應用和數據的割裂會為容災、遷移、彈性等場景帶來很大的困難。華為分佈式雲原生UCS圍繞應用的數據模型進行了建模,並對不同類型數據進行分層管理,實現存儲層、容器層、中間件層等不同層次數據的實時聯動,使數據能夠更好地隨應用在分佈式雲場景中進行通信和流轉,支撐應用容災、擴容、遷移的應用場景。

從以上三點可以看出華為雲的UCS致力讓企業使用雲原生時感受不到地域的限制、流量的限制、跨雲的限制,充分保證應用在多個場景下的使用。

在三大能力之上,是統一的雲原生服務市場OSC,可以理解為雲廠商的Marketplace,不過這裏面是Marketplace的子集,只包含容器部署的服務。OSC可支持服務提供商發佈商品,服務提供上需要按照OSC的服務規範改造服務,充分利用UCS、CCE、IEF等基礎服務提供的跨雲、跨集羣的調度能力、調度能力和數據協同能力,達到服務的真正雲原生化。

簡單總結一下,華為云云原生團隊提供了三個基礎設施管理服務CCE、CCI和IEF,分別管理華為雲資源和用户接入華為雲的邊緣資源,這些被管理的資源為應用提供了部署環境。還提供了三個軟件服務,SWR、UCS、ASM。SWR這次沒有展開講,因為它當前的功能比較簡單,可提供鏡像的生命週期管理功能。ASM為微服務提供了非侵入式的容器化服務治理能力,UCS則包羅萬象,以CCE、CCI、IEF、ASM為基礎,在這些服務之上構建了跨集羣、跨雲的統一治理和調度能力。

接下來讓我們看一下華為雲在雲原生開源中的貢獻和相關實踐。

一直以來,華為雲都是開源社區和基金會的重要參與者、支持者和貢獻者。

在基金會貢獻方面,CNCF基金會2015年成立伊始,華為雲便成為基金會亞洲唯一創始成員、白金會員,一直到今年,華為雲已向CNCF貢獻多個首創開源項目,包括雲原生邊緣計算平台項目KubeEdge,雲原生批量計算項目Volcano,雲原生多雲容器編排項目Karmada,今年,華為雲又開源了兩個雲原生領域的項目Kurator和Kappital,收到廣大開發者的追捧。

在社區貢獻方面,K8S和ISTIO兩個社區成立之初華為雲就加入該項目,並開始貢獻代碼至今,目前無論是維護者席位還是代碼貢獻在亞洲都是排名前列。

總體上,華為雲在雲原生領域,一直都保持高投入,高貢獻,持續多年排名第一位。

接下來,我將帶領大家針對華為雲在雲原生領域的開源策略做一次庖丁解牛,總結過去,規劃未來。

KubeEdge是業界首個雲原生邊緣計算框架、雲原生計算基金會內部唯一孵化級邊緣計算開源項目,在全球已擁有900+貢獻者和70+貢獻組織,在Github獲得超過5.4k Stars和1.6k Forks 。近年來,KubeEdge社區持續開拓創新,完成業界最大規模雲原生邊雲協同高速公路項目(統一管理10萬邊緣節點/50萬邊緣應用)、業界首個雲原生星地協同衞星、業界首個雲原生車雲協同汽車、業界首個雲原生油田項目,開源業界首個分佈式協同AI框架Sedna及業界首個邊雲協同終身學習範式。

以雲原生衞星為例:

“天算星座”計劃由北京郵電大學深圳研究生院與天儀研究院共同發起,以服務國家重大戰略需求和國際科技前沿探索為目標,通過對衞星智能化、服務化、開放化設計,構建產學研用一體化的空天計算在軌試驗開放開源平台,為推動我國6G網絡、衞星互聯網等技術發展提供技術支撐。

華為雲作為首批合作共建單位,將邊緣計算與衞星計算平台融合,雲原生邊緣計算平台KubeEdge及其邊緣AI子項目Sedna為天算星座提供統一的資源、應用管理、分佈式應用協同能力和在軌AI推理能力,使得衞星在太空中可同時調用邊緣和中心雲的資源並具備AI能力和多任務處理能力,有效降低空天計算實驗門檻。測試數據表明,通過衞星與地面站協同推理,計算精度提升了50%以上,衞星迴傳數據量可減少90%。

“天算星座”首席科學家、北京郵電大學教授王尚廣:雲原生邊緣計算平台KubeEdge及其邊緣AI子項目Sedna為天算星座提供統一的資源、應用管理、分佈式應用協同能力和在軌AI推理能力。結合北郵開發的衞星網絡系統、基礎通信組件,可為空天實驗提供按需使用的計算能力,有效降低空天計算實驗門檻。

Volcano 是一個基於Kubernetes的雲原生批量計算平台,也是 CNCF 首個容器批量計算項目,並已正式成為CNCF孵化級項目。Volcano主要用於 AI、大數據、基因、渲染等諸多高性能計算場景,對主流通用計算框架均有很好的支持。Volcano社區已吸引2.6萬全球開發者,並獲得2.4k Star和550+ Forks。目前,Volcano在人工智能、大數據、基因測序等海量數據計算和分析場景已得到快速應用,並構建起完善的上下游生態。

Karmada是華為雲2021年4月開源的雲原生多雲容器編排項目,沉澱了眾多企業在多雲管理領域的豐富經驗,可構建無限可擴展的容器資源池,讓開發者像使用單個K8s集羣一樣使用多雲。目前,Karmada已正式捐贈給CNCF(雲原生計算基金會),也是CNCF首個多雲容器編排項目。Karmada 項目的加入,將CNCF 的雲原生版圖進一步擴展至分佈式雲領域。自開源以來,Karmada已擁有2.3k+stars,450+forks,120+貢獻者,極具潛力,工商銀行、VIPKID等企業也基於Karmada進行了容器化改造。

今年,華為雲開源團隊貢獻了兩個開源項目:

一是雲原生服務中心OSC的核心能力開源,推出分佈式雲原生服務Kappital,旨在幫助開發者快速構建雲原生服務,為雲原生服務提供統一的打包、部署、管理標準和一致性使用體驗,加快雲原生服務的落地,Kappital主要提供統一的服務生態、全場景的部署,全生命週期治理,開箱即用的運維能力四個方面能力。

華為雲希望通過Kappital項目,能夠幫助廣大開發者和生態夥伴輕鬆快速地構建健壯可擴展的雲原生服務,豐富雲原生服務生態。

二是基於華為雲在分佈式雲原生領域的多年優秀實踐,華為雲開源團隊構建了開源的分佈式雲原生套件Kurator,Kurator是業界首個分佈式雲原生開源套件,整合了Karmada、Istio、Kubeedge、Prometheus等業界主流開源技術棧,同時包括新增的開源分佈式雲原生服務中心 Kappital。

Kurator致力於打造開箱即用、開源開放的分佈式雲原生平台,提供多雲、多集羣統一編排,統一調度,統一流量治理,邊雲協同,統一監控運維等核心能力,可以幫助廣大開發者、生態夥伴實現雲原生應用服務化,助力企業快速搭建分佈式雲原生平台,實現企業業務跨雲、跨邊分佈式化升級開發。

面向未來,華為雲將繼續秉持攜手創新、成就共享的理念,深耕雲原生領域,基於雲原生領域開源的已有的成功經驗和優秀實踐,以分佈式雲原生套件Kurator為核心,協同開發者持續打磨增強,在南向生態方面,主動參與各生態資源對接開源,主動開源華為雲自身各類資源插件,打造K8S南向標準生態。在北向生態方面,加強CNCF現有優勢社區集成,開源大數據、數據庫、AI、中間件、UI等場景化工具套件,降低開發者使用門檻,使能開發者生態。

 

點擊關注,第一時間瞭解華為雲新鮮技術~