生於雲、長於雲,RocketMQ 5.0 再出發

語言: CN / TW / HK

7 月 21 日-7 月 22 日,由 Apache RocketMQ 社群主辦,阿里雲天池平臺、雲原生應用平臺承辦的首屆 RocketMQ Summit 全球開發者峰會拉開帷幕。Apache RocketMQ 聯合創始人林清山釋出 RocketMQ 能力全景圖,為眾多開發者闡述 RocketMQ 5.0 的技術定位與發展方向,來自快手、小米、位元組跳動等網際網路頭部企業的 40 位演講嘉賓與眾多開發者分享各自行業的最佳實踐與技術探索經驗。

阿里云云原生應用平臺負責人丁宇表示,開源讓雲端計算更加的標準化、雲端計算讓開源產品化和規模化,未來的數字世界,將構建在雲端計算和開源之上。阿里巴巴將以開源的方式,踐行開放共享好科技理念,把開源作為技術戰略的重要組成部分。

今天,阿里巴巴的開源專案總數超過 3000 個,涵蓋雲端計算、大資料、AI、中介軟體、資料庫、容器、Serverless、高可用等領域,擁有超過 30000 名 Contributor,超過百萬 Star,位列中國企業社群貢獻榜首,連續十年蟬聯中國廠商開源活躍度第一、影響力第一。 未來,阿里雲也將會持續投入 RocketMQ 的開源建設,構建更加繁榮的社群生態。 希望與更多的開發者、貢獻者一起,追求極致、開放共享,實現開源技術的普惠。

基於自身實踐,RocketMQ 社群對於訊息佇列演進趨勢的洞察

Cloud Native

訊息佇列作為最經典的中介軟體之一,已經有三十多年曆史。伴隨著技術發展,訊息佇列領域不斷擴充套件,迸發新生命力,作為國內大規模實踐先行者,RocketMQ 社群認為訊息領域將迎來以下趨勢變化:

1. 全面擁抱雲原生

訊息佇列將向上演進訊息型的產品形態,更好去支撐微服務、事件驅動、Serverless 化等雲原生應用架構;向下演進訊息系統自身雲原生架構,通過系統重構充分釋放基礎設施的彈性計算、儲存、網路等能力,全方位提升訊息技術指標,降低訊息成本,提高訊息佇列彈效能力。

2. 全面擁抱物聯網

物聯網技術將更廣泛的落地到各行各業, 萬物互聯、邊緣計算進一步拓展訊息的邊界 。面向物聯網的訊息佇列要海量異構裝置接入,海量訊息佇列儲存,能夠隨處執行,具備雲邊端一體的無邊界部署能力。

3. 全面擁抱實時資料

企業的數字化轉型的步伐不斷加速,從業務數字化邁向數字業務化。數字化企業持續產生業務資料,對業務資料實時洞察與決策,才能幫助企業快速響應商機、把握商機,使得業務獲得更大成功。同時,訊息佇列也將從線上業務架構的基礎設施延伸到實時資料架構的基礎設施,達到事務分析一體化。

四大方向,全面解讀 RocketMQ 5.0 架構演進

Cloud Native

1. 面向微服務

引入微服務架構,數字化企業以“高內聚、低耦合”的方式高效協作。微服務架構也帶來新問題,比如大量同步微服務會面臨延遲增大、可用性降低等風險。為了解決這個問題,越來越多的企業引入訊息佇列建設非同步微服務體系,進一步提高微服務的韌性,降低響應延遲。

業界的微服務技術趨勢,一方面是已經形成了事實標準,比如說像 Spring Cloud 體系,Dubbo 體系,通訊協議有 HTTP、AMQP 等,另一方面下一代的微服務體系也在快速發展中,主要體現在基礎設施下沉,比如 Servicemesh,Serverless 等技術。

在這個趨勢下,RocketMQ 5.0, 在 SDK 層面將原來的重型客戶端往輕量客戶端演進,基於標準 gRPC 作為 remoting 層實現 SDK,同時也將更多客戶端邏輯下沉到服務端,比如訊息重試、負載均衡等,大幅度降低多語言 SDK 的實現成本。輕量客戶端更好的匹配了 ServicmMesh 的需求,RocketMQ 的 Mesh 能力已正式合入 CNCF Envoy 官方社群。

在負載均衡方面,RocketMQ 從原來的佇列粒度負載均衡演進到了訊息粒度負載均衡模式,訊息粒度負載均衡更加匹配 Serverless 應用的場景,無狀態 Serverless 應用彈性伸縮過程不會觸發頻繁的佇列重平衡,降低訊息重複率和端到端延遲。

RocketMQ 5.0 提供無狀態 proxy,通過 proxy 可以很方便的擴充套件更多標準訊息協議以及流量治理功能。無狀態 proxy 也具備良好的的網路穿透能力,可以靈活應對企業在上雲過程中面臨複雜跨網路訪問場景。

今天我們以 RocketMQ 5.0 核心能力為基礎,支撐了阿里雲 RocketMQ、MNS、RabbitMQ 等多款雲訊息產品。其中阿里雲 RabbitMQ 是一款相容 AMQP 協議、RabbitMQ SDK 的訊息服務,可以幫助開源存量使用者無縫上雲。同時它也充分釋放了底層 RocketMQ 雲原生架構的技術紅利,具備和 RocketMQ 一致的高效能、無限擴充套件、高可用等特點,是雲原生的 RabbitMQ。

2. 事件驅動(EDA)

事件驅動在 18 年被 Gartner 評為年度十大技術趨勢。在未來新型的數字化商業解決方案中,會有 60% 以上的商業數字化解決方案採納 EDA 架構。EDA 為軟體架構帶來徹底解耦,實現更靈活的業務擴充套件和業務敏捷能力,不僅可以用於單一業務領域的微服務解耦,還可以用於跨部門、跨組織、跨業務領域的事件整合。訊息佇列是 EDA 架構中最核心的元件,承擔 eventbroker 的職責。隨著 EDA 架構被大規模跨組織的落地,要進一步提高行業級生產力,標準化也迫在眉睫。為此 CNCF 推出了 CloudEvent 規範,基於統一的規範,跨系統、跨組織的數字化協同有了共同的“語言”,能夠實現更高效的系統整合,有了規範也方便沉澱面向事件的統一基礎軟體設施,提高研發效率。

面向 EDA 趨勢,RocketMQ 5.0 釋出全新產品形態——Eventbridge。整個領域模型以事件為中心,並擁抱  CloudEvent  規範, CloudEvent  社群開源 SDK 可無縫接入 Eventbridge。同時,還提供各種低程式碼事件編排、過濾、路由能力,靈活實現各種事件整合。

今天我們以 RocketMQ 5.0 核心能力為基礎,支撐了阿里雲 EventBridge 產品,助力雲客戶實現事件驅動、事件整合的商業生態。

3. 物聯網

全球的 IoT 裝置爆發式增長,預計到了 2025 年將達到 200 多億臺,IoT的資料的整數也達到了 28%。並且物聯網也帶來了邊緣計算的興起,未來將有 75% 的資料將在傳統資料中心或雲環境之外進行處理。目前物聯網行業已經形成了多個標準協議,其中最流行莫過於 MQTT,這是"釋出-訂閱"模式的訊息協議,除此之外還有各種車聯網協議、工業協議等等,物聯網訊息佇列要具備多樣化異構海量裝置接入能力。RocketMQ 可作為物聯網應用的基礎通訊設施,用於 IoT、移動裝置的資料上報,還有指令下行,為 IoT 業務連線雲邊端。

面向 IoT 的趨勢,RocketMQ 5.0 釋出輕量級百萬佇列引擎,輕量元資料服務。在新儲存核心之上,建設物聯網形態訊息佇列 MQTT,支援標準物聯網協議,支援海量物聯網裝置接入和海量佇列儲存。

RocketMQ 5.0 遵循零外部依賴的精簡架構原則,新 HA 架構為低資源消耗場景提供更多選擇,使用者可以權衡可靠性、成本、可用性,選擇最優副本策略。比如邊緣場景由於資源受限,RocketMQ 不一定需要提供三副本儲存,可以是 2 副本,甚至是單副本就能滿足業務需求。

今天以 RocketMQ 5.0 核心能力為基礎,支撐了阿里雲微訊息佇列 MQTT,為客戶提供雲端一體化訊息解決方案,實現萬物互聯、雲端互聯。

4. 實時大資料

未來大資料將走向實時化,預測在 2025 年實時大資料的比例將達到 30%。數字化企業通過實時感知、實時分析、實時決策,能夠抓住商機、快速響應使用者,實時大資料的重要性愈發突出。訊息佇列是實時大資料的關鍵技術之一,作為事件流的核心儲存,它承擔資料的分發,資料的緩衝,還有輕量的流處理的作用。

事件流技術越來越多的在 IoT 場景進行使用,IDC 預測未來 95% 的實時事件流將來自IoT場景;另外有越來越多的交易事件需要進行實時分析,挖掘更多業務價值,事件流技術也開始呈現事務分析一體化的趨勢。

面向事件流的趨勢,RocketMQ 5.0 在流儲存和流分析能力進行重點打造:

  • 流儲存方面,支援批量索引,大幅度提高 RocketMQ 吞吐量。支援 compacttopic,用於實現流處理過程中的狀態儲存,零外部依賴。除了功能特性之外,RocketMQ 5.0 的流儲存同時進行了雲原生架構改造,引入邏輯佇列的概念,解耦了資料邏輯分割槽跟物理儲存之間的繫結關係,能夠實現全域性固定分割槽前提下進行無縫擴縮容,零資料遷移。

  • 流分析方面,RocketMQ 5.0 全新發布了輕量的流計算引擎,它可以相容 flink SQL,方便使用者在不同場景無縫 切換。 如果使用者需要大而全流計算能力,可以使用大型計算平臺。 如果使用者有邊緣計算、資源受限、簡單流處理場景可以直接使用 RocketMQ 的 RSQL 來支援。

今天我們以 RocketMQ 5.0 事件流 能力為基礎,支撐了阿里雲 Kafka 產品,存量 Kafka 使用者實現無縫上雲。同時基於 RocketMQ 的邏輯佇列能力,阿里雲 Kafka 具備快速彈性伸縮能力,提供了 Serverless 化的產品形態。讓存量 Kafka 使用者也能夠體驗到雲原生架構的紅利。

不斷演進,RocketMQ 正式邁進 5.0 時代

Cloud Native

在過去七年大規模雲端計算實踐中,RocketMQ 不停自我演進。今天 RocketMQ 正式邁進了 5.0 的時代。從網際網路業務訊息中間擴充套件到“訊息、事件、流”超融合處理平臺,解鎖了更全面能力。

在訊息領域,全面擁抱雲原生技術,以獲得更好的彈性伸縮。在事件領域產品形態進行全面升級,擁抱行業標準,讓事件驅動的架構無處不在,從單一業務的數字化系統擴充套件到跨組織跨業務的數字化商業生態事件驅動的架構,也同時讓雲端計算原生的技術能夠更大規模的落地,提高雲產品跟使用者業務的集中度。讓 Serverless 的技術能夠被更大範圍的採納,幫助企業客戶去降本增效。在流儲存和流計算領域,流儲存增強批量的特性,大幅度提高 RocketMQ 資料吞吐量,新增邏輯佇列能力,解耦邏輯資源跟物理資源,在流場景也具備無縫伸縮能力;新增輕量流處理引擎也提供了實時事件流處理、流分析能力。

RocketMQ 基於端雲一體化架構,實現完整物聯網訊息佇列能力,從原來連線應用擴充套件到連線物聯網裝置。同時 RocketMQ 5.0 也繼續保持著極簡架構原則,即便產品能力全面提升,也依然能夠以最低資源消耗,最低運維代價去搭建服務。

現在 RocketMQ 已經真正具備連線一切,隨處執行的能力,提供雲、邊端一體化實時資料解決方案。物聯網裝置持續的產生的資料,邊緣 RocketMQ 可以進行實時資料分析,快速響應業務。通過實時 ETL,實時決策產生的高價值事件,或者資料可以傳輸到雲端,通過 RocketMQ  eventing 能力連線更強大的公有云平臺,利用雲的一站式平臺技術,進一步放大每份資料的價值。

不止於開源,RocketMQ 賦能海量行業客戶

Cloud Native

今天,基於 RocketMQ 5.0 為核心,阿里雲也打造一站式訊息平臺,在統一雲原生訊息核心基礎上,提供 6 種訊息產品形態,有面向 IoT 場景的微訊息佇列 MQTT,有面向 EDA 場景的 EventBridge,有面向開源使用者無縫上雲的託管開源產品如 Kafka、RabbitMQ、RocketMQ。

通過多樣化產品形態,RocketMQ 在阿里雲上面已服務數萬個企業使用者,幫助其完成數字化轉型的同時。RocketMQ 也得到業界的廣泛認可。近期獲得多個獎項,包括 OSCHINA 優秀技術團隊獎、中國開源雲聯盟優秀基礎軟體、中國科學技術協會頒佈的科創中國開源創新榜等,並進入 Apache 中國開源專案領導者象限。RocketMQ 成為第一個通過信通院可信雲分散式訊息佇列服務的“增強級”認證,第一個通過信通院金融級穩定性評測的“先進級”認證。

隨著潛在使用者數的增大,RocketMQ 的商業價值也被進一步的放大。目前已經有十家的雲廠商提供 Apache RocketMQ 的商業服務,它幾乎覆蓋了國內主流的公共雲廠商。這樣 RocketMQ 的使用者就有了更多的選擇,真正實現無廠商鎖定,RocketMQ 已經成為原生訊息的事實標準。

萬物皆雲的時代,RocketMQ 讓數字化轉型更簡單高效,也將訊息、事件、流的價值最大程度釋放。Apahce RocketMQ 將不斷推動技術演進與落地實踐,幫助企業真正實現高質量數字化轉型與創新。