在2022阿里雲直播峰會上，多位直播產業領域技術專家與行業先行者，共同探討超視訊化時代視訊直播技術的演進趨勢與未來發展。會上，阿里雲重磅釋出了行業首個「視訊直播技術最佳實踐圖譜」，將直播技術歸納總結為7點：雲原生、高可靠、低延時、超高清、智慧化、專業性及多場景，本文將對「視訊直播技術最佳實踐圖譜」進行深度解讀。

視訊直播的趨勢就是極致降低延時，其包含傳輸延時和計算延時。

談到延時，大眾對於延時的理解主要集中在傳輸延時上，依據視訊的延時，可以將視訊分成點播、直播、連麥互動、實時互動等。

• 當傳輸的延時在3-10秒，這樣的視訊具備可廣播的屬性，如：體育賽事直播；
• 當傳輸的延時在250-800毫秒之間，可進行溝通、互動，如：互動課堂連麥等；
• 當傳輸的延時降低至50-80毫秒，此時視訊便具有可操控性和沉浸感，如：雲實時3D渲染、遠端視訊操控……

除了傳輸延時，視訊的編解碼、高清化等技術的計算也會帶來算力的延時。緊隨直播的趨勢，如何能將傳輸延時和計算延時不斷降低，為更多直播場景帶來技術支撐及想象空間？

阿里雲的直播技術基於雲原生的底座和分散式邊緣節點，通過對傳輸協議的改造，融合實時媒體處理能力與邊緣算力，能夠大幅有效降低傳輸延時與計算延時，並通過全球實時流媒體傳輸網路GRTN（‍Global Real-time Transport Network）、超低延時直播服務RTS（Real-time Streaming）、實時媒體處理能力、視訊+AI等技術應用，完成低延時的最佳實踐，實現成本與體驗的最佳平衡，在帶來眾多通用直播解決方案的同時，也衍生出眾多場景化解決方案。

本次峰會發布的行業首個「視訊直播技術最佳實踐圖譜」，是經過阿里雲多年的直播技術探索與實踐沉澱而來的，歸納總結為7大點：雲原生、高可靠、低延時、超高清、智慧化、專業性及多場景。

雲原生

視訊技術就是雲原生的最佳實踐。

阿里雲所倡導的雲原生主要有三點：“產品的服務化”，“隨意的彈性”，“軟硬一體、雲邊一體、雲端一體”，而視訊技術恰恰就是雲原生的最佳實踐。

雲的基礎設施，包括中心節點、邊緣節點、CDN網路是保障大規模分發和傳輸的基礎；雲原生的軟硬一體，能支援CPU/GPU/FPGA/ASIC等多種軟硬體異構方案；雲與端的緊密協同和算力分配，能實現雲、移動端、Web端、PC端渲染效果一致。

除此之外，雲原生的時間、空間、異構彈性，不僅能支援數十種業務混跑，雲邊端計算量化靈活調整，還能實現100+種實時傳輸、媒體處理、AI任務多機型異構混跑，給視訊業務帶來無限的算力的同時將資源充分有效利用起來，大幅降低成本，衍生出更多新場景。

高可靠

熱點視訊有千萬級的實時併發，高可靠是最基本的要求。

視訊直播技術需要高可靠，尤其是熱點視訊往往會帶來百萬、千萬級的併發，此時高可靠是最基本的要求。阿里雲的視訊技術高可靠主要體現兩方面，一是在架構上擁有全鏈路日誌/監測/報警/預測和高可靠、多副本的秒級切換，能實現智慧自動化運維和接入網路秒級資訊排查，帶來跨中心逃逸能力及容災服務保障。

高可靠的第二個方面，體現在對弱網體驗的提升。阿里雲獨有的QoS技術，能對頻寬進行精準預測，大幅提升頻寬利用率和擁塞控制能力，同時結合編碼器的弱網感知和抗丟包技術，能在70%的丟包狀態下仍達到較高清晰度和流暢性。基於深度學習的智慧語音丟包補償，能提升弱網狀態下的音訊清晰度，而麥上麥下延遲敏感自適應技術，能在多場景下實現音訊流暢性和通話延遲的平衡。QoS技術能識別和動態適配如：丟包、延時等多種網路場景，大大提升終端使用者對業務效能的音視訊主觀感受。

低延時

GRTN打造最佳流媒體實踐場景。

延時指的是主播端的畫面傳遞到使用者螢幕所耗費的時間，當排除網路、碼流、裝置效能的情況下，在不同的直播場景中選用合適的直播流協議，能大大降低直播的延時。回顧直播的歷史，也是直播協議的歷史，主流的協議有耳熟能詳的HLS、DASH、RTMP等，延時普遍在5s以上，在強互動的需求下，直播協議也在不斷向低延時轉化，比如：SRT、LL-HLS等。

阿里雲在低延時上的最佳實踐，主要在兩個方面。一是在網路層面，將傳統的CDN內容分發網路改造成GRTN全球實時傳輸網，其定位是基於中心雲和邊緣雲的異構節點，構建超低延時、全分散式下沉的通訊級流媒體傳輸網路。

GRTN目前融合了網際網路直播和RTC等多種業務場景的音視訊流傳輸和交換，並具有眾多其他核心技術，如：GRTN構建的雙向的實時信令網能夠做到切網訊息的毫秒級傳遞，當有一個釋出端的媒體流發生網路切換後，訂閱的客戶端對GRTN內部發生的切換行為是完全無感知的。

二是在這“一張網”上，阿里雲打造了超低延時直播服務RTS（Real-Time Streaming）。基於GRTN的短延時直播RTS可以支援標準H5 WebRTC推播，在千萬級併發情況下延時可以控制在1s以內；RTC端到端延時可以控制在250ms左右。觀看下方RTS和RTMP的直播協議的對比視訊，可以發現在有一定丟包率的情況下，RTS在體驗、流暢度和色彩上都相對RTMP有明顯的優勢。

RTS與RTMP延遲對比視訊

超高清

成本與體驗的最佳調和，帶來更沉浸、更極致的音視訊體驗。

關於超高清在視訊直播技術中的實踐，阿里雲自研的s265編碼技術能實現高畫質低位元速率，並支援4K實時編碼；支援AV1編碼，較HEVC節省25%以上的位元速率。大眾熟知的“窄帶高清”技術，窄高1.0對多場景進行優化，通過RIO和JND智慧編碼節約位元速率，窄高2.0自適應視訊降噪和內容修復，通過色彩和紋理增強提升人眼主觀畫質，帶來體驗和成本的最佳調和。

與此同時，阿里雲在直播技術上還對採集編碼傳輸鏈路進行優化，全鏈路支援4K和8K。在工程上，通過各類演算法對幀率、位元速率、解析度、色彩等各維度進行提升，無論是老片、瑕疵、人像、還是動畫場景，都能進行修復帶來超高清的體驗。

除了在雲端對視訊進行處理，還能在端側進行超分插幀、降噪、色彩增強等，即使是非HDR的裝置，通過色彩增強SDR+技術，也能實現端側一致的超高清體驗。

端側超高清對比

色彩增強SDR+技術

智慧化

在超視訊化時代，音視訊的智慧化是一大趨勢。

深度學習能帶來各類AI能力的提升，在視訊實踐上是最好的一個出口。在智慧化方面，阿里雲的視訊直播技術，除了傳統的智慧配音、智慧拆條、智慧集錦，還能對音視訊內容實時稽核，針對黃反暴恐廣告實現精準識別，節省了大量的人工甄別成本。

經過訓練的虛擬人技術，支援3D頭像、Live2D、風格化遷移、虛擬主播等，帶來更多XR技術的演進。此外，“智慧化”還體現在音訊體驗上，基於深度學習技術與傳統訊號處理有機結合的3A技術，能實現智慧降噪、突出人聲、無損音樂，並可以廣泛應用於各類實時場景。智慧語音超分技術，在小模型的情況下仍可保持高音質，這些都是AI與視訊結合帶來的效果。

“智慧降噪”的多場景體驗

專業性

專業性，讓直播逐漸演變成“智播”。

阿里雲對於直播技術的專業性體現在多位元速率、多協議、內容保護和實時製作上，直播逐漸演變為“智播”。值得一提的是，在實時製作方面，阿里雲將傳統導播臺雲端再造，融合實時翻譯、圖文包裝、動態標籤、廣告替換等導播創新能力，兼顧直播專業性與遠端導播優勢。

同時，基於多路實時實景摳像，阿里雲還曾將“虛擬演播室”搬到冬奧現場。阿里雲的“雲導播”技術，不僅支援多種裝置、多機位、異地開播，還能夠實現雙屏、分屏、畫中畫等開播場景，最大程度貼近直播需求。

互動虛擬演播室助力冬奧

阿里雲在直播技術上的專業性結合“雲導播”豐富的節目製作形式、更低的成本，能夠廣泛應用到廣電新媒體、賽事直播、活動直播、商業直播等場景中，幫助客戶打破業務瓶頸，更快更好地開展業務。

《這！就是街舞》雲導播+幀級別多視角同步

多場景

“直播+”已成為一種趨勢，滲透到各個場景。

從場景來看，直播從最早的大型文體直播、電商直播、遊戲直播逐漸滲透到企業培訓、線上教育、廣電新媒體場景。阿里雲將直播、點播、線上會議的各種演算法能力都整合到同一個SDK裡面，實現多場景融合的同時，一體化SDK還能按需打包實現靈活的自定義。

從傳統的SDK接入、API接入到“低程式碼直播樣板間”，阿里雲直播針對電商直播、線上教育、企業直播等提供一站式接入的場景方案，通過簡單的三步對接和十幾行程式碼，讓客戶輕鬆接入直播的體驗，助力業務的發展。

當前，直播業務已成為數字化社會服務的重要組成部分，越來越多的內容與產業轉向“直播+”模式，直播技術發展的未來圖景隨著市場需求變化更加清晰。

「視訊直播技術最佳實踐圖譜」正是基於阿里雲在直播技術上多年的探索和最佳實踐，從直播技術的核心，到直播的全場景覆蓋，再到直播技術創新與應用，助力企業深度理解“直播”，打破技術壁壘，攜手各行各業在萬物互聯的浪潮中不斷更迭與前行。

「視訊雲技術」你最值得關注的音視訊技術公眾號，每週推送來自阿里雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群，和業內大咖一起探討音視訊技術，獲取更多行業最新資訊。