大規模即時雲渲染技術,追求體驗與成本的最佳均衡

語言: CN / TW / HK

現實世界映射其中,傳統文化沉浸其境,舊時記憶交互其間。

仲升|技術作者

IMMENSE|內容編輯

在剛剛過温的春節,雲之上,帶來了一場「數字文化」新體驗。

遊花車、舞獅子、踩高蹺、放煙花、寫福字……還記得兒時的春節習俗嗎?如今這些習俗被“像素級”復刻進了“央博宇宙”裏。今年大年三十,由中央廣播電視總枱“央博”數字文化藝術博物館(簡稱“央博”數字平台)打造的全球首個元宇宙廟會——“央博新春雲廟會”正式上線,為廣大網友呈現了一場打破時空界限的新春雲廟會,還原兒時的春節記憶。

一場由黑科技鏈接、創造的數字之旅,是在央視春晚上演的跨時空新春“雲廟會”。現實世界映射其中,傳統文化沉浸其境,舊時記憶交互其間,高復刻、零時差的全然沉浸背後,必然有一股強大的雲力支撐,這便是阿里雲“大規模即時雲渲染技術”。

01 技術內核:輕量化、沉浸式、低成本

“大規模即時雲渲染技術”是指,將大型3D沉浸式體驗需要的圖形算力、存儲需求部署在雲端,並通過實時音視頻通信(串流)技術,使得玩家以極低的延時接收到實時渲染的畫面,實現沉浸式交互。

其中,串流技術通過把用户終端設備上實時渲染畫面的過程轉化為視頻流,並以高穩定、低時延的流媒體傳輸至玩家終端,讓玩家擺脱本地硬件限制,是實現終端輕量化沉浸式低成本交互體驗的關鍵因子。

02 60毫秒:交互延時“天花板”

《2023中央廣播電視總枱春節聯歡晚會》21:27口播推介了“央博新春雲廟會”的相關內容,全國並機頻道總收視人次3.16億次,口播後短短几分鐘內,就有近百萬用户湧入“央博”體驗,系統出現明顯的流量尖峯。

視頻鏈接:https://v.youku.com/v_show/id_XNTk0Mzk3NTczMg==.html

面對網絡流量洪峯,首要解決的是“零時差”的交互體驗。

對此,直接的辦法是增加網絡的帶寬,加之從成本、運營、維護的角度考慮,這對雲計算的GPU彈性算力也提出了更高的要求。究竟如何才能克服玩家在體驗過程中的時延、網絡抖動等問題,實現萬人在線 “零時差”交互?

最有效的解決方案就是應用一個“有保證”的策略對網絡流量進行管理,即QoS(Quality of Service,服務質量)。對此,阿里雲視頻雲技術團隊在調度保障延遲優化卡頓優化這三大維度着力。

QoS保障中最基礎的能力就是調度能力,為用户選擇一個合適的節點來保證用户的最優網絡接入,使得該用户的接入時延最低、網絡抖動最小,從而獲得最佳的雲渲染推流體驗。技術團隊實現了基於運營商和地理位置的傳統調度、實時測速、歷史調度信息這三大維度的融合算法,保證玩家的最優網絡接入。

在延遲優化上,技術團隊對全鏈路各個階段的時延消耗做了拆解,並對每個環節做了針對性優化,通過密集布點並優化調度策略、編解碼策略、媒體傳輸策略和指令通信策略,最終將整體時延優化到60毫秒以內,真正實現雲渲染和本地渲染在體驗上的一致性。

在卡頓治理上,技術團隊重點優化了帶寬估計算法和平滑發送策略。其中,帶寬估計算法以BBR為藍本並做了針對性優化,快速、準確地估算出當前鏈路的帶寬並反饋給編碼器,以便編碼器碼率匹配實時的帶寬。基於此算法,網絡不會因數據過多導致擁塞,也不會因數據過少產生帶寬浪費。

在現實情況中,如果數據發送太快會對網絡產生衝擊,反之則會增加時延,針對這一問題,技術團隊基於對實時網絡狀態的精準把握來動態調整平滑發送策略,併為音頻、視頻、重傳包、宂餘包等數據設置不同的優先級,確保最重要的數據優先被髮送,從而實現低時延下的卡頓優化。

畫質的清晰與否,是玩家在互動體驗中最能直觀感受的。同時,畫質提升和算法耗時的關係如同天平兩端,為了保障用户體驗需要在兩者之間平衡。由於GPU渲染能力的差異,會存在如鋸齒、渲染空洞、噪聲等畫質問題,在解決延時的基本體驗問題後,阿里雲視頻雲技術團隊利用窄帶高清技術提升畫面清晰度。通過雲端GPU與客户端CPU的聯動,採用自研算法進行內容自適應的紋理與色彩增強處理。該算法性能十分優越,在A10上處理1080p圖像的單幀耗時小於1毫秒,對全鏈路延時的增加可以達到被忽略的程度

由於“央博新春雲廟會”從立項到上線的時間只有50多天時間,為此技術團隊採用H5 SDK實現串流接入,解決了主流瀏覽器在PC和手機上的兼容性問題。因此,只要有網絡覆蓋,玩家在任何時間、任何地點都可以體驗。跨終端無縫切換,玩家可以在不同的設備上隨意切換,而渲染進程不會產生中斷

03 雲渲染的商業成本突破

體驗之上,運營成本高成為雲渲染商業化所面臨的突出挑戰。

如何最大程度利用雲上渲染資源?阿里雲視頻雲技術團隊在GPU虛擬機Windows操作系統之上,增加了虛擬外設驅動層實現在一台虛擬機上部署多個渲染應用的能力,用户通過不同的虛擬外設(音響、顯示器、麥克風、攝像頭、鍵盤、鼠標、手柄、觸屏)訪問同一台虛擬機而不會相互干擾,該技術能有效提高單機資源利用率,一張卡上同時運行多個渲染進程,為雲渲染的大規模商業化落地奠定了基礎。

同時,降低運營成本的另一個手段是降低“帶寬”成本。

阿里雲自研的“窄帶高清”算法便能實現同等畫質下更省流、在同等帶寬下更高清的觀看體驗。傳統視頻壓縮方法主要基於信息理論,從預測結構的角度來減小時域宂餘、空間宂餘、統計宂餘,但視覺宂餘挖掘不足。

“窄帶高清”算法中的JND(Just Noticeable Difference)和AQ(Adaptive Quantization)正是基於這個思路對視覺宂餘進行挖掘,經過空域和時域的特徵計算,將圖像上存在視覺宂餘的部分傳到編碼器,再由基於MOS的自適應碼控算法對QP做自適應的分配,最終達到碼率節省30%以上,但主觀體驗相同的效果,實現質量、碼率和成本的最優均衡。

(左:不開啟JND/AQ,碼率8858kb/s;右:開啟JND/AQ,碼率6027kb/s)

這已不是雲渲染技術在數字虛擬空間的第一次嘗試了。

去年6月,央視就與阿里雲合作推出了國內首個大型沉浸式雲考古節目《三星堆奇幻之旅》,基於大規模即時雲渲染算力復刻了3000年前的人類文明,讓三星堆“活過來”。這一切有賴於雲計算提供的高性能、高可靠、且近乎無限的算力支持。

未來,雲渲染技術會與現有音視頻技術做深度結合,創造出更多前所未有的新形態、新玩法、新產品,而阿里雲也將與“央博”探索更多突破空間限制的數字文化藝術形式,用數字技術力助力傳承中華文明