優酷播放黑科技 | 自由視角技術的全鏈路策略與落地實踐

語言: CN / TW / HK

作者:李曉陽(蘇銘)

在《優酷播放黑科技 | 自由視角技術體驗優化實踐》中我們提出對自由視角觀影體驗做了很多優化,為何需要做如此多的體驗優化,下面將一一解答。

隨著5G時代的到來,影片使用者的消費需求升級,沉浸式影片體驗正在快速發展,影片體驗的真實性,可互動性的需求在不斷增強。自由視角技術是優酷摩酷實驗室自研的沉浸式互動影片技術,通過3D重建與渲染技術,為使用者提供6自由度(左右旋轉、前後推拉、上下移動)的影片觀看體驗,目前整套自由視角技術已經服務於CBA子彈時間直播、《這就是街舞》第三季與第四季、冬奧會冰球測試賽等專案中。

下面的內容將為大家介紹自由視角技術的整體鏈路與落地實踐。

自由視角工作流圖

現場採集

自由視角直播影片的採集不同於傳統影片,需要更復雜的採集系統。不同於傳統拍攝的單個機位,自由視角影片拍攝需要同步控制多個相機(通常是幾十到上百個相機),相機的控制以及直播時的資料傳輸需要通過乙太網進行。而為了保證資料和命令的低延時和高可用,通常需要搭建一個區域網。相機的資料通過網路彙總到現場的伺服器,由現場伺服器經過預處理後將資料傳送到雲端,雲端進行重建後再發送到現場電視轉播車上或者終端APP上。

自由視角錄播的影片為了獲得更高質量的影片源素材,一般採用錄製模式,錄製到儲存卡中,然後再上傳到雲端進行重建。

勘場及方案制定

與專案組或製作單位溝通需求、專案特點,現場實地踏勘,結合現場平面圖(舞美圖)制定合理的拍攝方案,並對實際輸出效果做出預判。踏勘時需要確認現場搭建資源供給方式,操作區位置以及拍攝時間。最好是在舞美設計階段把自由視角技術納入考慮範圍,製作方提供高質音訊,可以為後續音影片剪輯對齊,為直播方案打下基礎。

硬體系統搭建除錯

1)根據平面圖提前完成製作,賽前在規定的時間內完成桁架的搭建,相機,交換機,路由器的架設、通電、通網,同步性檢測;

2)根據現場舞臺與燈光情況,完成相機引數設定與姿態構圖調整,使用採集軟體進行相機引數計算,根據實際引數完成姿態微調。

以下是2020-2021賽季CBA比賽時用於子彈時間特效直播的系統圖:

經過多次現場實地驗證,可通過模組化搭建,將桁架、相機、路由器進行模組化搭建,實現對場地變化的高容忍性;通過預搭建預除錯,將模組化的裝置在錄製前進行標定與預除錯,實現對流程節奏的高容忍性。不僅可以應對賽事穩定性需求,也可滿足綜藝場景複雜的拍攝環境需求,目前CBA與綜藝場景物理搭建時間已縮減至2小時,補錄準備時間縮小至半小時內。

不同的搭建策略:

音影片採集

利用6-DOF Studio 採集軟體,完成自由視角影片源的採集(為直播子彈時間,FVV影片生產提供原始的音影片素材)。主要完成現場N個相機音影片的採集、相機引數設定、相機姿態調整、系統狀態監控、系統容災備份、資料實時/離線處理等。目前採集製作全鏈路支援4K解析度輸入源。相機姿態調整也支援本地化操作,不需要將影片素材傳輸到雲端,減少對雲端計算資源與網路依賴,所有相機的引數標定耗時可以控制在秒級。

直播鏈路方面,單幀子彈時間製作時間(含操作到輸出給轉播車)完全可以滿足解說、精彩回放等場景。自由視角影片直播最高支援8K影片直播流推送,1080P互動播放能力,目前自由視角影片直播從採集到生產全鏈路延時可以控制在5s左右。

CBA直播比賽子彈時間:

影片請點選檢視:優酷播放黑科技 | 自由視角技術的全鏈路策略與落地實踐

冬奧會測試賽子彈時間:

影片請點選檢視:優酷播放黑科技 | 自由視角技術的全鏈路策略與落地實踐

雲端製作

雲端服務主要是根據6-DOF Studio 採集到的音影片資料,對N路影片進行三位重建合成自由視角影片,或根據虛擬路徑完成子彈時間影片渲染,後續將生產出來的影片掛靠到媒資系統。

工作流程:

生產服務架構如下:

相機標定服務主要是根據N路相機影片素材的特徵點匹配完成相機引數(內參、外參、畸變引數)的求解。進一步可以通過融合多幀特徵點,得到更穩定的標定結果,同時可以有效減少特徵點少的場景標定失敗問題。最好能支援多參照物路徑,相對單一參照物路徑有更靈活多變的虛擬路徑,可以應對更復雜的現場環境。

影象深度估計服務主要是基於標定好的相機引數完成所有相機影片幀的深度估計。這裡點播與直播鏈路略有不同,點播鏈路目標在於給到使用者能力範圍內最好的結果,可以通過優化演算法、生產鏈路等方式在確保影片深度質量的基礎上提高生產效率,目前點播路徑上自由視角影片單幀平均生產耗時為90s;直播深度估計還需要考慮實時性的問題,目前我們採用深度學習與傳統影象處理方法相結合的方式,可以完成270P深度圖實時輸出,深度學習模型的結果輸出小於20ms。

在影片合成生產環節,針對自由視角影片位元速率高(高解析度導致)的問題,也做了一些編碼方面的優化,主要是利用深度資料優化影片編碼引數,在同等主觀影片質量下位元速率降低約20%,整體流暢度提升50%以上,使用者觀影體驗可以得到較好保障。音訊合入方面,通過AI演算法完成音訊對齊,解放後期剪輯音影片對齊工作。

終端渲染

自由視角影片不同於傳統影片,為了讓使用者能從不同視角進行觀看,它的每一幀都需要包含拍攝視角的紋理資訊和深度資訊,且需要使用者的互動輸入作為變換視角的依據。因此,在客戶端需要獨立的SDK處理互動、計算和渲染。通過在PC端使用FVV影片剪輯工具,或者在移動端播放器中接入6DOF SDK,完成FVV影片渲染,或者子彈時間製作。

FVV影片剪輯工具

自由視角影片在拍攝階段就採集眾多視角資訊,再經過3D重建,可以輸出任意視角的影片資訊,因此相對於傳統影片來說,自由視角影片不僅可以為使用者提供豐富的影片資訊,互動的觀影體驗,還非常適合做高質量的精美影片剪輯。FreeViewVideoEditor是一款影片編輯軟體,以自由視角影片作為輸入,可以通過編輯關鍵幀來設定自由視角影片路徑,在預覽模式下觀看效果,然後在雲端生成目標影片。

剪輯工具工作介面:

剪輯結果示例之純享影片:

影片請點選檢視:優酷播放黑科技 | 自由視角技術的全鏈路策略與落地實踐

剪輯結果示例之直拍影片:

影片請點選檢視:優酷播放黑科技 | 自由視角技術的全鏈路策略與落地實踐

目前FVV影片編輯工具可運行於Windows 電腦上,通過編輯工具可以製作直拍影片、純享影片、子彈時間影片。影片編輯是通過設定關鍵幀來操作,編輯完成後可以預覽影片檢視編輯效果,效果符合預期後可上傳到雲端,通過雲端計算資源進行渲染完成影片生產。目前編輯工具支援輸出影片的解析度設定,多種運動路徑模板選擇,鏡頭推拉範圍設定,音訊同步播放生產等功能,且街舞單個舞蹈的剪輯生成時間在30min~2h。街舞第四季中每期均有舞蹈由媒資同學使用FVV影片編輯工具剪輯生成純享版影片,播完率與VV均優於普通純享版影片。

移動端6DOF渲染SDK

移動端6DOF渲染SDK是為了讓使用者在移動端流暢體驗FVV互動式影片,定製優化的FVV影片渲染SDK,Android端基於OpenGL跟OpenCL語言,IOS端基於Metal語言。渲染的基本流程同服務端演算法,只是做定製性的優化與簡化,確保大部分的手機可以進行流暢互動。

渲染流程如下:

目前互動SDK在去年街舞第三季時已經接入到主客播放器中,最近已完成多輪功能與效能優化。目前SDK支援多種相機模型、切相機兜底模式、輸入虛擬路徑等功能,效能方面中高階手機均可以支援重建模式。街舞第四季DAU全站支援重建機型覆蓋率高達63%,切相機兜底機型覆蓋率18%,總體覆蓋率達到81%。為了進一步降低自由視角影片的卡頓率,提高觀看流暢性,互動SDK還配合播放器團隊完成切流體驗優化,在不同清晰度流切換過程中,SDK切換耗時降到100ms以內,做到使用者基本上無感知。

關注【阿里巴巴移動技術】微信公眾號,每週 3 篇移動技術實踐&乾貨給你思考!