解鎖抖音世界盃的畫質優化實踐

語言: CN / TW / HK

卡達世界盃已經結束,29天賽程,64場比賽,最終梅西帶領阿根廷時隔三十六年再次捧杯。世界盃期間,抖音提供的穩定高質直播畫面為觀眾帶來了完美的觀賽體驗,決賽的PCU高達3700W+。

世界盃賽事涉及鏈路眾多,如何保障各鏈路的畫質穩定並進一步提升畫質,是一個巨大的挑戰。本文主要介紹火山引擎多媒體實驗室在世界盃期間畫質優化的最佳實踐。

畫質優化鏈路

世界盃涉及鏈路較長,可簡化為下圖流程,FIFA現場訊號首先傳到央視端進行合規安全處理,然後經過演播室的製作傳輸給CDN再進一步分發到使用者測。從畫質角度來看整個鏈路可分為畫質檢測與畫質優化兩個部分,對於CDN之前的鏈路以畫質監測為主,以發現問題/定位問題/推動對應鏈路人員解決問題為目的。畫質優化在CDN和客戶端兩側進行,下面的內容主要介紹畫質優化部分。

圖片

本次世界盃直播使用支援HDR(高動態範圍)裝置錄製,團隊對支援HDR的裝置增加了HDR檔位,同時提供了多種不同解析度/幀率的檔位。為了使得觀眾獲得更好的畫質體驗,團隊通過自研的自適應ToneMapping,視訊降噪,ROI,端上超分等演算法有效地提升了賽事畫質。

卡達世界盃採用HDR拍攝方式,HDR拍攝的片源擁有更廣的色域,更大的動態範圍。但對很多終端顯示裝置而言,並不支援HDR訊號播放,所以通過ToneMapping演算法將HDR訊號轉換為SDR(標準動態範圍)訊號是十分必要的。

圖片

相比SDR訊號,HDR訊號擁有更廣的色域和更大的動態範圍,在轉換到SDR訊號的過程中不可避免會產生一些資訊損失。常用的一些ToneMapping方法,不論是Reinhard,Filmic或者Hable,其本質都是設計固定的對映曲線實現從HDR到SDR的轉換,同時儘量保持對HDR效果的還原。但對於世界盃等大型賽事,現場動態範圍跨度極大,場館的燈光/草地/球員亮度差異明顯,觀眾感興趣的球員資訊實際集中在暗部區域,這就導致ToneMapping之後的SDR訊號過暗的問題,為了解決這一問題,團隊提出了內容自適應ToneMapping演算法,通過統計視訊內容的實際光照情況動態地進行ToneMapping,從而得到更優效果。

左: Hable演算法,右: 內容自適應ToneMapping

圖片

圖片

為了兼顧視訊位元速率和主觀畫質,團隊使用了基於LSTM(長短期記憶網路)的時域ROI技術,通過人眼顯著性區域檢測和編碼相結合的方式,讓位元速率在畫面上的分配更加合理。目前市面上沒有專門針對足球場景的saliency(顯著性物體檢測)資料集,通用的saliency資料集在世界盃這類特定場景中表現並不理想。針對這一問題,團隊專門製作了足球場景的saliency資料集,通過眼動儀追蹤球迷觀看球賽時的關注區域得到足球比賽的專用saliency資料集,從而極大增加了模型的準確性。針對足球場景中顯著性物體較多,顯著性區域分散的特點,團隊對檢測模型進行了專門的優化,在保證檢測速度的前提下,提高了模型的召回率和不同場景的魯棒性,從而實現更優的主觀質量。

注:紅色框內表示ROI區域,左邊為通用方案結果,右邊為優化結果

圖片

圖片

同時團隊使用了視訊降噪演算法,根據視訊資訊對其進行空域、時域噪聲的去除,將帶有噪聲的視訊處理成乾淨、沒有噪聲的視訊。由於去除了視訊的噪聲,在提升視訊質量的基礎上同時降低了傳輸的位元速率。由於使用者側網速的限制,端上存在多個檔位,當看播端網速較慢時,可能會切換到480P/720P等低分辨檔位,此時會觸發端上超分演算法提升畫面清晰度。超解析度技術指的是,基於機器學習/深度學習方法,根據視訊資訊對其進行空域、時域建模重構出缺失的細節,將低解析度的視訊重建出高解析度視訊的技術。這樣即使是在低分辨檔位也能體驗到更清晰的畫質。

左:視訊降噪前,右:視訊降噪後

圖片

左:視訊超分前,右:視訊超分後

圖片

除此之外團隊還提供大解析度、高幀率、廣色域,並使用色彩增強、自適應銳化等多種畫質增強技術,呈現更加沉浸感的超高清畫面。