經典動畫《大鬧天宮》4K 版上映,老動畫是如何修復的?
《大鬧天宮》在中國的百年動畫史裡,是一座讓人歎為觀止的高峰,連日本現代動畫製作鼻祖手冢治虫都是本片導演萬籟鳴的“忠實迷弟”。
8月8日,第十二屆北京國際電影節公佈了展映片單,4K修復版《大鬧天宮》亮相“修復經典”單元。本次展映的版本由西瓜視訊聯合火山引擎共同修復,是該片首次經由AI技術實現4K解析度級別復原,也是4K修復版本首次亮相大熒幕。
為了完成《大鬧天宮》(上下集)的4K修復,火山引擎多媒體實驗室基於深度學習的視訊增強修復技術,改善了老舊動畫的模糊等畫質問題,並輔以人工美學分析調優,在提升視訊主觀感知質量的同時,保留了原片的藝術效果。
此外,為了能在影院中獲得更舒適的聽覺效果,火山引擎音訊技術團隊同時進行了音質修復,優化了當年影片製作時拾音環境、錄製裝置限制帶來的底噪過大、突發爆音等問題。
火山引擎視訊點播與智慧處理產品基於多媒體實驗室打磨的演算法與技術,針對音視訊質量構建,從畫質檢測、無參評分、畫質評分、針對性後處理(畫質增強/分轉碼檔位/過濾等)、播放回收等多個維度提煉實際反饋資料,打造了畫質提升全鏈路解決方案,並在三大主流場景——老片修復、低質增強、極致高清,分別打磨出最佳實踐方案,支援快速應用賦能企業客戶。
火山引擎畫質全鏈路解決方案
畫質全鏈路解決方案支援線上實時處理和離線定製化處理,此次展映的 4K 修復版《大鬧天宮》,是方案的檢測技術、增強技術在老片修復場景的實際應用。
如何評估老片畫質
老片畫質評估,是老片修復過程的首要環節。為了做好老片畫質評估,火山引擎綜合了市面上客觀評測標準及自研 VQscore 無參考視訊質量評價指標來完成畫質檢測和評分。其中,VQScore 採用了主觀分與細指標融合的方式,並且結合了神經網路和經典演算法,具體內容如下。
VQScore 架構
同時,其能夠支援包括噪聲、亮度、對比度等十多種畫質相關的檢測指標,單項或綜合評分輸出:
評分檢測指標(點選圖片,放大可見)
影響老片觀感體驗的,主要是畫質。對於畫質,一般會有四類問題。
- 清晰率低:解析度是衡量影片清晰程度的重要引數,老片解析度一般都是720p、540p甚至更低;另外製作過程中,拍攝鏡頭、數字化掃描、數字化壓縮儲存等因素可能會造成紋理丟失等問題,導致清晰度更差。
- 流暢度低:影響流暢度的主要因素是視訊幀率,目前大多影片幀率都在25幀以上,有的能達到60甚至120幀,但由於製作成本限制,許多老片拍攝或者手繪的幀數往往低於每秒15幀,觀看時會有較強的卡頓感。
- 色彩失真:膠片儲存較差,存在物理化學損傷,這些損傷在數字化後會引起各種色彩問題。此外,老片用老的色彩標準制作,亮度動態範圍普遍比較低,所以畫面對比度也比較差,看起來就很昏暗。
- 瑕疵多:提起老片,很多人會聯想到滿屏雪花一般的噪點、大量的黑線和閃動。由於儲存環境比較差,或者播放使用不當,老片存在物理、化學損傷,呈現出多種瑕疵。
對症下藥,老片煥發新生
對老片進行畫質評估之後,火山引擎視訊點播與智慧處理產品會針對影片的質量問題進行分析,並在各個維度上產生對應的個性化修復模組,排列組合調優。
如何實現老片的畫質增強
老片畫質修復,就是每一部片子“對症下藥”,從而達到最理想的修復效果。這個過程中,主要在以下幾方面應用了關鍵演算法技術:
提升清晰度
採用超解析度重建和去模糊演算法。這兩項技術是使用機器學習的方式實現的。火山引擎對海量高清和低清視訊資料進行分析,使演算法模型可以學習到高清視訊特性,從而完成視訊從低清到高清的轉換,並且生成缺失的細節。這樣一來,解析度就可以從720P提升到4K,大幅提高清晰程度。
提升流暢度
視訊的卡頓感可以通過提升幀率來優化。運用智慧插幀演算法,通過對前後幀的內容進行分析,生成中間幀內容,將原先不足15的幀率,提升至60以上,從而大幅提升流暢度。
色彩增強
首先,利用演算法對畫面色偏進行自動化檢測和矯正,讓其恢復原有的觀感;其次,為適應最新顯示裝置的色彩標準,對老片亮度範圍進行拓展,色彩空間進行轉換,用更寬的亮度和更豐富的色彩來顯示老片,讓色彩更豐富,煥然一新。
消除瑕疵
火山引擎結合傳統訊號處理以及深度學習演算法,對較小的雪花顆粒噪聲,使用傳統演算法進行處理;對於較大的壞點和劃痕,使用機器學習演算法進行識別和修補。強力地修復瑕疵的同時,保留原有紋理不受影響。然而演算法也不是萬能的。在實際修復過程中,如果演算法做到100%的處理瑕疵,那麼會很容易將一些藝術效果也識別為瑕疵,對影片造成破壞。
為此,火山引擎在老片修復過程中,演算法大概能解決95%以上的瑕疵問題,剩餘的瑕疵需要由人工輔助標註,再調整演算法做二次優化。這樣一來,既可以比較徹底地消除瑕疵,也能保護影片原有的藝術風格。
在北京電影節重溫經典
本次北京電影節最新排片已出爐,趕緊把《大鬧天宮》4K修復版加入觀影日程吧!
- 8.13 週六 18:30 保利國際影城(凱德MALL·大峽谷店)全景聲鐳射巨幕廳
- 8.14 週日 15:30 寰映影城(合生匯店)7號廳
- 8.19 週五 18:30 保利國際影城(凱德MALL·大峽谷店)全景聲鐳射巨幕廳
- 8.20 週六 13:00 寰映影城(合生匯店)7號廳
- 8.21 週日 15:30 紅劇場1廳
火山引擎修復老片採用增強視訊畫質的多媒體技術,演算法經過抖音、西瓜視訊等業務大規模驗證和持續迭代,目前已向企業客戶開放服務。
目前,火山引擎視訊點播、智慧處理的音視訊質量增強方面支援閒時策略,節省了客戶業務70%的成本投入。閒時策略主要利用機器資源閒時,以很低的成本進行高價值音視訊處理任務,包括智慧超分、智慧插幀、SDR2HDR增強、單純SDR增強 、音訊降噪、音量/響度均衡等。