31年前的Beyond演唱會,是如何超清修復的?

語言: CN / TW / HK

1991年,29歲的黃家駒率領Beyond樂隊登上紅館,舉辦了連續5天的“生命接觸”演唱會。

31年來,經典曲目《光輝歲月》《喜歡你》《不再猶豫》《灰色軌跡》《真的愛你》《再見理想》.......始終留在歌迷心裡。

然而,當初留下的影像卻存在模糊、褪色等多種瑕疵。

7月3日晚,超清修復版Beyond演唱會精選在抖音、西瓜視訊、鮮時光TV、今日頭條同步直播,超1.4億人次收看。

隨著Beyond的歌聲響起,幾代歌迷的記憶被喚醒了。

這次超清修復版演唱會上線,是火山引擎多媒體實驗室、火山引擎音訊技術團隊通過畫質和音質兩個維度的修復,重現了一場音樂盛宴。

接下來,就帶大家瞭解這次超清修復背後的技術亮點。

圖:修復前後對比

畫質修復,再現Beyond風采

1991年的演唱會中,Beyond四子的服裝造型、表情、對白,為人們津津樂道。

火山引擎多媒體實驗室通過畫質修復,再現了他們的風采。

圖:戴著戒指耳環的黃家駒

實驗室遇到的第一個難題,是畫面清晰度。

大家在看早期視訊時,經常有一個感覺,就是條紋多、看不清楚。其中一個主要原因是,早期視訊大多采用“隔行掃描”方式處理和顯示。而目前主流的視訊,用的是“逐行掃描”。

逐行掃描比較容易理解,就是將每一幀從左到右、從上到下掃描完成後,輸出一張完整的畫面。這需要較大的頻寬來傳輸,在早期難以實現。

於是,人們用隔行掃描來解決:將畫面分為兩個場,先掃描奇數行畫素,再掃描偶數行畫素。憑藉“視覺暫留效應”,在快速播放時,兩個場互相補足,讓人眼看到完整的畫面。

但由於兩個場的畫面並非同時出現,如果在新式裝置上直接播放,就會產生閃爍和條紋。

這就需要“去交錯”:將隔行掃描訊號轉換為逐行掃描訊號。

傳統的去交錯方法只能輸入單張畫面,對運動的感知不強,難以處理運動場景的模糊情況。實驗室對此做了改進,設計了多圖輸入的神經網路,可以恢復更多細節。

在處理完格式轉換問題之後,實驗室對視訊進行了“超解析度重建”,該過程可以將視訊的解析度檔位從低清處理至超高清,同時在缺少紋理的區域生成更豐富的資訊。

對比可以看出,樂隊撥弄琴絃的身影,變得更加清晰。

圖:彈奏吉他的黃貫中

在清晰度之外,影片還存在褪色、顏色異常、過亮過暗等問題。如何在解決褪色的同時保留演唱會的復古感,成為了修復的第二大難題。

實驗室先對畫質進行檢測,並依據美學評分,在色調、亮度、對比度、飽和度方面,針對人像和背景區域,分別進行增強。

根據不同畫面的統計資訊,演算法還進行了自適應,使亮區與暗區都能得到最佳表現。

圖:色彩亮度增強前後

第三個難題,是人像修復。

面部表情是歌手傳達情感的重要部分。然而,在演唱會的許多片段中,人臉都存在壓縮損傷、模糊、低解析度等問題。

火山引擎多媒體實驗室自研人像增強演算法,基於深度學習模型,在消除整體模糊和壓縮損傷的同時,進一步做了五官重建,對眼睛、嘴巴、耳朵、面板甚至髮絲都進行了細節重建和紋理新增,使人臉清晰度更高、更真實。

同時,針對演唱會多角度的人臉場景,包括正臉、側臉、俯視、仰視,以及被樂器或話筒遮擋的人臉,演算法都做了穩定性強的修復。

黃家駒在演唱歌曲

修復之後,原本模糊的人臉變得清晰,《光輝歲月》的激情、《灰色軌跡》的悲傷、《真的愛你》的溫暖,都更能走進歌迷內心。

音質修復,聆聽31年前的震撼

這場流傳31年的演唱會,曾驚豔過無數歌迷。

然而,早期視訊存在各種音質問題,在聽感上也不免打折扣。火山引擎音訊技術團隊通過AI音質修復演算法,彌補了這一遺憾。

音質修復演算法包含三個模組,第一是降噪模組。

因為早期演唱會收音條件有限,加上環境嘈雜,片子裡就出現了許多噪聲。

然而,傳統降噪方案主要針對人聲,而音樂在經過降噪演算法處理後,會被不小心“誤傷”。

不過,我們的技術團隊實現了音樂和人聲的相容,既可以保留這兩個部分,也能同時抑制噪聲。

如果還不夠直觀,可以看看下面這張頻率分佈圖:

圖:降噪前

圖“降噪後

降噪前,左邊無聲段噪聲明顯,右邊音樂段因為摻雜著噪聲,圖片看起來比較渾濁。而在降噪後,整張圖變得清晰了。

這意味著,噪聲不管在無聲段還是音樂段,都被消除了。

第二個模組是超分模組。這個詞聽起來有點拗口,其實原理不難理解。

聲音的本質是振動,振動頻率的單位是赫茲(Hz)。我們聽到的聲音有高有低,就是因為頻率高低不同。如果音訊的高頻資訊更豐富,人耳聽起來也會更明亮。

舉個例子,女生說話頻率比男生高,所以聲音也更亮。

早期演唱會的收音裝置、錄製硬體或儲存壓縮條件有限,導致高頻區域的資訊被移除,音質受損。技術團隊將人聲部分進行頻帶擴充套件,恢復了部分高頻資訊,提升了音質。這就是“超分”。

下面的這段來自《午夜怨曲》,從頻率分佈圖可以看出,超分處理後,一方面,原始音訊大於18kHz的高頻資訊得到了一定程度的拓展補全;另一方面,10kHz和18kHz之間的高頻資訊同樣得到了增強。在聽感上,處理後的聲音更加清晰明亮。

圖:左為超分前,右為超分後

修復後,當黃家駒唱起《光輝歲月》時,我們也更能感受到聲音裡澎湃的激情。

聊完降噪、超分,還有響度模組。

響度其實就是音量。同樣是因為收音,有時候相對於樂器聲和環境音,唱歌的聲音反而過小。響度模組的任務就是,單獨提取出唱歌的部分進行調整,然後再和其他聲音混合,使整體聽感更加舒適。

通過響度修復,記憶中的聲音,也更能縈繞耳畔。

“喜歡你

那雙眼動人

笑聲更迷人”……

31年過去,Beyond的歌聲始終陪伴著我們。修復,是為了讓這份陪伴在歲月的流淌中變得更加光輝。

我們將持續行動,讓經典煥發新生。