基於對象的實時空間音頻渲染丨Dev for Dev 專欄

語言: CN / TW / HK

本文為 「Dev for Dev 專欄」 系列內容,作者為聲網音頻算法工程師 李嵩。

隨着元宇宙概念的引入,空間音頻這項技術慢慢映入大家的眼簾。關於空間音頻的基礎原理,我們做過一期科普視頻 —— 「空間音頻背後的原理」,想要了解的朋友可以複製文末的鏈接查看。

本期文章,我們將主要討論基於對象 (object-based) 的實時空間音頻渲染,也就是如耳機等應用場景中,渲染對象為一個音源時的渲染思路與方案。

虛擬聲是指利用空間音頻技術合成的一路虛擬聲源。

在現實生活中,人們可以利用雙耳感知到真實聲源的位置, 所謂的虛擬聲渲染,便是模仿真實聲源到達我們耳朵的過程 ,使聽者感受到虛擬聲源在空間中的位置等信息。

渲染過程中,我們需要幾個基礎的信息來進行信號處理,比如:聲源、房間的模型、聲源和聽者的位置、聲源的朝向等等。在聲源和聽者之間沒有阻礙物的情況下,聲源發出的聲音會直接到達聽者的耳朵,我們把這個聽到的聲音叫做直達聲。

在直達聲到達後,聲源從牆壁、地板、天花板或其他障礙物反射產生的反射聲也會陸續到達聽者的耳朵。這些反射一開始很稀疏,隨着時間的推移會越來越密集,能量也會呈指數下降。通常,我們將一開始稀疏的反射稱作早期反射,一般在 50ms 到 80ms 內;把該段時間後的密集反射叫做後期混響 (具體的時間和房間大小等環境因素有關)

前文描述的是聲源在房間內通過空氣傳播到達人耳的過程,接下來我們討論這一過程如何實現。考慮到聲源經過空氣到人耳的傳遞過程一般是線性的,如圖一所示,因此對於渲染來説最簡單的方法是卷積已知的單聲道聲源和一對雙耳房間的脈衝響應 (Binaural room impulse response, BRIR) 。 

圖一:卷積BRIR獲得雙耳聲

其中 BRIR 指的是在房間內從聲源到人耳的雙耳房間脈衝響應,包括了直達聲和反射 (這裏的反射包括了早期反射和後期混響) 。我們可以將其理解成當聲源是一個脈衝信號 (比如拍手,發令槍發出的聲音等) 的時候,你聽到的聲音。正如我們前文所説,BRIR 與房間、聲源和聽者的位置有關。

圖二所示是一對在某個房間內真實測量的 30° 水平角的 BRIR,其中藍色和紅色線分別代表左耳和右耳的 BRIR。我們可以清晰的看到在時域中的直達聲、早期反射和後期混響部分。

圖二:一對真實測量的雙耳房間脈衝響應 (來源: University of Surrey, IoSR-Surrey數據庫)

那麼 BRIR 如何獲取呢?測量是一個真實並且準確的做法,尤其是對於現實增強 (AR) 的場景而言。但即使在不考慮個性化的情況下,在每個房間藉助人工頭來真實測量所有可能位置的 BRIR 都是不現實的。

另外 BRIR 的長度和房間的混響大小有很大關係,且實時卷積很長的 BRIR 需要耗費很大的算力。因此通常會使用合成的方法來模擬真實的 BRIR。

1)直達聲的合成

BRIR 的第一部分是直達聲的脈衝響應。直達聲的合成可以通過卷積聲源和頭部相關脈衝響應 (Head-related impulse response, HRIR) 來獲取。HRIR 是頭部相關函數 HRTF 的時域表達。

關於 HRTF 相信大家已經有所瞭解,它表示的是聲源到人耳的傳遞方程,但並不包含反射 (早期反射和後期混響) 部分。也就是説,如果只是用 HRTF 去渲染的一個聲源,我們所在的虛擬聽音場景是無反射的場景,類似消聲室,雪山頂等特殊場地。

圖三:直達聲部分渲染

圖三為直達聲部分的渲染鏈路,包括聲源朝向的渲染、隨距離改變的聲壓、空氣衰減的模擬,和一對指定方向的 HRTF 濾波。這裏的每一個模塊在之前的文章中都有介紹過 (歷史文章詳見文末拓展閲讀)

在實時音頻處理中,考慮到 HRIR 的長度,一般不會在時域上直接進行卷積,而是在頻域上通過快速傅里葉變化 (FFT) 進行。當聲源的位置發生改變時,就需要切換使用對應的 HRIR。為了防止切換 HRIR 時產生雜音,前一個和後一個的 HRIR 會進行類似淡入淡出操作。

如果 HRIR 對應的採樣點不是很密集,則需要在渲染時進行實時插值來獲取對應方位的 HRIR。當然也可以先進行離線插值直到足夠密集為止 (小於 Just noticeable difference) ,在實時渲染的時候就可以直接選擇離目標位置最近的 HRTF 來使用。

這樣一來可以減少實時插值帶來的算力,但需要存儲的 HRIR 的包體積會變大。因此需要在 HRIR 存儲體積和實時插值的算力間進行取捨。

2) 反射的合成

BRIR 的第二部分是早期反射的脈衝響應。早期反射對音色,聲源定位等有着很大的影響。由於早期反射比較稀疏,每個早期反射會被當作一個虛擬聲源。這些虛擬聲源的位置可以通過鏡面法、光線追蹤法或者數值求解等方法得到。

鏡面法是一種比較省算力且相對直觀的方法,但一般只適用於牆面光滑的情況,其無法模擬由於牆面不光滑引起的散射場景。光線追蹤法可以模擬反射和散射場景,但聲線方向以及數量的選擇需要做更為仔細的考慮。 在模擬低階早期反射時,算力會比鏡面反射要大。數值計算的精確度是最高的,但是其計算複雜度很高,適用於做線下模擬和仿真。

在實時計算早期反射的時候,考慮到算力問題,一般我們會精確計算 1-2 階早期反射。這裏的階數是指和牆面經過幾次碰撞,比如一階反射是指聲源和牆面經過一次碰撞到達人的耳朵。當這些早期反射的位置計算出來後,需要對每一個反射做和直達聲一樣的處理,包括反射聲源的朝向,和距離有關的聲壓和空氣衰減模擬,以及對應的 HRTF 濾波。

需要注意的是,由於每個反射到達人耳的時間不同,需要計算反射到達人耳相對於直達聲的延遲時間。如果按照嚴格的物理意義,直達聲也需要包括一段由聲源到達人耳的延遲。

假如在一個虛擬場景,聲源離聽者 100 米,那麼需要額外引入大概 291 毫秒的延遲。這樣處理的話,雖然符合了物理含義,但是額外增加了延遲,並且這段直達聲的延遲對空間感沒有任何幫助。因此反射的延遲只會考慮相對於直達聲到達人耳的延遲。

另外,由於反射聲源是經過牆壁的反射/散射造成的,需要模擬牆壁反射/散射造成的能量衰減。要真實的模擬這一個音效,就要知道牆面材料等房間信息。

圖四:早期反射的渲染

生成早期反射的大致流程由圖四所示。圖示是將每一個早期反射都進行了單獨處理,最後生成雙耳聲的時候,每一個反射都經過對應的 HRTF 濾波。另外一種方式是先合成早期反射的脈衝響應,當然長度會隨着房間增大而增大,但最後聲源只需要進行一次和早期反射脈衝響應的卷積。

3) 後期混響的合成

BRIR 的最後一部分是後期混響。需要注意的是所有的混響部分都可以像計算早期反射一樣進行計算,但是計算高階早期反射需要很大的算力,並且我們人耳對高階反射所在的位置不敏感,因此我們不需要精確的計算高階反射,也就是多級經過牆面反射/散射的聲波的具體位置。

通常情況下,我們可以用人工混響器來渲染生成後期混響。比較常見的人工混響器有:全通濾波器、反饋梳狀濾波器、全通濾波器和梳狀濾波器的組合濾波器等。在混響器中,反饋延遲網絡是一種比較常見也是性價比很高的實現方法。

4) 實時空間音頻渲染流程

圖五:雙耳聲渲染過程

整體的實時空間音頻渲染流程圖如圖五所示。要注意的是,其中每一個模塊都可以設計的很複雜,也可以很簡單。舉例來説,每一個房間都是形狀各異,但有時候為了簡化計算複雜度,會用一個簡單的長方體的房間模型來代替。空氣衰減的模擬可以用 FIR 濾波器來實現,但是在實際應用中,會用低階的 IIR 濾波器來逼近結果從而節省算力。

這當中的核心模塊如 HRTF 也是一直很熱門的研究話題。HRTF 是高度個性化的,如果使用了非個性化 HRTF,可能會出現定位不準確,前後混淆的現象。雖然真實測量的個性化 HRTF 準確度最高,但是在實際應用中,測量 HRTF 是不現實的。在實際應用中,基於耳朵照片的個性化HRTF預測或者個性化 HRTF 選擇會是一種更為合適的方式。

除了 HRTF 的個性化問題外,HRTF 在遠場 (一般來説聲源和聽者的距離大於 1 米) 時候,頻譜和距離無關。也就是説在同一個方向下,2 米的 HRTF 的頻譜和 3 米的 HRTF 頻譜是一樣的,只是幅度不一樣了。

然而 HRTF 在近場 (一般來説聲源和聽者的距離小於 1 米) 的時候,頻譜會隨着距離發生巨大變化。為了更加真實的渲染近場聲源的效果,需要用遠場 HRTF 通過外插的方法來合成近場 HRTF。

當音源不是一個對象,而是一個聲場或者是有大量的對象需要同時被渲染時候,上述的方法就不太適用了,可以用 Ambisonic 的方法進行實時渲染。

另外拋出一個問題, 假設我們正確地渲染了基於某個房間的空間音頻,我們就會有很好地沉浸式體驗了嗎? 我們會在之後的文章聊一聊如何使用 Ambisonic 的方法進行空間音頻的實時渲染以及關於空間音頻的主觀聽感,請大家持續關注 Dev for Dev 專欄。

拓展閲讀:

1、 3D 空間音效、空氣衰減模擬、人聲模糊,三大黑科技完美模擬現實聽覺

2、RTC科普丨空間音頻背後的原理

https://www.bilibili.com/video/BV13Y4y187z3

(正文完)

READING

近期好文

安全合規 SDK 教程 音頻的價值 軟件測試

軟件亂象 質量體系建設 聲網VQA

極狐 微軟 依圖 百度飛槳 數美

自動化測試 語音識別SDK 黑盒測試

關於 Dev for Dev

Dev for Dev 專欄全稱為 Developer for Developer,該專欄是聲網與 RTC 開發者社區共同發起的開發者互動創新實踐活動。

透過工程師視角的技術分享、交流碰撞、項目共建等多種形式,匯聚開發者的力量,挖掘和傳遞最具價值的技術內容和項目,全面釋放技術的創造力。

關注「聲網開發者」

關注實時互動領域的

技術實踐 行業洞察 人物觀點

☟☟