抖音智創語音團隊三維菁彩聲助力總檯中秋晚會沉浸式直播
Audio Vivid是自主智慧財產權的三維聲技術標準
2022年中央廣播電視總檯中秋晚會首次採用三維菁彩聲 (Audio Vivid)進行製作,通過“百城千屏”超高清公共大屏傳播體系進行播出。9月10日在廣場的大屏上觀看中秋晚會的市民,不僅可看到纖毫畢現的超高清影片,還可以戴上耳機通過“雲聽”客戶端收聽到與公共大屏超高清影片同步的三維聲版本的菁彩聲,感受中秋晚會現場的震撼效果。
三維菁彩聲 (Audio Vivid)是自主智慧財產權的三維聲技術標準,並以世界超高清影片產業聯盟(UWA)團體標準釋出。而總檯的中秋晚會是三維菁彩聲 (Audio Vivid)首次面向公眾提供服務。
沉浸式的空間音訊對比傳統的立體聲擁有更好的空間呈現效果,能精準地再現每個音源的位置和所處環境的空間資訊。空間音訊的帶來的沉浸式體驗已經在影視、音樂等場景有廣泛的應用,例如常見的全景聲、環繞聲等技術都是利用多個外接音箱裝置構成5.1, 7.1.4等音箱播放系統來實現空間音訊的回放。但昂貴的裝置和嚴苛的環境要求阻礙了大眾對空間音訊沉浸式體驗的追求。
抖音集團作為UWA成員深度參與了三維菁彩聲 (Audio Vivid)標準的制定和開發,旗下智慧創作語音團隊SAMI(Speech, Audio and Music Intelligence)貢獻並開源了一整套元資料系統和三維聲雙耳渲染引擎。讓聽眾帶上耳機就可以身臨其境地感受錄製現場震撼的三維聲場聽音感受。
雙耳渲染示意圖
如果結合裝置的頭部追蹤能力(比如耳機或者頭戴VR\AR裝置中的陀螺儀等)還可以實現聲場的跟隨旋轉,大幅提升臨場感。開啟空間音訊雙耳聲的渲染,音訊的空間感得到了體現。隨著頭動,聲音隨畫面在空間中的移動變化都能夠通過雙耳聲渲染引擎實時渲染,讓人有一種置身影院之中的感覺。
同時,三維聲雙耳渲染技術也可以應用在遊戲中,提高音訊的表現力,使遊戲中的虛擬世界的內容更加真實和震撼。
抖音智創語音團隊的三維聲雙耳渲染引擎支援環繞聲、FOA、HOA、基於物件等沉浸式音源格式的實時雙耳聲渲染。整個渲染引擎流程如下圖所示:
三維聲渲染引擎流程圖
利用元資料和音訊資訊,三維聲雙耳渲染引擎可以在移動端上實現同時最多128路物件的雙耳聲實時渲染,或者從1到7階的Ambisonic格式的渲染。
為了滿足直播、互動等場景低延遲、低功耗、高沉浸且統一的音訊渲染要求。三維聲雙耳渲染引擎通過一系列自主研發的沉浸式渲染演算法,對三維聲場進行精細的重構,並對雙耳聲還原模式做了一系列的效果和效能優化。讓原本需要多聲道的音箱系統才能體驗的三維空間感能用耳機就可以感受,三維沉浸式的空間音訊體驗從此不用再受硬體的限制。同時也期待更多的影視、音樂等作品能採用三維菁彩聲 (Audio Vivid)來製作,一起豐富沉浸式的音影片內容體驗。
版權所有,未經授權不得以任何形式轉載及使用,違者必究。
- LeCun:概率論無法實現真正AI,我們要退回原點重新開始
- Text-to-3D!建築學小哥自稱程式設計菜鳥,攢了個AI作畫三維版,還是彩色的
- 連你家電器的算力都不放過,新發現Linux惡意軟體用IoT裝置挖礦,大小僅376位元組
- Linux之父是個果粉:給自用M2 Mac裝上Fedora Linux,除了圖形加速和Chrome都搞定了
- 在百度搞發明的人
- 40系顯示卡首批7199元起!賽博朋克2077幀數x4,老黃:大部分畫素都是AI預測而非計算
- DeepMind用新AI超越自己:提速200倍,在所有雅達利遊戲上勝過人類
- 比標準Attention快197倍!Meta推出多頭注意力機制“九頭蛇”
- 可生成高清影片的Stable Diffusion來了!解析度提升4倍,超分演算法來自騰訊,支援Colab線上試玩
- 大規模顯示卡挖礦徹底涼涼,網友開香檳坐等價格崩盤,老黃連夜發40系預熱
- 小鵬打響特斯拉FSD對壘第一槍,城市路況AI開,目前僅限廣州
- 學術審稿潛規則被Science曝光:作者名氣越大,審稿人打分越高
- 7cm半機械蟑螂火了!極端環境也能做搜救工作,網友:我得嚇死
- 2022位元組跳動Byte Camp夏令營:53所高校學員雲端完成24個專案
- 理想總裁2天套現近1億上熱搜,網友:要跑?
- 抖音智創語音團隊三維菁彩聲助力總檯中秋晚會沉浸式直播
- iOS 16升級引熱議,網友吐槽鎖屏太花哨,潘粵明更新後一度登不上微信
- 扎克伯格把PyTorch捐了!已歸入Linux基金會
- 晚上多吃不一定會胖,Cell子刊最新研究顛覆減肥認知
- 誰是下一個丘成桐?產業界也開始關心這事兒了