端雲協同創新優化音視頻場景用户體驗

語言: CN / TW / HK

  //  

編者按:相信大家手機裏或者生活中都有大量字節產品線的應用,包括短視頻、直播、社交等一系列的音視頻應用場景,包括大量的音視頻應用產品。今天LiveVideoStackCon 2022 音視頻技術大會 上海站邀請到了火山引擎智能互動特效解決方案總監範青老師,為我們分享在字節內部業務線和外部企業服務線裏面,視頻雲產品和視覺特效算法融合的最佳實踐以及在業務的落地環節中,字節在這些方面發現的一些創新點以及技術積累。


文/範青

整理/LiveVideoStack


大家下午好,我是範青,我來自火山引擎的智能美化特效團隊,今天由我來代表我們組來給大家進行分享。



今天我分享的主題是《端雲協同創新優化音視頻場景用户體驗》。表面看上去音視頻場景、用户體驗這件事,與我們這個做特效的團隊不是那麼沾邊。那麼為什麼會由我來進行這個分享呢?接下來給大家分享一個我親身經歷。



1、分享親身經歷,引入話題

我們字節有To B企業服務的品牌,有時會把我們自己覺得用得還不錯的各種組件提供給我們的企業客户。企業客户比較多的比如與音視頻相關的,像短視頻、直播行業之類的、拍照工具等,經常有客户和我説:“是不是自己使用了你們的美顏功能之後,就可以跟和抖音一樣,有非常好的拍攝體驗,從而成為下一個抖音呢?”


我對這個問題思考了很長時間,最開始的時候大家可能都會覺得買個美顏就成抖音了這個想法有點奇怪。後來我仔細思考了客户的想法,他認為自己既然使用了服務,那自己是不是整個端到端的體驗就應該和我們對齊。


之後我發現,為什麼大家對美顏寄予了很高期望,是因為大家在進行抖音拍攝或者直播瀏覽的時候,發現畫質清晰度包括色彩、亮度等都很不錯。但是大家用的都是同樣的音視頻技術,為什麼它的色彩會更好、畫質會更清晰?為什麼加入這些之後,人就變得更精神了?


有不瞭解的同學或許會認為這個東西是美顏做的。抖音美顏很強,抖音加了美顏之後,它的畫質就變好了。因此他們會把這件事歸結於只要用了抖音的美顏,就可以和抖音拍攝的一樣好。


所以為了解決這個問題,我深入內部的業務線去討論我們到底在這個端到端的過程中做了哪些事情,使畫質、特效整個疊加起來有了一個更好的觀看和拍攝體驗。講完這些,大家應該就能明白為什麼由我來給大家分享這個用户體驗。


2、畫質測評報告



我們從一份畫質的測評報告開始闡述。畫質測評報告是我們內部的產品——剪映,和競品做對比。大家知道我們有非常多的音視頻產品,和相機相關的,和視頻相關的。例如直播工具有抖音直播、短視頻工具有抖音短視頻、拍攝工具有輕顏、圖片編輯工具有醒圖、視頻編輯工具有剪映等。所有以畫面為介質的產品,從生產到播放到消費整個流程,我們都有不同的模塊和不同的產品。


作為一個視頻產品,我們編輯頁和拍攝頁有一個五邊形的維度,包括畫質、亮度、色彩等都進行了一些評估。之後以結果來主導我們每一次產品的優化和迭代,包括拍攝的優化迭代和編輯的優化迭代。


該競品和剪映相比,在iOS端導出視頻和Android端導出視頻,在五角邊圖上有一個不同的得分,可以看到藍色的部分是剪映的得分,橙色的部分是某個競品的得分。推理得出兩個結論:一是iOS端視頻軟件M偽項表現不如剪映,存在色塊和過鋭的問題;二是Android端剪映支持2K/4K的導出,但是視頻軟件M不支持導致清晰度明顯不如剪映。


接下來是我們自己內部對於整個圖像的一個看法,從這個圖像的領域來看,我們的五邊圖由五部分組成:分辨率、位深、亮度、幀率和色域,這五個概念導致人眼在觀看視頻,無論是拍攝的時候,還是在看成片的時候,有不一樣的感官體驗。接來下我們分別從各個維度來細説。


第一個是分辨率,代表圖像細節的精細程度。分辨率指的是圖像中的像素數量,在特定屏幕的尺寸下,分辨率越高,像素越多,顯示細節更精細。例如手機大多都支持看4K視頻,但是之前手機像素如果不支持高分辨率,即使有4K/8Ks視頻,也無法觀看。因此清晰度是人眼第一個感官,視頻的好壞程度與清晰度有着很大的關係。


第二個是位深,指的是色彩漸變的精細程度,位深的程度越大,可顯示的顏色越多,漸變會更平滑自然。人眼在觀察這個世界的時候,對每一個顏色的漸變非常敏鋭。當我們覺得看到顏色覺得很舒服的時候,就是因為這個顏色漸變色很自然的。當我們看到一些照相機拍下來的圖像,有時候會覺得配色很奇怪,就是因為它的漸變色不充足。有個笑話説五彩斑斕的黑實際上就是即使只有一種顏色,它也有很多的表達形式。當我們在看天邊的彩霞的時候,會發現自己看到的和拍出來的差別很大,是因為手機的顯示的像素包括位深和人眼感受到的是不一樣的。因此,如果軟件支持更高的位深,那麼它顯示的圖片會更柔和,漸變更自然。


第三個是幀速率,也就是運動的平滑速度。比如直播,如果幀速率低於15FPS以下,視頻就明顯有卡頓感。當達到了24幀率及以上時,視頻會相對流暢。例如電視節目使用30FPS,高幀電影使用60FPS,就會讓我們感覺動作和動作之間的銜接很自然的。幀率越小,動作越卡頓。

第四個是色域,是色彩的生動程度,指的是可以顯色的所有顏色的範圍。範圍越廣,視頻越可以還原人眼感知的真實的RGB值的範圍,相當於我們人眼能夠感受到的顏色的種類。在這種情況下,如果我們看到的顏色種類較少,圖像也會不自然。


最後一個是亮度,指的是圖像照明強度的範圍。比如HDR用來提升亮度,使人擁有更好的一個感官,更接近裸眼的感知。


我們的產品為了提升真正的用户的體驗,就是在這個五個方向不斷努力。包括自適應鋭化、HDR、SDR、防抖、降噪等都是為了去提升人眼的感官,去還原人眼看到的更真實自然的觸感。



剛才有提到測試報告,那測試報告是如何產生的呢?首先,我們有主觀測評和客觀測評。主觀評測流程分為專家測評、專業小組測評、用户眾測、上線AB 實驗。也可以由我們的眾測平台去進行任務分發。上線AB實驗之後,會觀察效果,如果正向顯著,我們就會逐步放量;如果正向不顯著,我們會重新打磨,再考慮是否上線,最終開放全量。


整個流程得益於內部數據平台,幾乎我們所有的內部平台都會和數據AB test平台打通。例如做特效的平台和AB test平台就有非常大的關係,即使是一個小小的美顏上線之前也會做一個全量AB test。比如説我們會先小部分測試某區域女性用户對這個事情的一個感官,然後再去測用户屬性,最後將對照組和實驗組進行感官。所以字節會在每一個環節裏,即使是很小的功能都會進行AB test。


主觀方向的專家有來自於這個手機廠商,硬件廠商,或是視頻類公司;專業測評小組會有考核體系,比如GSB(good、same、bad)或別的輔助測評工具色卡、刻度尺等幫助對顏色不太敏感的部分人羣,去對比是否還原了真實色調。用户眾測以及主觀測評方面,我們擁有一個200多平米的大實驗室,有光照和測量的儀器,去幫助用户體驗數碼圖片。


在客觀方向,我們有24色卡分析、防抖客觀工具、常用工具集。提升評測效率方面有燈源自動控制,拍攝文件自動重命名,主觀效果客觀化的一些模型打分。


因此在對待畫質的每一方面,我們都非常認真的去對待,希望用户在最後使用時能對這個產品有更好的認同度。



3、畫質優化的價值



那麼我們在畫質方面做的努力對用户有什麼真實收益呢?這也是我們AB test中的一個小實驗,從清晰度這個小的維度出發。實驗組去掉了1080P和720P的視頻放出,對照組保留1080P和720P,對比發現了清晰度更低的一組用户播放時長損失了0.47%。0.47%表面看起來不高,但實際上關係着後續的播放、留存、商業化等諸多因素,到最後可能關係到幾個億的小生意。在這樣的一個AB test下,它被標註是一個紅圈,是一個顯著的表達。在這個變量下,造成了很大的用户影響。


4、手機端全流程圖像體驗升級



剛才提到很多“好”是什麼,那麼我們怎麼才能做到“好”,在內部的流程會略顯複雜。這件事就是通過端雲共同完成的,只有雲不行,只有端也不行,那雲和端分別有什麼作用呢?現在有生產端、服務端、消費端,在不同的業務裏分別代表不同的方面。比如説在直播業務裏生產端就代表着直播的軟件,例如抖音或直播助手等。服務端指的是雲上的這些服務器比如轉碼、分發。


在這樣的不同的端我們有不同的模塊組件做不同的工作。最一開始的東西叫做VE_SDK,它有什麼用呢?包括Camera採集、編解解碼參數和算法增強。例如一個視頻,最重要就是在採集時就要採集優良的視頻,否則後期再如何加工,都屬於二次加工。那在採集時,採集參數會影響畫質的質量。玩攝影的小夥伴可能會了解到ISO和白平衡這兩個概念,它們在使用接口時就已經可以配置了。之前有一個客户認為抖音通過加入一個高級算法使畫面更加鮮豔,其實就是採集視頻時,調了一點亮度和白平衡,不是AI算法。


VE_SDK這個模塊的camera採集,抖音在這裏做了一些工作。大家都知道蘋果手機品控穩定,但是安卓產品的攝像頭比較多樣、很難統一。那麼做這個大量的適配工作有沒有意義呢?是有意義的,每個攝像頭如果你都給他去設定不同的參數時,大概率是會對這個畫面是更好的。那做這樣的一件事情,其實是很耗費人力的,需要有一個系統化的機制去控制整個流程。所以適配工作非常有用,雖然有點繁瑣。我知道國內的安卓廠商,現在心態越來越開放,例如OPPO就開放了一些底層的相機接口,將防抖、HDR等供給了第三方開發者。我們會發現高級相機拍出來的畫質,以及防抖效果非常好。可能這一類的廠商近兩年會以一個更開放的心態,把這些底層的接口供給第三方廠商使用。內部產品其實原來有和一些第三方廠商合作,廠商會提供一些特殊的採集SDK,這樣我們就擁有和系統相機一樣的畫質權限,很大幅度的提升了拍照預覽的情況。


採集到的視頻,調好白平衡、曝光、亮度,以及加入算法、夜景、防抖之後我們會進行第二步——effect_SDK模塊。在特效裏邊可能有非常多的類型,比如美顏濾鏡和常見的包括2D、3D、互動、AR,大場景、商品試穿試戴之類的。裏邊包括的AI算法、渲染引擎、新的玩法,國外做的最好的就是Snapchat ,國內做的不錯的可能就是抖音和快手。通過做這些東西,用户增強了拍攝體驗,可以更快的產生UGC內容,使DAU觀看率更高。堅持拍視頻,留存也會更高了。因此,使用一些特效或一些互動玩法促進用户開播,促進用户變成生產者,是提升產品DAU和提升產品留存一個非常有效的手段。


話説回來,那這個部分我們做了什麼?我們要做到的就是減少損害更多的畫質。比如説美顏的濾鏡、磨皮都會損害畫質,因為磨皮在使臉上的瑕疵顯得更平滑的同時把一些其他的邊緣細節也掩蓋了邊緣細節比如皮膚的肌理等。在這種情況下,特效除了好玩和好看之外,還有一個重要任務就是要保證畫質不受到更多的損害。尤其是相機廠商對此事非常敏感,有的用户為了更真實的拍照體驗不惜花費重金,最後效果如果被美顏功能擾亂了,那用户必然不會買單。所以,特效美顏的重要任務就是減少畫質損害。那算法增強是什麼?算法增強就是剛才提到的如超分鋭化之類的,在這個環節已經可以開始佈局了。


VE_SDK 和Effect_SDK這兩個模塊在字節內部是有一些中間模塊使其連接的,在這裏不做詳細介紹。在端上生產端做了這兩件事情之後,我們來到雲端服務器端。服務器有什麼?有編解碼算法、圖像增強算法、視頻參數等。比如配置碼率,配置幀率,不同地區的距離、CDN分發之類的東西,在畫面在無損的情況下,壓縮的越多,越節省帶寬。


我們有一個圖片的服務可以使圖片壓縮80%、節省帶寬80%的情況下,達到畫質無損,可以降低運營成本。所以無損畫質的極致壓縮也是一個很重要的環節。到了分發端,我們有轉碼策略、下發策略和播放策略。端上的播放器也很重要,編碼之後,當然需要解碼。


生產端播放視頻的播放器要有相應的配備。以及消費端在觀看的時候需要做HDR或超分。觀看視頻時,如果視頻沒有拍好,但是分發時在端上又做了一些別的工作,極有可能會節省了雲端的帶寬。把何種功能放在端上或是雲端上是由不斷的實驗得出來的。有些模型很大,甚至不能把放在端上,但是它的效果又特別好,這時候我們就會做一個比較。比如説一個效果優先,一個性能優先,需要性能優先的就會進行更極致的壓縮即使損害了一些效果,這些大概率都是要做實時的。舉一個最簡單的例子,美顏可以做在雲端,那為什麼不把它放在雲端呢?是因為美顏需要達到用户實時預覽的效果,如果放在雲端就不能達到用户實時預覽了,因此一定要放在端上。例如人臉算法的極致壓縮,我們做了一些在端上推理加速的引擎,都是為了能讓用户實時體驗。


很注重效果的東西一定要放在雲端,舉一個簡單的例子。老視頻是存量視頻,老視頻修復是為了視頻有極致的體驗,此時擁有實時體驗效果就不是最重要的。視頻之前是720P的,為了達到4K,要進行畫質修復和分辨率提升,那一定是效果最重要,所以這個要放在雲端。因此,平衡效果和平衡性能決定了功能放在雲上還是端上。


5、生產端-畫質相關



接下來我們看看實際應用效果。首先我們做了視頻超分,即在不損失畫質的前提下要提升像素。比如一個1080P的視頻,為了能在4K的顯示屏上去看,它被拉大了。如果用傳統的插值算法去進行拉伸的話,畫面邊緣會有很多馬賽克。但是如果採用智能的超分算法,就可以使畫面邊緣更加平滑,觀看體驗更好。


那抖音是怎麼做的呢?首先它使用了這個超分的效果在觀看端落地。比如主播拍了720P的視頻,用户在端上觀看的時候選擇1080P。在效果上就是用户看到了清晰度更高的視頻,也節省了一部分帶寬。那如果原視頻想使用1080P呢,那就得錄視頻時就採用1080P,這是某種意義上的窄帶高清。


還有一個更重要的前提就是如果選擇在端上做,一定要保持足夠的覆蓋率。大家都知道,安卓的下沉市場很多,一千五百塊錢左右的機型比大家想象中的更多。我們平常用旗艦機大概兩三千塊錢很正常,iPhone也就五六千塊錢,但實際上真正的星辰大海是在安卓機的下沉市場。在這樣的情況下,要達到一個非常高的覆蓋率很難。現在主流的芯片可能就是MTK和高通,包括高通450這些下沉機型,我們也會努力去覆蓋。目前這些算法可以覆蓋到高通660以上的機型,iOS可以覆蓋到iPhone7及以上的機型,這個範圍是我們認為一個算法能在端上給這個主端帶來更大收益的一個算法。


那下一步是什麼?是更下沉的安卓機,或是其他設備。比如車機、智能的IOT設備更是星辰大海,所以我們要做更好的適配。包括新型的NPU,把一些耗費CPU的算法移植到NPU上,讓更大的模型、更好的效果在這樣的一個新的硬件設備上發光發熱。



第二塊還是之前提到的VE_SDK部分,VE_SDK或者Effect _SDK研發HDR,使畫面更亮。當然如果從採集的時候,事先調好合適的曝光也能達成這種效果。那它解決了什麼問題呢?它解決的是視頻內容裏的欠曝、過曝和偏色問題。偏色是由白平衡造成,有可能白平衡沒調好。白平衡是它和白的對比度,如果白不是真正的白,那麼其他的顏色也不是真正的其他顏色。當你通過對HDR的一些校正還原了真正的白色,就可以使這個畫面就變得更好。現在我們將HDR應用在了抖音主站的編輯上,就是打開抖音編輯裏有這樣的一個算法。現在在iPhone7可以達到一幀五毫秒的速度。補充一個小的tips,什麼樣才叫實時處理呢?一幀大概要處理多長時間才能讓30FPS滿足呢?答案是33毫秒,在三十多毫秒內所有的效果,包括什麼編解碼、渲染、畫質增強等。如果30多毫秒處理不完,那就無法達到30FPS,所以這種算法必須是個位數。



下一個算法是視頻降噪,降噪是在手機端針對不同的攝像頭、不同噪聲結果的視頻生成的噪點,對噪點和細節進行平衡。在種情況下,噪點降低會使畫面更糊,其他清晰的地方就會受到影響。就如這些邊角都需要有一個清晰的邊界,如果噪點降低,它就會變得有點模糊,分界線就不清晰了。所以噪點某種意義上代表着鋭化程度,有的時候想讓夜色更清晰一點,開了很高的鋭化,實際上會發現噪點就多了,這是一個平衡的狀態。


針對這種情況,我們做了視頻智能降噪,即使在夜晚也有更好的降噪體驗。例如直播行業,有些主播在直播時,周圍環境較暗時,會選擇開一盞燈,在兩側打光或加一個背光使亮度更加明顯的,畫質更加清晰。是否打光關係到室內亮度,室內特別亮時,畫面就會更好。正常人的眼睛在黑暗中適應一段時間之後就能看清楚,但是攝像機不同,攝像機只能記錄當時的場景,暗度越低,攝像機就越吸收越少的光,圖片就顯得越不清楚。所以補光很重要,視頻降噪功能通過觀察噪點的位置消除噪點,而且在夜晚,顯示畫面的質量會更高。


剛才提到的算法不會疊加到一起,一定會有適配功能。比如説到了夜晚,手機自動開啟HDR。如果環境不是很黑,功能就不會打開。那這些下發策略,其實剛才説到的系統架構,就是對不同的地區和時間,對不同機型的承載能力,都會有一些更好的表現。


6、播放端-畫質相關


畫質這裏要提到的是播放端的鋭化。我們可以看到有這樣的效果,能讓拍攝端、編輯端有更好的觀感體驗。鋭化不能提升分辨率,只是讓我們的感官有更好的效果。



接下來介紹插幀算法,插幀是運動的順滑程度,是通過幀率來實現的。經過了插幀之後,畫面會更加流暢。插幀有非常多的用處,除了在幀率低的短視頻下進行一個修復之外,還有比如説慢動作防止卡頓。手機可以拍慢動作,但是一般相機不可以,是因為可能會形成卡頓。兩秒鐘視頻在視頻編輯軟件里拉到八秒鐘之後,視頻就會變得卡頓,有PPT即視感。做了插幀之後,就能讓畫面更為順滑。


剛才提到的分別是一些離散的部分,將其串起來能變成一個端到端進行服務體驗提升的流程。字節跳動提供了一整套智能終端畫質增強方案,包括智能分析和畫質增強,包括拍攝控制、畫質增強和自動美化等,裏面每一個小模塊都可以自行管理。


7、生產端-特色功能



圖像分割算法在短視頻、直播、視頻會議都有應用,展開之後又有很多細節和不一樣的地方,有不一樣的效果和不一樣的性能,每一個細節都是非常多的工作才能做成的,包括端上的一些美化,特效,拍創作等。



針對不一樣的地區,我們的美顏、特效都做了非常多的工作,讓這個地區更喜歡我們的玩法。不止是短視頻直播場景,我們在健身、電商等都有相應的方案。



在端上,除了畫面上的功能,我們在音質處理上也做了一些努力。圖像有自己的評價標準,視頻音量也有,關於聲音方面的也有噪聲、不清晰、失真、聲音小等問題。




我們通過做了一些工作優化這些方面,包括端上的玩法,比如K歌的玩法、打分、歌詞對齊等都做了一些小組件。包括聲音延遲,抖音共同觀看功能需要兩邊同時看,如果我這邊播放到第三秒他那邊第五秒就會很奇怪。


8、如何保證端到端的體驗



字節音視頻服務裏有云服務,有客户端套件,有應用場景。在線音視頻、社交娛樂、遊戲互動、在線教育裏都有各自的一些不同的應用,客户端套件以及之前提到的端到端套件,也可以對外提供技術服務。我們都有自己的Demo、場景化Demo、以及各種各樣的服務配套。


我所在的AI組做的功能也非常多,也擁有自己的生態,外部的設計師、內部的設計師加起來共幾萬個人。商城上面有7萬個貼紙,現在一個星期我們生產1000個貼紙,使所有的東西都最具有時效性,讓大家在最低的成本下得到這個新的效果。


今天的分享到這裏就結束了,謝謝大家。




▼識別 二維碼或猛戳下圖訂閲課程

 



掃描圖中 二維碼 或點擊 閲讀原文
瞭解大會更多信息

喜歡我們的內容就點個“在看”吧!

本文分享自微信公眾號 - LiveVideoStack(livevideostack)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閲讀的你也加入,一起分享。