課程回顧|以智能之力,加速媒體生產全自動進程

語言: CN / TW / HK

本文內容整理自「智能媒體生產」系列課程第二講:視頻AI與智能生產製作,由阿里雲智能視頻雲高級技術專家分享視頻AI原理,AI輔助媒體生產,音視頻智能化能力和底層原理,以及如何利用阿里雲現有資源使用音視頻AI能力。課程回放見文末。

01 算法演進:視頻AI原理

在媒體生產的全生命週期中,AI算法輔助提升內容生產製作效率,為創作保駕護航。

智能生產全鏈路

智能生產全鏈路可分為五大部分。傳統的媒體生產包含採集、編輯、存儲、管理和分發五個流程,隨着人工智能技術的興起,五大流程涉及到越來越多的機器參與,其中最主要的便是AI技術的應用。以下舉例説明:

l 採集

在攝像機拍攝時同步進行綠幕摳圖,這在演播室或者影視製作場景中是比較常見的。

l 編輯

編輯過程運用到很多技術,比如橫轉豎、提取封面、疊加字幕等,同時這些字幕還可以通過語音識別的方式提取出來再疊加在畫面上。

l 存儲

視頻在採集和編輯之後,需要存儲下來進行結構化分析,像智能標籤就是運用在存儲場景,從視頻中提取出相應的標籤,進行結構化的存儲,並把視頻庫中的視頻進行結構化關聯。

l 管理

存儲下來的視頻如何管理?如何通過關鍵詞檢索到對應的視頻?在管理環節,AI可以幫助進行多模態的檢索,比如人物搜索等。

l 分發

在存儲和管理之後,視頻分發也運用到AI技術,比如音視頻DNA、溯源水印等版權保護應用。如果通過直播流的方式對廣大用户進行直播,那麼分發環節還會涉及到直播審核,以免出現直播故障。

圖片1.png

基於智能生產全鏈路,媒體AI全景圖應運而生,共分為四個層次:

最上面的層次表達媒體生產的應用場景,包含智能媒資管理、內容智能生產以及視頻版權保護。

往下是產品能力,即AI組合達成的能力,比如視頻分類、智能封面、智能摳圖等。

再往下是AI原子能力,比如語音識別、自然語言處理這些底層的AI能力。

最下是支撐AI能力的基礎底座,如編解碼和GPU加速等。以上組合起來,生成一張AI運用在智能生產中的全景圖。

圖片 2.png

視頻AI原理

視頻AI的底層原理究竟是什麼?

人工智能發源於機器學習,而機器學習最早只是一種統計手段,像決策樹、支持向量機、隨機森林等各種數學方法。

隨着時代發展,科學家提出一種人工神經網絡的計算方法,或者説算法,後來發現人工神經網絡可以變得更大、層次變得更深,經過進一步探索發展,在二十多年前提出了深度學習的觀點和概念。

所謂深度學習,就是在原先的人工神經網絡上,把中間的層次(我們稱之為隱含層)擴展成兩個層次、三個層次,甚至發展到現在的幾十個層次,即可得到更多的輸入層和輸出層節點。

當神經網絡變得更大、更深的時候,機器學習就演化成深度學習,也就是我們現在俗稱的AI。

隨之而來產生一個問題:如何將AI運用到視頻和圖像中?

假如有一個1080P的視頻,視頻大小為1920✖1080,此時一張圖像上就存在百萬個像素。如果把百萬個像素點都放入神經網絡中,會產生巨大的計算量,遠遠超出常規計算機所能達到的上限。

因此,在把圖像放入神經網絡前需要進行處理,研究人員提出了卷積神經網絡,而這也是現在所有圖像和視頻AI的基礎

圖片3.png

在卷積神經網絡的標準模型中,圖像進入神經網絡之前需要進行兩步操作:

第一步是卷積層。所謂卷積就是拿一個卷積核(可以簡單理解為一個矩陣)和原始圖像的每一個卷積核大小的矩陣進行矩陣層的操作,最後得到一個特徵圖像。由於有多個卷積核,所以一張圖片可以提取出多個特徵圖像。

特徵圖像直接放入神經網絡還是太大,因此,需要進行第二步池化層操作,池化層的作用就是下采樣,可採取多種方式,比如把方格中的最大值、平均值或者加權平均值作為最終輸出值,形成下采樣數據。

在上述例子中,一張圖像的大小降低為原先的四分之一,輸入到神經網絡之後,極大降低了原始數據量,即可進行圖像神經網絡處理。由此可見,用通俗的話來講,視頻或圖像的AI模型必須是由大數據喂出來的

大數據天然地長在雲上,雲和AI天然的結合,可以使AI在雲上得到較好的發展與運用。

瞭解視頻AI原理之後,如何反過來評價AI的效果?

以典型的分類問題舉例,假如有100個視頻,需要找出其中出現過人的視頻,那麼有兩個指標可以評價AI模型的好壞:一個是精度,另一個是召回率

所謂的精度是指,假設AI算法最終找出50個視頻,但是檢查之後發現,其中只有40個是真正有人的,那麼精度計算為40➗50=0.8。

召回率是指,假設這100個視頻中真正有人的一共有80個,而AI找出了其中40個,那麼召回率計算為0.5。

可以發現,精度和召回率是一對矛盾。假如想提高精度,只要找出來的視頻少一點,就可以保證每個找出來的視頻都是對的,即精度上升,但此時召回率一定會下降。

現階段的AI並不完美,也就是説,目前AI還只能輔助視頻生產,生產視頻的主體還是人。

AI輔助生產

AI輔助生產可以由以下兩個示例進行説明。

示例一:通過圖片搜索相關圖片或視頻。Demo顯示,輸入一張周星馳的圖片後,機器雖然不認識這是誰,但是能夠從圖片中提取此人的外貌特徵,然後在視頻庫裏做相應搜索,找出一堆包含周星馳的視頻。

圖片 4.png

示例二:智能橫轉豎。傳統電影和電視劇均為橫屏播放,隨着移動互聯網興起,這些電影和電視劇需要在手機端進行投放,由此誕生了智能橫轉豎這樣的AI算法,將大量的橫屏視頻轉換成豎屏視頻,幫助橫屏視頻在手機端分發。

圖片 5.png

電視劇橫轉豎效果

圖片 6.png

新聞橫轉豎效果

02 智能進階:視頻內容理解

智能標籤

智能標籤基於AI對於視頻內容的理解,自動提取視頻中的標籤、關鍵詞等信息,分析詳情會展示為四部分:

第一部分是視頻標籤,獲取視頻的類目,視頻出現過哪些人物,人物出現的時間點以及在視頻中的位置,人物的相似度等。

第二部分是文本標籤,會提煉出一些關鍵詞,包括視頻文本中出現過的組織機構,比如央視等。

後面兩部分為文字識別語音識別,分別通過圖片OCR技術和語音雲識別技術實現。

具體示例可在AI體驗館中進行體驗,同時,也提供API接入文檔進行參考。

體驗中心:https://retina.aliyun.com/#/Label

API接入文檔:https://help.aliyun.com/document_detail/163485.html

AI是如何從視頻中提取出信息的呢?從視頻標籤的流程圖中可以看到,輸入一個視頻,分別進行兩部分操作:

一部分是對視頻做抽幀處理,抽幀得到的圖像通過人像識別、場景識別、物體識別、地標識別、OCR等圖像AI識別模型,提煉出視頻標籤。

另一部分是把視頻中的音頻提取出來,然後通過ASR得到文本結果,最後再經過NLP(自然語言處理),提取出文本標籤。

圖片 7.png

智能審核

視頻審核的技術原理與視頻標籤相同,唯一不同的是,視頻標籤可以理解為一個正向的視頻內容理解,而視頻審核是負向的,審核需要識別出一些不合規的、有問題的內容,比如鑑黃、暴恐涉政、違規、二維碼、不良場景等信息。

圖片8.png

視頻檢索

視頻檢索的核心技術點是利用標籤結果進行視頻的分析和查詢

視頻檢索架構圖顯示,媒資系統中的視頻通過媒資特徵入庫模塊,導入到智能標籤分析中,並得到一系列的標籤,包括視頻標籤、文本標籤,原始的ASR、OCR結果等,將這些結果連同視頻的元數據信息比如標題、描述等,利用ElasticSearch開源服務進行文本信息的倒排索引和查詢。

視頻檢索過程中會涉及到精排模塊,這需要由業務層來實現。如果只是從ES中把符合檢索條件的結果提取出來,不一定能滿足業務層需求,比方説業務層面對政治新聞場景時,會要求把某些人物的搜索結果更靠前排序,而這就是精排模塊所需要做的工作。

檢索系統一般都會根據業務層排序,接入業務接口模塊,由此一個基本的檢索系統搭建完成。但是,現在的檢索系統只能按照文本檢索視頻。如何通過一張圖片,檢索到相似的圖片或視頻呢?

這涉及到視頻DNA檢索技術。所謂的視頻DNA,就是把視頻裏面的關鍵幀或者某一鏡頭提煉出關鍵信息,我們把它稱之為DNA,並把這些信息放入向量數據庫中進行檢索,更多內容可通過體驗中心和接入文檔進行拓展瞭解。

體驗中心:https://retina.aliyun.com/#/DNA

API接入文檔:https://help.aliyun.com/document_detail/93553.html

圖片 9.png

03 能力升級:音視頻智能處理

基於視頻內容理解,如何對視頻進行智能處理?

綠幕摳圖

綠幕摳圖是在視頻拍攝或者採集時,把背景替換成電腦製作的畫面。在演播室場景中,實際拍攝時根據需求,在主持人的背後放置綠幕背景或者藍幕背景。

影視製作場景同樣運用到綠幕摳圖,比如科幻片中無法實景拍攝的部分,會在後期進行背景疊加或其他處理工作,通過在人物背後放置綠幕的方式,把人物主體提取出來。

綠幕摳圖要求輸入的是藍幕或者綠幕視頻,分辨率不超過4K,同時輸入一張背景圖片,即可輸出替換背景後的視頻。以下為示例説明:一個人從綠幕前走過,替換背景後,變成此人在背景前走路,整體效果非常自然。

圖片 10.png

視頻鏈接:https://v.youku.com/v_show/id_XNTk0MDc4Mjc3Mg==.html

圖片 11.png

視頻鏈接: https://v.youku.com/v_show/id_XNTk0MDc4Mjc5Ng==.html

如何評價綠幕摳圖的質量?首先要處理好邊緣溢色,比如在頭髮邊緣,由於原始的圖像背景是綠幕,頭髮縫邊緣必然會染上一些綠色,技術上需要把這些邊緣溢色擦除掉。

此外,如何真實地呈現透明度,併疊加背後的內容,還有運動模糊,地面陰影等,均是綠幕摳圖質量好壞的評價點

橫轉豎

橫轉豎是在移動互聯網上分發視頻的必備處理手段。

傳統人工製作橫轉豎視頻的難點在於:一,需要專業的剪輯軟件和製作人員,成本高,速度慢;二,在目標移動比較快的場景中,需要逐幀剪裁,工作量巨大;三,剪裁目標區域後,前後幀難以對齊。因此,橫轉豎視頻更適合由機器製作實現。

智能橫轉豎的算法流程是:首先對視頻進行鏡頭分割,所謂的鏡頭分割就是在視頻製作中,按照不同拍攝機位的轉變,識別鏡頭的切換,並把不同鏡頭分割開來。

圖片 12.png

視頻鏈接:https://v.youku.com/v_show/id_XNTk0MDg4MjA0NA==.html

其次是主體選擇,在主體選擇時,一般選擇畫面中最醒目的人作為目標,在上述舞蹈場景中,主體就是這個正在跳舞的人。

然後是鏡頭追蹤,每幀圖像做好初期選擇之後,下一幀都要跟隨目標,即框定的圖像跟隨這個人進行移動。

最後是路徑平滑,鏡頭追蹤完成之後,最終生成的豎屏視頻必須是平滑的,不能出現翹邊等不良效果。更多內容可參見官網:

體驗中心:https://retina.aliyun.com/#/H2V

API接入文檔:https://help.aliyun.com/document_detail/169896.html

其他視頻智能處理能力

目前,阿里雲視頻雲提供的視頻智能處理能力,可分為以下四類:

  1. ROI提取,即感興趣區域提取,包括綠幕摳圖和橫轉豎;

  2. 智能擦除,比如去圖標、去字幕;

  3. 關鍵信息提煉,比如智能封面,即從視頻中提取出最能表現視頻的一張圖片;視頻摘要,提取出視頻中最能表現視頻的簡短視頻;

  4. 結構化分析,比如字幕提取,把嵌入在圖像中的字幕自動提取出來;PPT拆條,可以將一個課程視頻自動拆成段落。

圖片 13.png

講完視頻智能處理能力,接下來介紹兩項音頻智能處理能力:副歌識別和節奏檢測。

副歌識別

副歌是指歌曲中的高潮片段。副歌識別有何應用場景?比如,很多音樂APP的試聽功能,會直接播放歌曲中的高潮片段,人為進行提取相當麻煩,而副歌識別就能很好地完成任務。

副歌識別的算法流程為:輸入歌曲之後,首先進行音樂段落檢測,然後提取副歌段落,並進行精調使之更貼合,最後再生成副歌片段。

圖片 14.png

副歌識別的示例顯示,通過調用之後,算法會返回兩個結果值,即副歌的開始時間點和結束時間點。

圖片 15.png

大家可以對返回的結果和音頻進行對照,從72秒副歌開始,到102秒副歌結束,副歌識別結果還是非常準確的。

節奏檢測

節奏檢測即識別音樂中的節奏點,其主要應用場景為視頻製作音樂推薦,比如,通過識別出音樂節奏點,進行鬼畜視頻的製作;通過識別音樂的節拍類型,是四三拍還是四四拍,幫助進行音樂分類等。

繼續以上述音頻示例,節奏檢測算法輸出兩個結果:第一個是節拍時間點,如0.46秒、0.96秒均為節拍時間點;第二個是downbeat時間點,在樂理中解釋為重拍,其中0.46秒為第一拍,2.46秒為第五拍,也就是説每四拍為一個小節,每小節的第一拍為重拍,由此檢測出該音樂的節奏。

圖片 16.png

其他音頻智能處理能力

此外,視頻雲還提供其他音頻智能處理能力,包括混音ASR語音識別TTS語音合成。混音即把兩個音樂片段進行疊加,其中涉及到音量增益和自動控制算法。

這些能力進行組合,還可以實現更多玩法,比如歌曲串燒,首先通過副歌識別,把幾首歌曲的副歌部分提取出來,然後進行節奏檢測,把合適的節拍點合在一起,最終組合成一首完整的歌曲串燒。

04 開箱即用:阿里雲媒資服務

基於視頻AI原理以及效果,阿里雲利用現有資源,提供更方便、更高效的音視頻AI使用能力。

MPS服務

MPS是媒體處理的英文簡稱。阿里雲提供針對多媒體的數據處理服務,將媒體處理過程抽象成兩種模式:一種是輸入音視頻等多媒體文件,經過智能化媒體處理,生成一個新的媒體文件,比如之前提到的智能橫轉豎。

另一種模式是輸入一個媒體文件,輸出經過媒體處理分析後的一系列結構化數據,比如智能標籤或智能審核。

MPS支持多項音視頻智能處理能力,此外,MPS的媒體文件類型,既可以輸入OSS文件,也支持輸入網絡URL地址。

圖片17.png

MPS接口調用的流程為:

第一步,開通MPS產品,在開通的過程中,控制枱會引導進行增加權限等相關操作。

開通MPS產品:https://www.aliyun.com/product/mts

第二步,調用MPS的Open API接口,獲得Access Key,包括AK的ID和密鑰。所有阿里雲的Open API都要通過AK和SK訪問。

使用RAM服務獲取AccessKey:https://ram.console.aliyun.com/manage/ak

第三步,認真閲讀MPS提供的API文檔:https://help.aliyun.com/document_detail/29210.html

第四步,針對開發需要,選用不同編程語言,並安裝依賴模塊:https://help.aliyun.com/document_detail/188024.html

第五步,編寫代碼。

阿里雲MPS服務提供的智能化能力可以分為四個維度:

一是視頻內容理解,包含智能標籤,智能審核,媒體DNA,媒體DNA是視頻檢索中的重要組成部分,還有智能封面、視頻摘要等。

二是視頻智能處理,像橫轉豎、去圖標、去字幕、字幕提取等,從電視劇或電影中抽取出字幕,並輸出TXT或者SRT格式,此外,也包括綠幕摳圖和PPT拆條等。

三是音頻智能處理,包含副歌檢測、混音處理、節奏檢測和音質檢測等。

四是圖片智能處理,包含橫轉豎、去圖標和人像風格化。人像風格化可以把一張人像圖片風格化成不同的形式,比如把人像進行卡通化,或者進行3D處理。

圖片 18.png

IMS服務

IMS服務是阿里雲近年來新上的服務,全稱是智能媒體服務,和MPS服務的區別在於:

IMS服務圍繞直播和點播場景,是針對媒體處理的全流程服務,可認為是MPS服務的重大產品迭代和升級。

第一,IMS不僅針對於單個媒體處理過程,而是對於媒體服務全流程、全生產週期的管理和製作;

第二,IMS的集成度更高,不光可以進行單個原子能力的音視頻處理,還可以進行媒資管理、工作流觸發等,讓開發者更方便地使用音視頻智能化能力;

第三,IMS更智能,後續所有智能化能力升級後都會集中體現在IMS服務中。

圖片19.png

IMS控制枱融合了媒資管理,媒資庫中的音頻視頻文件,包括圖片、輔助的媒資,都可以通過IMS服務進行展示和管理。

利用多模檢索的智能化能力,IMS可以實現多媒體文件的智能化檢索。傳統的音視頻文件檢索,只能針對標題或者簡介進行,而IMS支持對上傳的音視頻文件做AI自動分類,並根據分類結果進行搜索,同時,也支持對視頻中的文字進行自動識別檢索。

比如,新聞聯播的畫面中出現了“康輝”兩個字樣,雖然視頻文件的標題和簡介裏都沒有出現過“康輝”,但在搜索“康輝”時,AI還是可以搜索識別出此視頻文件,這就是多模檢索的能力。

圖片20.png

Retina多媒體AI體驗中心

上述MPS和IMS服務的智能化能力,都需要通過Open API調用或者控制枱開通使用,而Retina體驗中心可以讓大家更方便快捷地進行體驗,只需上傳視頻或圖片,就可以直觀地得到經過智能化處理後的結果。

例如,在Retina平台,你可以體驗人像卡通化的效果,只需上傳一張人像圖片,經過自動處理,就能獲得童話風格的卡通人像圖片,更多體驗就在:http://retina.aliyun.com/

圖片 21.png

隨着視頻與AI技術的發展和演進,AI在媒體生產領域中發揮着越來越重要的作用,以更快的速度、更高的效率完成之前難以實現的事情。

未來,AI將從輔助媒體生產,逐漸轉變為直接生產有意義、有價值、有情感的視頻,進一步加速媒體生產製作全自動處理進程。

更多完整內容詳見課程回放 ⬇️

第二講視頻封面.png

視頻鏈接:https://v.youku.com/v_show/id_XNTk0MjQ4Mjk5Mg==.html