未來直播 “神器”,畫素級影片分割是如何實現的 | CVPR 冠軍技術解讀

語言: CN / TW / HK

被譽為計算機視覺領域 “奧斯卡” 的 CVPR 剛剛落下帷幕,2021 年首屆 “新內容 新互動” 全球影片雲創新挑戰賽正火熱進行中,這兩場大賽都不約而同地將關注點放在了影片目標分割領域,本文將詳細分享來自阿里達摩院的團隊在 CVPR DAVIS 影片目標分割比賽奪冠背後的技術經驗,為本屆大賽參賽選手提供 “他山之石”。

作者|負天

與影象識別不同,AI 分析理解影片的技術門檻較高。長期以來,業界在影片 AI 技術的研究上鮮有重大突破。以 CVPR 會議難度最高的比賽之一 DAVIS( Densely Annotated Video Segmentation)為例,該比賽需要參賽團隊精準處理複雜影片中物體快速運動、外觀變化、遮擋等資訊,過去幾年,全球頂級科技在該比賽中的成績從未突破 80 分,而達摩院的模型最終在 test-challenge 上取得了 84.1 的成績。

DAVIS 的資料集經過精心挑選和標註,影片分割中比較難的點都有體現,比如:快速運動、遮擋、消失與重現、形變等。DAVIS 的資料分為 train(60 個影片序列), val(30 個影片序列),test-dev(30 個影片序列),test-challenge(30 個影片序列)。其中 train 和 val 是可以下載的,且提供了每一幀的標註資訊。對於半監督任務, test-dev 和 test-challenge,每一幀的 RGB 圖片可以下載,且第一幀的標註資訊也提供了。演算法需要根據第一幀的標註 mask,來對後續幀進行分割。分割本身是 instance 級別的。

阿里達摩院:畫素級影片分割

阿里達摩院提供了一種全新的空間約束方法,打破了傳統 STM 方法缺乏時序性的瓶頸,可以讓系統基於影片前一幀的畫面預測目標物體下一幀的位置;此外,阿里還引入了語義分割中的精細化分割微調模組,大幅提高了分割的精細程度。最終,精準識別動態目標的輪廓邊界,並且與背景進行分離,實現畫素級目標分割。

基本框架

達摩院的演算法基於 2019 年 CVPR 的 STM 做了進一步改進。STM 的主要思想在於,對於歷史幀,每一幀都編碼為 key-value 形式的 feature。預測當前幀的時候,以當前幀的 key 去和歷史幀的 key 做匹配。匹配的方式是 non-local 的。這種 non-local 的匹配,可以看做將當前 key,每個座標上的 C 維特徵,和歷史每一幀在這個座標上的 C 維特徵做匹配。匹配得到的結果,作為一個 soft 的 index,去讀取歷史 value 的資訊。讀取的特徵和當前幀的 value 拼接起來,用於後續的預測。

三大技術創新

1. 空間約束

STM 的特徵匹配方式,提供了一種空間上的長依賴, 類似於 Transformer 中,通過 self-attention 來做序列關聯。這種機制,能夠很好地處理物體運動、外觀變化、遮擋等。但也有一個問題,就是缺乏時序性,缺少短時依賴。當某一幀突然出現和目標相似的物體時,容易產生誤召回。在影片場景中,很多情況下,當前幀臨近的幾幀,對當前幀的影響要大於更早的幀。基於這一點,達摩院提出依靠前一幀結果,計算 attention 來約束當前幀目標預測的位置,相當於對短期依賴的建模。

具體的方法如下圖所示:

  1. 當前幀的特徵和前一幀的預測 mask 在 channel 維度上做 concat,得到 HxWx (c+1) 的特徵;
  2. 通過卷積將特徵壓縮為 HxW;
  3. 用 sigmoid 函式將 HxW 的特徵,壓縮範圍,作為空間 attention;
  4. 把 attention 乘到原特徵上,作為空間約束。

下圖為空間 attention 的視覺化結果,可以看到大致對應了前景的位置。

2. 增強 decoder

達摩院引入了語義分割中的感受野增強技術 ASPP 和精細化分割的微調(refinement)模組。ASPP 作用於 memory 讀取後的特徵,用於融合不同感受野的資訊,提升對不同尺度物體的處理能力。

3. 訓練策略

達摩院提出了一個簡單但是有效的訓練策略,減少了訓練階段和測試階段存在的差異,提升了最終效果。

原始 STM 訓練時,會隨機從影片中取樣 3 幀。這三幀之間的跳幀間隔,隨著訓練逐漸增大,目的是增強模型魯棒性。但達摩院發現,這樣會導致訓練時和測試時不一致,因為測試時,是逐幀處理的。為此,在訓練的最後階段,達摩院將跳幀間隔重新減小,以保證和測試時一致。

其他

backbone: 達摩院使用了 ResNeST 這個比較新的 backbone,它可以無痛替換掉原 STM 的 resnet。在結果上有比較明顯提升。

測試策略: 達摩院使用了多尺度測試和 model ensemble。不同尺度和不同 model 的結果,在最終預測的 map 上,做了簡單的等權重平均。

視訊記憶體優化: 達摩院做了一些視訊記憶體優化方面的工作,使得 STM 在多目標模式下,可以支援大尺度的訓練、測試,以及支援較大的 memory 容量。

資料: 訓練資料上,達摩院使用了 DAVIS、Youtube-VOS,以及 STM 原文用到的靜態影象資料庫。沒有其他資料。

結果

達摩院的模型,最終在 test-challenge 上取得了 84.1 的成績。

在 test-dev 上的消融實驗。達摩院復現的 STM 達到了和原文一致的結果。在各種 trick 的加持下, 得到了 11 個點的提升。

隨著網際網路技術、5G 技術等的發展,短影片、影片會議、直播的場景越來越多,影片分割技術也將成為不可或缺的一環。比如,在影片會議中,影片分割可以精確區分前背景,從而對背景進行虛化或替換;在直播中,使用者只需要站在綠幕前,演算法就實時替換背景,實現一秒鐘換新直播間;在影片編輯領域,可以輔助進行後期製作。

參考

  1. Oh SW, Lee JY, Xu N, Kim SJ. Video object segmentation using space-time memory networks. InProceedings of the IEEE International Conference on Computer Vision 2019
  2. Wang X, Girshick R, Gupta A, He K. Non-local neural networks. InProceedings of the IEEE conference on computer vision and pattern recognition 2018

“新內容 新互動” 全球影片雲創新挑戰賽演算法挑戰賽道

本屆全球影片雲創新挑戰賽是由阿里雲聯手英特爾主辦,與優酷戰略技術合作,面向企業以及個人開發者的音影片領域的挑戰賽。演算法挑戰賽道聚焦影片人像分割領域,影片分割將傳統影象分割問題延伸到影片領域,可服務於影片理解處理和編輯等任務。

演算法賽道描述

本次大賽提供一個大規模高精度影片人像分割資料集,供參賽選手訓練模型。不同於傳統的二值分割目標(即人像區域標註為 1,其他區域標註為 0),本競賽重點關注分割各個不同的人象例項,目標是從影片中精確、穩定分割出顯著的(單個或多個)人體例項,以及其相應附屬物、手持物。

本次比賽分為初賽資料集和複賽資料集。複賽資料集等初賽結束後公佈,複賽中也可以使用初賽資料集。

初賽環節提供訓練集供選手下載,訓練資料集共 1650 段影片。訓練集中每個樣本由 RGB 影象序列和掩碼影象序列組成,RGB 影象序列為原始影片影象序列,格式為 jpg 檔案;掩碼影象為人體分割的真值 (ground-truth),格式為 png 檔案,掩碼影象中不同的畫素值表示不同的人體例項,0 為背景區域,非 0 為前景區域(例如 1 為人像 1,2 為人像 2)。RGB 和 png 檔案是一一對應關係。資料集每個影片的長度為 80 幀~150 幀,每個影片的解析度不完全相同。預賽的測試資料為 48 段影片。測試集只提供 RGB 影象序列。如出現多個人像例項,每個人像可以任意順序標註,評測時將被獨立計算。

本次比賽允許引數選手使用其他公開資料集和公開模型,但參賽選手的模型必須滿足能在限定時間內復現的要求,復現精度小於規定誤差。

評估標準

對於演算法恢復的影片結果,本次比賽採用 Mean J And F 做為評價指標。J 為描述分割人體區域精度的 Jaccard Index,F 為描述分割人體的邊界精確度。具體請參照參考文獻 1。每個影片允許選手最多輸出 8 個人物分割結果,選手分割結果與真值先進行 IOU 匹配,找到對應的人物後,根據該結果進行評分。多餘的分割結果,沒有懲罰。如果超過 8 個區域,整個影片結果無效。

獎項設定

冠軍:1 支隊伍,獎金 9 萬人民幣,頒發獲獎證書

亞軍:2 支隊伍,獎金 3 萬人民幣,頒發獲獎證書

季軍:3 支隊伍,獎金 1 萬人民幣,頒發獲獎證書

Cooper Lake 最佳實踐:3 支隊伍,獎金 2 萬人民幣,頒發獲獎證書

此外,複賽稽核通過的排名前 12 隊伍,可進入阿里雲校招綠色通道。

影片雲大賽正在火熱報名中 掃碼或點選下方連結,一起驅動下一代浪潮! https://tianchi.aliyun.com/competition/entrance/531873/introduction

「影片雲技術」你最值得關注的音影片技術公眾號,每週推送來自阿里雲一線的實踐技術文章,在這裡與音影片領域一流工程師交流切磋。

「其他文章」