谷歌、MIT“迭代共同認證”影片問答模型:SOTA效能,算力少用80%

語言: CN / TW / HK

新智元報道

編輯:David

【新智元導讀】谷歌、MIT聯合研究,影片問答模型計算效率提升一倍。

影片是一種無處不在的媒體內容源,涉及到人們日常生活的許多方面。越來越多的現實世界的影片應用,如影片字幕、內容分析和影片問答(VideoQA),都依賴於能夠將影片內容與文字或自然語言聯絡起來的模型。

其中,影片問答模型尤其具有挑戰性,因為它需要同時掌握語義資訊,比如場景中的目標,以及時間資訊,比如事物如何移動和互動。這兩種資訊都必須在擁有特定意圖的自然語言問題的背景下進行。

此外,由於影片有許多幀,處理全部的幀來學習時空資訊,可能在計算上成本過高。

論文連結:https://arxiv.org/pdf/2208.00934.pdf

為了解決這個問題,在「Video Question Answering with Iterative Video-Text Co-Tokenization」一文中,谷歌和MIT的研究人員介紹了一種影片-文字學習的新方法,稱為「迭代共同標記」,能夠有效地融合空間、時間和語言資訊,用於影片問答的資訊處理。

這種方法是多流的,用獨立的骨幹模型處理不同規模的影片,產生捕捉不同特徵的影片表示,例如高空間解析度或長時間的影片。

模型應用「共同認證」模組,從影片流與文字的融合中學習有效表示。模型計算效率很高,只需67GFLOPs,比以前的方法至少低了50%,同時比其他SOTA的模型有更好的效能。

影片-文字迭代

該模型的主要目標是從影片和文字(即使用者問題)中產生特徵,共同允許它們的相應輸入進行互動。第二個目標是以有效的方式做到這一點,這對影片來說非常重要,因為它們包含幾十到幾百幀的輸入。

該模型學會了將影片-語言的聯合輸入標記為較小的標記集,以聯合和有效地代表兩種模式。在標記化時,研究人員使用兩種模式來產生一個聯合的緊湊表示,該表示被送入一個轉換層以產生下一級的表示。

這裡的一個挑戰,也是跨模態學習中的典型問題,就是影片幀往往並不直接對應於相關的文字。研究人員通過增加兩個可學習的線性層來解決這個問題,在標記化之前,統一視覺和文字特徵維度。這樣一來,研究人員就可以讓影片和文字都能制約影片標記的學習方式。

此外,單一的標記化步驟不允許兩種模式之間的進一步互動。為此,研究人員使用這個新的特徵表示與影片輸入特徵互動,併產生另一組標記化的特徵,然後將其送入下一個轉化器層。

這個迭代過程中會建立新的特徵或標記,表示對兩種模式的聯合表示的不斷完善。最後,這些特徵被輸入到生成文字輸出的解碼器中。

按照影片質量評估的慣例,在對個別影片質量評估資料集進行微調之前,研究人員對模型進行預訓練。

在這項工作中,研究人員使用基於語音識別的文字自動註釋的影片,使用HowTo100M資料集,而不是在大型VideoQA資料集上預訓練。這種較弱的預訓練資料仍然使研究人員的模型能夠學習影片-文字特徵。

高效影片問答的實現

研究人員將影片語言迭代共同認證演算法應用於三個主要的VideoQA基準,MSRVTT-QA、MSVD-QA和IVQA,並證明這種方法比其他最先進的模型取得了更好的結果,同時模型不至於過大。另外,迭代式共同標記學習在影片-文字學習任務上對算力的需求也更低。

該模型只用67GFLOPS算力,是3D-ResNet影片模型和文字時所需算力(360GFLOP)的六分之一,是X3D模型效率的兩倍多。並且生成了高度準確的結果,精度超過了最先進的方法。

多流影片輸入

對於VideoQA或其他一些涉及影片輸入的任務,研究人員發現,多流輸入對於更準確地回答有關空間和時間關係的問題很重要。

研究人員利用三個不同解析度和幀率的影片流:一個低解析度、高幀率的輸入影片流(每秒32幀,空間解析度64x64,記作32x64x64);一個高解析度、低幀率的影片(8x224x224);以及一個介於兩者之間的(16x112x112)。

儘管有三個資料流需要處理的資訊顯然更多,但由於採用了迭代共同標記方法,獲得了非常高效的模型。同時,這些額外的資料流允許提取最相關的資訊。

例如,如下圖所示,與特定活動相關的問題在解析度較低但幀率較高的影片輸入中會產生較高的啟用,而與一般活動相關的問題可以從幀數很少的高解析度輸入中得到答案。

這種演算法的另一個好處是,標記化會根據所問問題的不同而改變。

結論

研究人員提出了一種新的影片語言學習方法,它側重於跨影片-文字模式的聯合學習。研究人員解決了影片問題回答這一重要而具有挑戰性的任務。研究人員的方法既高效又準確,儘管效率更高,但卻優於目前最先進的模型。

谷歌研究人員的方法模型規模適度,可以通過更大的模型和資料獲得進一步的效能改進。研究人員希望,這項工作能引發視覺語言學習方面的更多研究,以實現與基於視覺的媒體的更多無縫互動。

參考資料:

https://ai.googleblog.com/2022/08/efficient-video-text-learning-with.html