CVPR2022 | 可精簡域適應
前言 在本文中，作者引入了一個簡單的框架，即Slimmable Domain Adaptation，以通過權重共享模型庫改進跨域泛化，從中可以對不同容量的模型進行取樣，以適應不同的精度效率權衡。此外，作者還開發了一種隨機整合蒸餾方法，以充分利用模型庫中的互補知識進行模型間互動。
在各種資源限制下，作者的框架在多個基準上大大超過了其他競爭方法，並可以保持對僅原始碼模型的效能改進，即使計算複雜性降低到1/64。
歡迎關注公眾號CV技術指南，專注於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘資訊。
論文：Slimmable Domain Adaptation
論文：http://arxiv.org/pdf/2206.06620
程式碼：http://github.com/hikvision-research/SlimDA
背景
深度神經網路通常對離線採集的影象（標記的源資料）進行訓練，然後嵌入到邊緣裝置中，以測試從新場景中採集的影象（未標記的目標資料）。在實踐中，這種模式由於域轉移而降低了網路效能。近年來，越來越多的研究者對無監督領域適應（UDA）進行了深入研究，以解決這一問題。
Vanilla UDA旨在將源資料和目標資料對齊到聯合表示空間中，以便根據源資料訓練的模型可以很好地推廣到目標資料。但是，學術研究與工業需求之間仍然存在差距：大多數現有的UDA方法僅使用固定的神經結構進行權重自適應，但無法有效地滿足現實世界應用中各種裝置的要求。
以圖1所示的廣泛使用的應用場景為例，在這種情況下，普通UDA方法必須反覆訓練一系列具有不同容量和體系結構的模型，以滿足具有不同計算預算的裝置的需求，這既昂貴又耗時。
為了解決上述問題，作者提出了Slimmable Domain Adaption（SlimDA），即只對模型進行一次訓練，這樣就可以靈活地從中抽取具有不同容量和體系結構的定製模型，以滿足不同計算預算的裝置的需求。
圖1 SlimDA
當纖細的神經網路滿足無監督領域自適應時，仍然存在兩個挑戰：
1）權重自適應：如何同時提高模型庫中所有模型的自適應效能。
2） 架構適應：給定特定的計算預算，如何在未標記的目標資料上搜索適當的模型。
對於第一個挑戰，作者提出了隨機整合蒸餾（SEED）來互動模型庫中的模型，以抑制模型內自適應對未標記目標資料的不確定性。表1顯示了SEED和傳統知識蒸餾之間的差異。
表1 傳統知識蒸餾（CKD）與隨機整合蒸餾（SEED）
對於第二個挑戰，作者提出了一種無監督的績效評估指標，可以緩解候選模型和錨模型之間的輸出差異。度量值越小，假設效能越好。
貢獻
1.提出了SlimDA，一個“一勞永逸”的框架，以共同適應資源有限裝置的適應性能和計算預算。
2.提出了SEED，能夠同時提高模型庫中所有模型的適應性能。
3.設計了一個優化分離的三分類器來調節模型內適應和模型間互動之間的優化。
4.提出了一種無監督的效能評估指標，以促進架構適應。
相關方法
1.無監督域自適應（UDA）
現有的UDA方法旨在提高模型在未標記目標域上的效能。在過去幾年中，提出了基於差異的方法和對抗性優化方法，通過域對齊來解決這個問題。SymNet開發了一種雙分類器體系結構，以促進類別級領域混淆。最近，Li等人試圖學習最佳架構，以進一步提高目標域的效能，這證明了網路架構對UDA的重要性。這些UDA方法側重於實現在目標域上具有更好效能的特定模型。
2. 神經架構搜尋（NAS）
NAS方法旨在通過強化學習、進化方法、基於梯度的方法等自動搜尋最優架構。最近，一次性方法非常流行，因為只需要訓練一個超級網路，並且同時優化了各種架構的多個權重共享子網路。這樣，就可以從模型庫中搜索最優的網路結構。在本文中，作者強調UDA對於NAS來說是一個未被注意到但意義重大的場景，因為它們可以在無監督的情況下合作優化特定於場景的輕量級體系結構。
3.跨域網路壓縮
Chen等人提出了一種跨域非結構化剪枝方法。Y u等人採用MMD來最小化域差異，並在基於泰勒的策略中修剪過濾器，Yang等人專注於壓縮圖神經網路。Feng等人在通道修剪網路和全尺寸網路之間進行對抗性訓練。然而，現有方法的效能仍有很大的改進空間。此外，他們的方法不夠靈活，無法在不同的資源約束下獲得眾多的最優模型。
方法
1. SlimDA框架
在可精簡的神經網路中已經證明，具有不同寬度（即層通道）的眾多網路可以耦合到權重共享模型庫中，並同時進行優化。從一個基線開始，在此基線中，SymNet直接與纖細的神經網絡合並。
為了簡單起見，SymNet的總體目標統一為Ldc。在每次訓練迭代中，可以從模型庫{（Fj，Csj，Ctj）}mj=1中隨機抽樣幾個模型∈（F，Cs，Ct），命名為模型批次，其中m表示模型批次大小。此處（F、Cs、Ct）可被視為最大模型，其餘模型可通過權重共享的方式從中取樣。
為了確保模型庫能夠得到充分的訓練，應在每次訓練迭代中對最大和最小的模型進行取樣，並將其構成模型批的一部分。
該基線可被視為Eqn的兩個交替過程。為了鼓勵上述基線中的模型間互動，作者提出了SlimDA框架，如圖2所示。該框架由隨機整合蒸餾（SEED）和優化分離三分類器（OSTC）設計組成。
SEED旨在利用模型庫中的互補知識進行多模型互動。Cs和Ct分類器上的紅色箭頭表示領域混淆訓練Ldc和模型庫中的知識聚合。Ca分類器上的紫色箭頭表示種子優化Lseed。
圖2 SlimDA框架
2. 隨機整合蒸餾（SEED）
SEED旨在利用模型庫中的互補知識進行多模型互動。模型庫中的不同模型可以直觀地學習有關未標記目標資料的補充知識。受帶有模型擾動的貝葉斯學習的啟發，作者通過蒙特卡羅取樣利用模型庫中的模型來抑制未標記目標資料的不確定性。
模型置信度定義：
銳化函式以誘導種子訓練期間的隱式熵最小化：
3. 優化分離三分類器（OSTC）
其中前兩個用於域混淆訓練，最後一個用於接收隨機聚合的知識以進行蒸餾。蒸餾損失公式如下：
4. 無監督效能評估指標
無監督績效評估指標（UPEM）：
實驗
表2 ImageCLEF-DA資料集上的兩項消融實驗
表3 在ImageCLEF-DA資料集上對SlimDA中的成分進行消融實驗
表4 ImageCLEF-DA對I→P適應任務的兩次消融實驗
表5 在ImageCLEF-DA資料集上與不同最先進的輕量級網路進行效能比較
表7 Office-31資料集上的效能
圖3 與隨機搜尋模型在ImageCLEF-DA上的六項適應任務進行比較
圖4 無監督績效評估指標（UPEM）與使用ground-truth 標籤的準確性之間的Pearson相關係數
圖5 模型庫的收斂效能
結論
在本文中，作者提出了一個簡單而有效的SlimDA框架，以促進權重和架構的聯合適應。在SlimDA中，提出的SEED利用權重共享模型庫中的架構多樣性來抑制未標記目標資料的預測不確定性，並且提出的OSTC調節模型內自適應和模型間互動之間的優化衝突。
通過這種方式，可以通過無需再訓練的取樣方式將資源滿意模型靈活地分佈到目標域上的各種裝置上。為了驗證SlimDA的有效性，進行了廣泛的消融實驗。
CV技術指南建立了一個計算機視覺技術交流群和免費版的知識星球，目前星球內人數已經700+，主題數量達到200+。
知識星球內將會每天釋出一些作業，用於引導大家去學一些東西，大家可根據作業來持續打卡學習。
CV技術群內每天都會發最近幾天出來的頂會論文，大家可以選擇感興趣的論文去閱讀，持續follow最新技術，若是看完後寫個解讀給我們投稿，還可以收到稿費。 另外，技術群內和本人朋友圈內也將釋出各個期刊、會議的徵稿通知，若有需要的請掃描加好友，並及時關注。
加群加星球方式：關注公眾號CV技術指南，獲取編輯微信，邀請加入。
歡迎關注公眾號CV技術指南，專注於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘資訊。
公眾號其它文章
CVPR2022 | iFS-RCNN：一種增量小樣本例項分割器
CVPR2022 | A ConvNet for the 2020s & 如何設計神經網路總結
CVPR2022 | PanopticDepth：深度感知全景分割的統一框架
CVPR2022 | 未知目標檢測模組STUD：學習視訊中的未知目標
從零搭建Pytorch模型教程（五）編寫訓練過程--一些基本的配置
從零搭建Pytorch模型教程（四）編寫訓練過程--引數解析
從零搭建Pytorch模型教程（三）搭建Transformer網路
- 普通段位玩家的CV演算法崗上岸之路（2023屆秋招）
- 用於超大影象的訓練策略：Patch Gradient Descent
- 關於知識蒸餾，你一定要了解的三類基礎演算法
- 深度理解變分自編碼器(VAE) | 從入門到精通
- CUDA 教程(一) GPU 程式設計概述和 CUDA 環境搭建
- 一文總結當下常用的大型 transformer 效率優化方案
- 多模態學習有哪些架構？MBZUAI最新《多模態表示學習》綜述，29頁詳述多模態表示學習的演化、預訓練及其應用綜述
- Transformer-Based Learned Optimization
- U-Net在2022年相關研究的論文推薦
- ECCV 2022 | 新方案: 先剪枝再蒸餾
- CVPR2022 | 簡單高效的語義分割體系結構
- CVPR 2022 | 網路中批處理歸一化估計偏移的深入研究
- CVPR2022 | 通過目標感知Transformer進行知識蒸餾
- 經典論文 | 300FPS，超快結構感知的深度車道檢測
- YOLO系列梳理（九）初嘗新鮮出爐的YOLOv6
- CVPR2022 | 長期行動預期的Future Transformer
- CVPR2022 | 可精簡域適應
- CVPR2022 | 弱監督多標籤分類中的損失問題
- 計算機視覺中的論文常見單詞總結
- CVPR2022 | A ConvNet for the 2020s & 如何設計神經網路總結