Transformer-Based Learned Optimization_CV技術指南

前言本文為學習優化器提出一種新的神經網絡體系結構，其靈感來自經典的BFGS算法。和BFGS一樣，將預條件矩陣估計為一級更新的和，但使用基於transformer的神經網絡來預測這些更新以及步長和方向。與以往幾種優化方法相比，能在目標問題的參數空間的不同維度之間進行條件反射，同時仍然適用於變維度的優化任務，無需再訓練。

Transformer、目標檢測、語義分割交流羣

歡迎關注公眾號CV技術指南，專注於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘信息。

【百篇論文閲讀計劃】新升級!

論文：https://arxiv.org/pdf/2212.01055.pdf

代碼：https://github.com/google/learned_optimization

背景

本文提出了一種新的優化方法。它通過一個表達函數(如多層感知器)表示優化器更新步驟，然後在一組訓練優化任務上確定該函數的參數。由於學習到的優化器的更新功能是從數據中估計的，原則上它可以學習各種理想的行為，如學習速率計劃和多個局部極小值。這與傳統的優化器形成對比，後者是人為設計的，是硬編碼的。

對於需要反覆解決相關優化任務的應用程序，學習優化器能起到很好的效果。例如，三維人體姿態估計通常被表述為特定損失函數的最小值。對於這種方法，估計不同圖像觀測的三維姿態需要對許多密切相關的問題反覆優化相同的目標函數。傳統的優化方法將這些問題視為獨立的，而這可能是次優的，因為它沒有聚集解決多個相關優化任務的經驗。

如圖1所示，對基準優化方法的經典優化目標以及基於物理的人體姿態重構的現實任務上對Optimus進行評估。

圖1。第一行:評估結果，顯示優化器為第一行對應的目標函數所達到的平均目標值(y軸)與目標函數的維度(x軸)的對比。最下面一行:用於評估本文方法的目標函數的例子。

本文的主要貢獻

1．介紹了一種用於學習優化的新型神經網絡體系結構。

2．元訓練速度明顯加快，與BFGS相比，重建質量更好，並且在最小化損失方面更快。

方法

基於transformer的學習優化器Optimus受到BFGS秩一近似方法的啟發，該方法用於估計逆Hessian，用作預處理矩陣，以獲得下降方向。參數更新是由獨立操作每個參數的學習優化器和學習預處理器（Bk）產生的下降方向（sk）的乘積，完整更新如下

Optimus的概述示意圖如圖2所示。

圖2。左:基於transformer的學習型優化器Optimus迭代最小化損失L的概述示意圖。右:Optimus的架構由L個堆疊的Transformer編碼器組成，在給定的特徵向量zk下預測參數更新∆xk。

使用兩個組件來預測參數更新∆，獨立地預測向量x的每個維度的更新方向和幅度。MLP將特徵向量作為輸入，並輸出兩個值

引入一種機制來耦合x的每個維度的優化過程，並使優化算法能夠跨迭代存儲信息。將這些更新定義為低秩更新

它通過編碼器的自我注意力機制實現了單個參數更新之間的耦合。這使得很容易就能擴展到不同維度的問題。並且它允許優化器跨迭代積累信息，類似於BFGS如何隨着優化的進行逐步逼近逆Hessian矩陣。本文方法通過學習在其他學習優化器(如Adafactor MLP）中估計的一階更新的預條件來實現。雖然這種預處理方法大大提高了步長，但其計算成本隨參數數量的增加呈二次增長。

實驗