UniLM-UIE在多形態資訊抽取比賽中的應用
©PaperWeekly 原創 · 作者 | 許皓天,傅佳琪,司靖輝
單位 | 阿里巴巴AAIG實驗室
研究方向 | 資訊抽取及預訓練模型風險
Introduction
近年來,基於通用資訊抽取(UIE)的正規化在學術屆、工業界引起了廣泛的關注,一系列相關的頂會文章湧現出來 [1,2,3,4,5,6,7,8,9] ,涉及 資訊抽取、問答、對話、分類、匹配、文字生成等不同的 NLP tasks。
工業界也隨之推出了相關的比賽如 CCKS22 通用資訊抽取比賽 [10] 、電力行業多模式知識圖譜抽取 [11] ,這些比賽涉及通用、垂直場景以及多資源、少資源等抽取任務,為 UIE 在實踐中的應用提供了充分的 benchmark。筆者及所在團隊參加了這兩個比賽,並取得了不錯的成果:
-
CCKS22 通用資訊抽取 技術創新獎 [10,12,14]
-
電力抽取比賽 選拔賽、決賽模型得分 TOP1 [11,15] , 總分 TOP2 [ 28 ] ( 決賽模型分 85.54, 總分 8 5.48 (TOP1 總分 85.57), 非電力行業背景 )
注: 總分=0.9 *決賽模型分+0.1*文件分
並摸索出了一個實踐中應用 UIE 的最佳實踐路徑。 本文主要介紹了我們在 UIE 比賽中提出的 UniLM-UIE 模型以及通用訓練方案具體細節,以及在比賽中嘗試過有效、無效的訓練策略。 為大家在實際問題中應用 UIE 提供一份經過實戰檢驗的參考。
UniLM-UIE
2.1 UniLM
我們提出了基於 UniLM [13] 的 UIE 框架。UniLM 是微軟提出的一個基於 decoder-only 的 unified LM,通過修改不同的 attention mask 實現雙向、因果、seq2seq 等不同語言模型等建模,適配 NLU、unconditional generation(GPT)以及 conditional generatio(Seq2Seq)。這裡,我們使用 UniLM 主要基於以下幾點:
-
Decoder-only 相比 Seq2Seq,降低了模型複雜度
-
相比 Seq2Seq,Decoder-only 可以實現更大的基礎模型如 GPE-MOE [16] 、GLM [17]
UniLM 的基本原理如下:
通過控制不同的 attention mask,實現一個模型完成多種 NLP 任務如 NLU、LM、Seq2Seq 等。
在資訊抽取場景中,通常會給定一個文字、對應的 schema,然後輸出目標序列,其形式與 Seq2Seq 類似。所以,在我們的 UniLM-UIE 中,使用了 Seq2Seq attention mask 即輸入雙向建模,輸出單向建模,實現了條件生成。
UniLM-Seq2Seq 模型的訓練則相對比較簡單,輸入序列包含 條件輸入+輸出序列,attention mask 根據輸入、輸出序列構建即可。
2.2 UIE
前面,我們主要介紹了 UniLM 的基本原理,下面,我們主要介紹 UIE 的輸入和輸出構造形式:
2.2.1 輸入形式
輸入形式與模型獨立無關,不同的文章有不同的輸入形式,當然,輸入形式也決定了解碼方法。這裡,我們採用如下的輸入形式:
instruction[SEP]text[SEP]schema-type[SEP]element_1[unused1]element_2[unused2]...[SEP]
這裡,instruction 代表任務型別,如實體抽取、資訊抽取、事件抽取。當然,也可以考慮加入領域如事件抽取-災害意外等,構建更細粒度的 instruction。這裡:
-
schema-type 為預先指定的一個 schema 型別,如地震;
-
element_1[unused1] 則表示一個要素。其中,element_1 為要素的文字描述,[unused1] 則為一個 sentinel token,代表該要素。不同的 element 對應不同的 sentinel token,即可實現不同 element 的區分;
2.2.2 輸出形式
基於前面的輸入形式,輸出形式則定義為:
value_1[unused1]value_2[unused2]...<T>value_3[unused1]value_4[unsued2]...<T>[SEP]
-
value_1 為一個生成的值,通常為一個 token span,其型別則為 [unsued1]。根據輸入 schema 的要素型別和 sentinel token 的對應關係,value_1 的型別為 element_1。
-
<T> 則實現了不同元組的區分即每一個
內的元組均為一個完整的結構化元組如 SPO、實體或者事件元組。
通過這種解碼形式,我們可以實現要素之間的配對並輸出一個完整的事件元組。相比傳統的事件抽取如百度開源的 MRC-based UIE [18] , GPLINKER [19] ,MRC-based 的 UIE 在同一個文字同一個事件型別存在多個不同的事件元組時,缺少事件要素的配對能力,僅適用於(事件型別,要素型別,要素值)的評估方法;GPLINKER 則提出了使用完全子圖的方法劃分事件,該方法面對複雜事件 schema 的時候存在劃分錯誤的可能性尤其是不同事件共享部分要素的情況。而我們的建模方法直接解決了事件劃分的問題,從而實現完整的事件元組抽取。
基於UniLM-UIE的多形態資訊抽取
前面的章節我們系統描述了 UniLM 以及 UIE 的細節,本節我們主要介紹完整的抽取方案。
3.1 型別負取樣(negative learning)
由於我們的 UIE 輸入需要指定 schema 型別,在訓練時這個可以根據有監督資料獲取,然而,在推理階段,卻需要一個輔助分類器獲取 schema 型別。這使得 UniLM-UIE 並非一個完整的端到端抽取模型,且抽取效果依賴於 schema 分類結果。schema 分類器在少樣本、schema 型別易混淆等場景下,容易成為效能瓶頸。為此,我們提出了使用型別負取樣的訓練策略 [20] :
在訓練過程中,除了使用標註資料中的 schema 型別,同時,也會從剩餘的schema 型別隨機取樣負樣本且對應的輸出序列為空序列。使用型別負取樣的好處 在於:
-
UniLM-UIE 成為一個真的的端到端抽取系統,不必依賴 schema 分類器;
-
負取樣使得模型學會根據輸入內容、schema型別 決定是否輸出目標序列(知之為知之,不知為不知);
-
型別負取樣使得模型對錯誤 schema 型別具備一定的魯棒性。
型別負取樣(negative learning)在 [20] 中提出並應用於分類問題的噪聲標籤,通過型別負取樣降低模型對錯誤標籤的擬合能力,配合型別 filtering 機制,極大提高了噪聲標籤下的分類模型效能。同理,在我們的 UniLM-UIE 框架下,加入 negative learning 不僅能夠避免使用額外分類器,同時,也能較好地解決特定 schema 少樣本、schema 型別易混淆等問題。
3.2 訓練過程
本章節我們主要介紹 UniLM-UIE 完整的訓練 pipline,也是我們在比賽中摸索出較優的實踐方法。
具體地,我們提出了多階段的 prefinetuning [4] 包含無監督預訓練、mixture-prefinetuning、task-prefinetuning 和 task-finetuning。
3.2.1 無監督預訓練
基於我們的 UIE 輸入輸出構建方法,我們使用 Roberta-Large 初始化模型並使用 T5 的預訓練方法,這裡,使用 T5 的預訓練方法主要有幾個點:
-
Roberta-Large 只使用了 MLM 預訓練且為雙向 attention mask,對於複雜 Seq2Seq 任務效果較差(具體地,我們基於 bert4keras 實踐了 duee 的 UniLM-UIE 事件抽取,在三元組的評估方式下,20-epoch 很難收斂);
-
我們構造的 UIE 輸入輸出形式與 T5 的預訓練形式較為接近,與下游應用更匹配的預訓練對於下游任務更有幫助 [3] ;
3.2.2 prefinetuning
prefinetuning 階段,我們主要考慮了兩個不同的訓練方法,mixture-pre-finetuing 使用了全部的有監督(包括閱讀理解、分類、匹配、抽取等)+無監督資料進行訓練,旨在讓模型學會使用有監督資料的標籤資訊,同時,加入無監督資料,避免模型過擬合。
task-prefinetuning 階段則主要考慮了任務資料的有監督(資訊抽取、事件抽取、實體抽取)+無監督訓練。如果訓練 budget 有限的情況下,直接進行 task-prefinetuning 也能達到較好的效果。
3.3 解碼過程
由於資訊抽取的要素值均位於原文,所以,我們採用約束解碼 [21] 限制解碼空間,同時,設定 beam-search-width=2。
比賽實踐
talk is cheap, show me your results. 前面我們完整地描述了 UniLM-UIE 的模型、UIE 構建方法、訓練過程、schema 型別識別等問題,下面,我們主要介紹我們在電力多模式資訊抽取比賽中的具體實踐效果 [10,11,12,14,15] 。CCKS22 通用資訊抽取的具體結果可以參考相關的知乎文章以及 B 站分享影片 [10,12,14] 。
電力多模式抽取比賽是電力行業電力排程場景的事件抽取。其訓練資料如下表所示:
相比 CCKS22 通用資訊抽取,該比賽有幾個不同點:
1. A 和 B 域排程指令包含列舉型要素抽取如 “抬高電壓”, “調減功率” 等,A 域包含 10 類列舉型要素,B 域包含 10 類列舉型要素。平均到每個文字,可能每個列舉型要素只有不到 50 條資料,且不同的列舉型要素較難區分如 “調減功率”、“增加功率”、“控制功率” 等,增加了資料集的難度;
2. 結果評估不同。CCKS22 通用資訊抽取比賽對事件抽取的評估方式類似於三元組評估:
("事件型別", “要素型別”, "要素值")
而本次比賽則側重於完整的事件元組評估即:
[("事件型別1", “要素型別1”, "要素值1"), ..., ("事件型別1", “要素型別n”, "要素值n")]
[("事件型別1",“要素型別1”, "要素值11"), ..., ("事件型別12", “要素型別n”, "要素值1n")]
可能在一個文字中存在同一個事件型別但是完全不同的事件元組(同一個要素型別可能要素值不同如同樣的“執行狀態或條件”下,可能有不同的“傳送物件”、“命令/資訊內容”和“功能依據”)。相比三元組形式的評估,完整事件元組的評估對於抽取的完整性要求更高,這也與電力行業文字相關。
電力行業文字中往往一個事件型別包含多個不同的事件元組,不同元組的差別可能在於 “執行狀態或條件”、“傳送物件”等,如果按照 CCKS22 的事件評估方式,可能會難以區分不同的元組,導致實際生產出現較大的生產事故 如 “執行狀態或條件”與“傳送物件”發生錯誤配對 ;
3. 本次比賽需要線上提交推理包線上推理,對 推理時間(2小時) 、 壓縮包大小(6G) 有明確限制。限制了過多的模型整合等,更符合實際生產環境等應用。
我們的系統方案
這裡,主要針對資料特點做了微調:
1. 列表型要素值 {'要素型別':'v1','要素值':['u1','u2',..., 'un']}拆解為:
[{'要素型別':'v1','要素值':'u1'}, ..., {'要素型別':'v1','要素值':'un'}]
2. 針對評估方法,我們僅將列表型要素進行位置回標、排序、合併;
結果
比賽分為兩個階段,選拔賽和決賽。
6.1 選拔賽
下表為選拔賽結果:
選拔賽階段,我們對比了百度 UIE-MRC-Base [18] ,在前期均不使用後處理的條件下,我們的 UniLM-UIE-Large 線上即可取得 0.703 的效果,遠超 UIE-MRC-Base 的 0.589,以及官方 baseline 的 0.49。這裡,由於評估指標為完整事件元組的評估,UIE-MRC 可以較好地完成給定型別的值抽取,但難以對抽取結果合理劃分事件(如果資料集句式特殊,可能可以根據句式組合配對,但實用性較窄且方案不夠簡潔)。
後續,我們相繼評測了:
-
資料複製,資料均衡取樣;
-
加入 官方答疑影片 ppt 中的資料以及官方 word 文件裡面的資料;
-
測試不同的 beam-search-size。
可以看到,基於我們 v2 版本的 UniLM-UIE(task-prefinetuning,沒有包含電力比賽資料)加入均衡取樣(基於事件型別)後,即可達到 0.808。進一步加入 官方資料中的資料後,可以進一步提升到 0.814。
而當我們將電力資料加入到 task-prefinetuning 後,v3-UniLM-UIE 即可實現 單模型 0.838 的 選拔賽 TOP1 結果:
同時,V3 版本 - no-upsampling 可以實現單模型 0.825 的效果。這裡,我們可以看到,由於少樣本場景,資料輸入的順序可能對模型效果產生較大影響 [27] ,使用均衡取樣可以降低資料輸入順序對訓練的影響。
此外,我們也評測了元組順序、元組內的要素順序 是否可變對最終結果的影響。我們發現元組順序某種程度上可以降低過擬合(資料量充足的情況下),在少樣本場景,則容易產生欠擬合(基於 V2 版本,結果在 0.80 左右,相比元組順序固定的結果,降低了 1 個點左右)。
最後,我們發現 beam-search-size 對 Y 的影響較大,所以我們設定 beam-search-size=2 作為所有 UniLM-UIE 解碼的配置。
除了資料集統一訓練外,我們還進行了不同資料組合的訓練:
-
全量抽取資料集+電力資料:實現了 A 和 B 的最佳結果,X 和 Y 下降 10 幾個點;
-
AB 單獨訓練,XY 單獨訓練:實現了 X 的最佳結果;
最終,我們實現了 選拔賽 0.85163 的 TOP1 結果,同時, 選拔賽單模型(V3-UniLM-UIE) 也實現了 TOP1 的結果:
注: top2-4 均為 電力行業背景團隊 如 國家電網(主辦方單位) , 南方電網 , 國電南瑞 等:
注:由於前期後處理加入的較晚,做了很多模型訓練配置的嘗試,走了一些彎路。如果按照最佳實踐:
-
任務有監、無監督資料+全量資訊抽取資料集的 task-prefinetuning;
-
任務有監督資料的 task-finetuning;
-
少樣本資料集 duplicate 10 份;
-
少樣本資料均衡取樣;
可能可以在 一週內 實現該比賽的最佳單模型以及最佳模型組合結果。
6.2 決賽
我們在決賽階段主要對 Y 的句式做了一些擴充:
-
拓展字首詞。如拓展“功能依據”的字首:根據、按照、依據;
-
拓展句式模板。功能依據+命令資訊內容;
-
拓展句式模板。命令資訊內容+功能依據;
-
加入易混淆資料。官方 word,ppt 易混淆資料構造;
-
多條件構造,句號分割--->不同的元組;
決賽結果如下:
決賽階段,我們看到,UIE-MRC-Base 依然只有 0.5991 的效果,而我們的 選拔賽最佳模型可達到 0.775 的結果;後續,我們也評測了選拔賽最佳單模型 0.838 在決賽資料集的效果:
可以看到,選拔賽最佳單模型與選拔賽最佳結果相差很小。相比選拔賽結果,決賽結果的 Y 和 X 下降較多,也說明了決賽資料和選拔賽資料可能在句式、實體層面存在較大的 GAP。最後,我們使用上述提到的資料增強(基於 訓練集 500 條 樣本),使得最終結果從 0.772 提升到 0.85541 :
注: 決賽 9.2 開始後僅一天(9.3)即可達到 ,也充分驗證了 UniLM-UIE 強大的擬合能力。
最終,加入技術文件評分後,我們總分 TOP2( 非電力行業背景 ) [ 28 ] :
總結
本次比賽,我們沿用了 CCKS22 通用資訊抽取的基礎模型和技術方案,並針對電力行業的資料特點、評估方式等做了微調,即可實現選拔賽單模型 TOP1、選拔賽最佳效果(0.8516)。相比其他團隊,我們本身 不具備電力行業的從業背景 和 無監督資料 ,僅能夠使用官方提供的 500 + 資料,也間接說明我們的 UniLM-UIE 對於新領域、新場景的快速遷移、快速適配能力。
基於 task-prefinetuing,我們的 UniLM-UIE 能夠從海量資料中學習抽取邏輯,即使面對垂直行業如電力行業,沒有大量的無監督資料、以及行業背景等不利條件下,我們也能夠藉助 UniLM-UIE 從其他資料集學習到的抽取能力,實現優異的領域遷移效果,為垂直行業知識圖譜構造等提供了新的方案和可能性,同時,保持整個抽取系統的簡潔性。
UniLM-UIE缺點
UniLM-UIE 縱使有更好的少樣本、領域遷移能力,其也存在一些問題:
-
生成式解碼速度慢、schema 遍歷慢,實際中可以使用更快的解碼框架如 [22,23] ;
-
生成 token 序列,缺少 token 位置資訊,對於基於位置資訊評估的應用或者比賽,位置回標 可能存在 遺漏、重疊等問題;
-
長文字劃窗處理,不同窗內的解碼元組結果較難合併;
-
schema 順序、目標序列的順序對模型有影響 [10] 如資料多可能避免過擬合,資料少可能欠擬合等;
-
相比 MRC、word-pair 等方式,生成式僅有目標解碼序列的似然值,難以通過閾值篩選等操作對解碼結果做篩選和修正;
未來工作
後續,我們會和 EasyNLP [24] 合作,將 UniLM-UIE 適配到 EasyNLP 的框架以及 開源 V2 版本的 UniLM-UIE base 和 large 版本(包括 CCKS22 通用資訊抽取的 task-finetuning 模型),方便更多同學在不同領域測試 UniLM-UIE 的抽取效果。
此外,我們也正在基於旋轉位置編碼的 roformer [25] 進行 bert 詞表的預訓練、UniLM-UIE 的完整訓練流程,使得 UniLM-UIE 可以支援更長的文字序列,同時,可能也能提升效果如 GLM [17] 。
目前,結構化資訊抽取如 MRC-based、word-pair-based 等方法均需要篩選閾值輸出結果,而閾值的選擇往往基於 dev,但很難保證理想的置信度。我們後續將基於統計檢驗的方法,篩選閾值且在統計意義上以 90% 的概率滿足給定的risk,提升結果的可信度,為實際應用提供更好的保障。
最後,我們也將嘗試 soft-prompt 與大模型結合的 UIE,基於 GLM [17] 、IDEA-CCNL [26] 、GPT-MOE [16] 等,實現基於大模型的 UIE,為垂直行業的結構化抽取、圖譜構建 提供更好的基礎技術能力。該方案下,僅需要對不同行業和資料做 soft-prompt 微調即實現領域快速遷移,即使使用全量資料做 task-prefinetuning,也能夠以較少的微調參實現。
相比我們目前的方案,訓練開銷會小很多(畢竟,加入全量資料的 task prefinetuning 的訓練開銷較大),而不同業務、不同領域的抽取可以僅依靠 領域定製的 soft-prompt 和基礎模型即可實現,對於垂直行業的應用更加便捷,而行業基礎大模型則能夠持續依靠大資料、大算力持續提升效果。
UIE是否是抽取的終極方案
UIE 可能本身很難做到零樣本的遷移,而基於少量資料的 UIE+task-prefinetuning 的訓練流程,是有可能實現垂直行業的快速領域適配。同時,結合大模型,可預計會達到更好的抽取效果。對於垂直行業,可以提供一個更簡潔的方案,而如果想做一個模型在不同場景都通用,可能存在幾個問題:
-
不同領域的抽取難度不同,生成式抽取對於多工建模不需要引入額外引數,而輸入資料的順序、資料複製的比例、資料取樣策略等對不同任務和資料集有不同的影響。比如筆者嘗試將所有有監督抽取資料集合並訓練,在電力選拔賽的 X 和 Y 上面下降 10 幾個點;
-
不同的抽取任務需要的抽取能力不同,多個數據集混合訓練,很可能使得模型產生 “抽取能力 bias” 即對於某些 pattern、schema 的抽取偏好,降低其在其他資料集的抽取效果;
多模態、NLP、CV、ASR 等都在走 Unified 的路徑,可以極大降低模型碎片化的問題,集中力量辦大事。
參考文獻
[1] UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models
[2] Unified Structure Generation for Universal Information Extraction
[3] Unifying Language Learning Paradigms
[4] ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning
[5] DEEPSTRUCT: Pretraining of Language Models for Structure Prediction
[6] ProQA: Structural Prompt-based Pre-training for Unified Question Answering
[7] ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization
[8] A Unified Generative Framework for Aspect-Based Sentiment Analysis
[9] A Unified Generative Framework for Various NER Subtasks
[10] https://aistudio.baidu.com/aistudio/competition/detail/161/0/leaderboard
[11] https://aistudio.baidu.com/aistudio/competition/detail/425/0/introduction
[12] 【資訊抽取】基於UniLM的多工多形態統一抽取框架——千言資料集-嗶哩嗶哩 https://b23.tv/7A2DPYf
[13] Unified Language Model Pre-training for Natural Language Understanding and Generation
[14] 記CCKS22通用資訊抽取---One Model to Solve All Task https://zhuanlan.zhihu.com/p/550352511
[15] UniLM-UIE在電力行業多模式知識圖譜抽取比賽中的應用 https://zhuanlan.zhihu.com/p/565478147
[16] 阿里雲 PAI推出中文稀疏GPT大模型,登頂 ZeroCLUE榜單 https://www.sohu.com/a/581906245_100207435
[17] https://github.com/THUDM/GLM-130B
[18] https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
[19] https://spaces.ac.cn/archives/8926 GPLinker:基於GlobalPointer的事件聯合抽取
[20] NLNL: Negative Learning for Noisy Labels
[21] https://github.com/facebookresearch/GENRE/blob/main/examples_genre/examples.ipynb
[22] https://github.com/PaddlePaddle/PaddleNLP/tree/develop/faster_generation
[23] https://github.com/NVIDIA/FasterTransformer
[24] https://github.com/alibaba/EasyNLP
[25] https://github.com/ZhuiyiTechnology/roformer
[26] https://huggingface.co/IDEA-CCNL
[27] TableFormer: Robust Transformer Modeling for Table-Text Encoding
[28] 2022年信創大比武“新型電力系統人工智慧應用賽道”——圓滿收官
更多閱讀
# 投 稿 通 道 #
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢? 答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是 最新論文解讀 ,也可以是 學術熱點剖析 、 科研心得 或 競賽經驗講解 等。我們的目的只有一個,讓知識真正流動起來。
:memo: 稿件基本要求:
• 文章確係個人 原創作品 ,未曾在公開渠道發表,如為其他平臺已發表或待發表的文章,請明確標註
• 稿件建議以 markdown 格式撰寫,文中配圖以附件形式傳送,要求圖片清晰,無版權問題
• PaperWeekly 尊重原作者署名權,並將為每篇被採納的原創首發稿件,提供 業內具有競爭力稿酬 ,具體依據文章閱讀量和文章質量階梯制結算
:mailbox_with_mail: 投稿通道:
• 投稿郵箱: [email protected]
• 來稿請備註即時聯絡方式(微信),以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信( pwbot02 )快速投稿,備註:姓名-投稿
△長按新增PaperWeekly小編
:mag:
現在,在 「知乎」 也能找到我們了
進入知乎首頁搜尋 「PaperWeekly」
點選 「關注」 訂閱我們的專欄吧
·
·
- UniLM-UIE在多形態資訊抽取比賽中的應用
- 生成擴散模型漫談:最優擴散方差估計(上)
- 真的存在可以檢測萬物的模型嗎?聯匯科技提出了一種有趣的解決方案
- 盼星星盼月亮:首期模型CPM-Ant訓練完成啦!
- KDD 2022最佳論文 | HyperSCI:在超圖上學習因果效應
- 一小時治好了我的論文焦慮
- 復旦大學邱錫鵬組:CNN-NER——極其簡單有效的巢狀命名實體識別方法
- KDD 2022 | 判別式自監督學習的個性化推薦
- 測試階段模型自適應方法總結
- TPAMI 2022 | 上海交大張拳石組:知識蒸餾為什麼有效?因為有老師給你劃“重點”
- 二十多篇頂會?!頂會論文大佬聊多模態
- 神奇的大學習率:多大才算大, 神奇的效用又為何?
- ECCV 2022 | 港中文MMLab:基於Transformer的光流
- 面向跨模態匹配的噪聲關聯學習
- 影象去噪:一個“古老”而又“超好發(shui)論文”的視覺課題
- 開啟模型Zero-Shot新正規化:Instruction Tuning
- 生成擴散模型漫談:一般框架之SDE篇
- 從ICML 2022看域泛化(Domain Generalization)最新進展
- ICML 2022 | 位元組提出首個用於評測預訓練視覺語言模型真正泛化能力的基準評測平臺 VLUE
- 業界首創AI MSA引擎,讓所有人都能做蛋白質結構預測