UniLM-UIE在多形態資訊抽取比賽中的應用

©PaperWeekly 原創 · 作者 |  許皓天，傅佳琪，司靖輝

單位 |  阿里巴巴AAIG實驗室

研究方向 |  資訊抽取及預訓練模型風險

Introduction

近年來，基於通用資訊抽取（UIE）的正規化在學術屆、工業界引起了廣泛的關注，一系列相關的頂會文章湧現出來  [1,2,3,4,5,6,7,8,9] ，涉及 資訊抽取、問答、對話、分類、匹配、文字生成等不同的 NLP tasks。

工業界也隨之推出了相關的比賽如 CCKS22 通用資訊抽取比賽  [10] 、電力行業多模式知識圖譜抽取   [11] ，這些比賽涉及通用、垂直場景以及多資源、少資源等抽取任務，為 UIE 在實踐中的應用提供了充分的 benchmark。筆者及所在團隊參加了這兩個比賽，並取得了不錯的成果：

• CCKS22 通用資訊抽取 技術創新獎   [10,12,14]

• 電力抽取比賽 選拔賽、決賽模型得分 TOP1   [11,15] ， 總分  TOP2   [ 28 ] （ 決賽模型分  85.54， 總分  8 5.48 （TOP1 總分  85.57）， 非電力行業背景 ）

注： 總分=0.9 *決賽模型分+0.1*文件分

並摸索出了一個實踐中應用 UIE 的最佳實踐路徑。 本文主要介紹了我們在 UIE 比賽中提出的 UniLM-UIE 模型以及通用訓練方案具體細節，以及在比賽中嘗試過有效、無效的訓練策略。 為大家在實際問題中應用 UIE 提供一份經過實戰檢驗的參考。

UniLM-UIE

2.1 UniLM

我們提出了基於 UniLM  [13]   的 UIE 框架。UniLM 是微軟提出的一個基於 decoder-only 的 unified LM，通過修改不同的 attention mask 實現雙向、因果、seq2seq 等不同語言模型等建模，適配 NLU、unconditional generation（GPT）以及 conditional generatio（Seq2Seq）。這裡，我們使用 UniLM 主要基於以下幾點：

1. Decoder-only 相比 Seq2Seq，降低了模型複雜度

2. 相比 Seq2Seq，Decoder-only 可以實現更大的基礎模型如 GPE-MOE  [16] 、GLM  [17]

UniLM 的基本原理如下：

通過控制不同的 attention mask，實現一個模型完成多種 NLP 任務如 NLU、LM、Seq2Seq 等。

在資訊抽取場景中，通常會給定一個文字、對應的 schema，然後輸出目標序列，其形式與 Seq2Seq 類似。所以，在我們的 UniLM-UIE 中，使用了 Seq2Seq attention mask  即輸入雙向建模，輸出單向建模，實現了條件生成。

UniLM-Seq2Seq 模型的訓練則相對比較簡單，輸入序列包含 條件輸入+輸出序列，attention mask 根據輸入、輸出序列構建即可。

2.2 UIE

前面，我們主要介紹了 UniLM 的基本原理，下面，我們主要介紹 UIE 的輸入和輸出構造形式：

2.2.1 輸入形式

輸入形式與模型獨立無關，不同的文章有不同的輸入形式，當然，輸入形式也決定了解碼方法。這裡，我們採用如下的輸入形式：

instruction[SEP]text[SEP]schema-type[SEP]element_1[unused1]element_2[unused2]...[SEP]

這裡，instruction 代表任務型別，如實體抽取、資訊抽取、事件抽取。當然，也可以考慮加入領域如事件抽取-災害意外等，構建更細粒度的 instruction。這裡：

• schema-type 為預先指定的一個 schema 型別，如地震；

• element_1[unused1] 則表示一個要素。其中，element_1 為要素的文字描述，[unused1] 則為一個 sentinel token，代表該要素。不同的 element 對應不同的 sentinel token，即可實現不同 element 的區分；

2.2.2 輸出形式

基於前面的輸入形式，輸出形式則定義為：

value_1[unused1]value_2[unused2]...<T>value_3[unused1]value_4[unsued2]...<T>[SEP]

• value_1 為一個生成的值，通常為一個 token span，其型別則為  [unsued1]。根據輸入 schema 的要素型別和 sentinel token 的對應關係，value_1 的型別為 element_1。

• <T> 則實現了不同元組的區分即每一個 內的元組均為一個完整的結構化元組如  SPO、實體或者事件元組。

通過這種解碼形式，我們可以實現要素之間的配對並輸出一個完整的事件元組。相比傳統的事件抽取如百度開源的 MRC-based UIE [18] ， GPLINKER  [19] ，MRC-based 的 UIE 在同一個文字同一個事件型別存在多個不同的事件元組時，缺少事件要素的配對能力，僅適用於（事件型別，要素型別，要素值）的評估方法；GPLINKER 則提出了使用完全子圖的方法劃分事件，該方法面對複雜事件 schema 的時候存在劃分錯誤的可能性尤其是不同事件共享部分要素的情況。而我們的建模方法直接解決了事件劃分的問題，從而實現完整的事件元組抽取。

基於UniLM-UIE的多形態資訊抽取

前面的章節我們系統描述了 UniLM 以及 UIE 的細節，本節我們主要介紹完整的抽取方案。

3.1 型別負取樣（negative learning）

由於我們的 UIE 輸入需要指定 schema 型別，在訓練時這個可以根據有監督資料獲取，然而，在推理階段，卻需要一個輔助分類器獲取 schema 型別。這使得 UniLM-UIE 並非一個完整的端到端抽取模型，且抽取效果依賴於 schema 分類結果。schema 分類器在少樣本、schema 型別易混淆等場景下，容易成為效能瓶頸。為此，我們提出了使用型別負取樣的訓練策略  [20] ：

在訓練過程中，除了使用標註資料中的 schema 型別，同時，也會從剩餘的schema 型別隨機取樣負樣本且對應的輸出序列為空序列。使用型別負取樣的好處 在於：

• UniLM-UIE 成為一個真的的端到端抽取系統，不必依賴 schema 分類器；

• 負取樣使得模型學會根據輸入內容、schema型別 決定是否輸出目標序列（知之為知之，不知為不知）；

• 型別負取樣使得模型對錯誤 schema 型別具備一定的魯棒性。

型別負取樣（negative learning）在  [20]   中提出並應用於分類問題的噪聲標籤，通過型別負取樣降低模型對錯誤標籤的擬合能力，配合型別 filtering 機制，極大提高了噪聲標籤下的分類模型效能。同理，在我們的 UniLM-UIE 框架下，加入 negative learning 不僅能夠避免使用額外分類器，同時，也能較好地解決特定 schema 少樣本、schema 型別易混淆等問題。

3.2 訓練過程

本章節我們主要介紹 UniLM-UIE 完整的訓練 pipline，也是我們在比賽中摸索出較優的實踐方法。

具體地，我們提出了多階段的 prefinetuning  [4] 包含無監督預訓練、mixture-prefinetuning、task-prefinetuning 和 task-finetuning。

3.2.1 無監督預訓練

基於我們的 UIE 輸入輸出構建方法，我們使用 Roberta-Large 初始化模型並使用 T5 的預訓練方法，這裡，使用 T5 的預訓練方法主要有幾個點：

• Roberta-Large 只使用了 MLM 預訓練且為雙向 attention mask，對於複雜 Seq2Seq 任務效果較差（具體地，我們基於 bert4keras 實踐了 duee 的 UniLM-UIE 事件抽取，在三元組的評估方式下，20-epoch 很難收斂）；

• 我們構造的 UIE 輸入輸出形式與 T5 的預訓練形式較為接近，與下游應用更匹配的預訓練對於下游任務更有幫助  [3] ；

3.2.2 prefinetuning

prefinetuning 階段，我們主要考慮了兩個不同的訓練方法，mixture-pre-finetuing 使用了全部的有監督（包括閱讀理解、分類、匹配、抽取等）+無監督資料進行訓練，旨在讓模型學會使用有監督資料的標籤資訊，同時，加入無監督資料，避免模型過擬合。

task-prefinetuning 階段則主要考慮了任務資料的有監督（資訊抽取、事件抽取、實體抽取）+無監督訓練。如果訓練 budget 有限的情況下，直接進行 task-prefinetuning 也能達到較好的效果。

3.3 解碼過程

由於資訊抽取的要素值均位於原文，所以，我們採用約束解碼  [21]  限制解碼空間，同時，設定 beam-search-width=2。

比賽實踐

talk is cheap, show me your results. 前面我們完整地描述了 UniLM-UIE 的模型、UIE 構建方法、訓練過程、schema 型別識別等問題，下面，我們主要介紹我們在電力多模式資訊抽取比賽中的具體實踐效果  [10,11,12,14,15] 。CCKS22 通用資訊抽取的具體結果可以參考相關的知乎文章以及 B 站分享影片  [10,12,14] 。

電力多模式抽取比賽是電力行業電力排程場景的事件抽取。其訓練資料如下表所示：

相比 CCKS22 通用資訊抽取，該比賽有幾個不同點：

1. A 和 B 域排程指令包含列舉型要素抽取如 “抬高電壓”， “調減功率” 等，A 域包含 10 類列舉型要素，B 域包含 10 類列舉型要素。平均到每個文字，可能每個列舉型要素只有不到 50 條資料，且不同的列舉型要素較難區分如 “調減功率”、“增加功率”、“控制功率” 等，增加了資料集的難度；

2. 結果評估不同。CCKS22 通用資訊抽取比賽對事件抽取的評估方式類似於三元組評估：

("事件型別"， “要素型別”, "要素值")

而本次比賽則側重於完整的事件元組評估即：

[("事件型別1"， “要素型別1”, "要素值1"), ..., ("事件型別1"， “要素型別n”, "要素值n")]

[("事件型別1"，“要素型別1”, "要素值11"), ..., ("事件型別12"， “要素型別n”, "要素值1n")]     

可能在一個文字中存在同一個事件型別但是完全不同的事件元組（同一個要素型別可能要素值不同如同樣的“執行狀態或條件”下，可能有不同的“傳送物件”、“命令/資訊內容”和“功能依據”）。相比三元組形式的評估，完整事件元組的評估對於抽取的完整性要求更高，這也與電力行業文字相關。

電力行業文字中往往一個事件型別包含多個不同的事件元組，不同元組的差別可能在於 “執行狀態或條件”、“傳送物件”等，如果按照 CCKS22 的事件評估方式，可能會難以區分不同的元組，導致實際生產出現較大的生產事故 如 “執行狀態或條件”與“傳送物件”發生錯誤配對 ；

3. 本次比賽需要線上提交推理包線上推理，對 推理時間（2小時） 、 壓縮包大小（6G） 有明確限制。限制了過多的模型整合等，更符合實際生產環境等應用。

我們的系統方案

這裡，主要針對資料特點做了微調：

1. 列表型要素值 {'要素型別':'v1','要素值':['u1','u2',..., 'un']}拆解為：

[{'要素型別':'v1','要素值':'u1'}, ..., {'要素型別':'v1','要素值':'un'}]    

2. 針對評估方法，我們僅將列表型要素進行位置回標、排序、合併；

結果

比賽分為兩個階段，選拔賽和決賽。

6.1 選拔賽

下表為選拔賽結果：

選拔賽階段，我們對比了百度 UIE-MRC-Base   [18] ，在前期均不使用後處理的條件下，我們的 UniLM-UIE-Large 線上即可取得  0.703  的效果，遠超 UIE-MRC-Base 的 0.589，以及官方 baseline 的 0.49。這裡，由於評估指標為完整事件元組的評估，UIE-MRC 可以較好地完成給定型別的值抽取，但難以對抽取結果合理劃分事件（如果資料集句式特殊，可能可以根據句式組合配對，但實用性較窄且方案不夠簡潔）。

後續，我們相繼評測了：

1. 資料複製，資料均衡取樣；

2. 加入 官方答疑影片 ppt 中的資料以及官方 word 文件裡面的資料；

3. 測試不同的 beam-search-size。

可以看到，基於我們 v2 版本的 UniLM-UIE（task-prefinetuning，沒有包含電力比賽資料）加入均衡取樣（基於事件型別）後，即可達到 0.808。進一步加入 官方資料中的資料後，可以進一步提升到 0.814。

而當我們將電力資料加入到 task-prefinetuning 後，v3-UniLM-UIE 即可實現 單模型 0.838   的 選拔賽 TOP1  結果：

同時，V3 版本 - no-upsampling 可以實現單模型 0.825 的效果。這裡，我們可以看到，由於少樣本場景，資料輸入的順序可能對模型效果產生較大影響  [27] ，使用均衡取樣可以降低資料輸入順序對訓練的影響。

此外，我們也評測了元組順序、元組內的要素順序 是否可變對最終結果的影響。我們發現元組順序某種程度上可以降低過擬合（資料量充足的情況下），在少樣本場景，則容易產生欠擬合（基於 V2 版本，結果在 0.80 左右，相比元組順序固定的結果，降低了 1 個點左右）。

最後，我們發現 beam-search-size 對 Y 的影響較大，所以我們設定 beam-search-size=2 作為所有 UniLM-UIE 解碼的配置。

除了資料集統一訓練外，我們還進行了不同資料組合的訓練：

• 全量抽取資料集+電力資料：實現了 A 和 B 的最佳結果，X 和 Y 下降 10 幾個點；

• AB 單獨訓練，XY 單獨訓練：實現了 X 的最佳結果；

最終，我們實現了 選拔賽 0.85163   的  TOP1   結果，同時， 選拔賽單模型（V3-UniLM-UIE） 也實現了   TOP1   的結果：

注： top2-4 均為 電力行業背景團隊 如 國家電網（主辦方單位） ， 南方電網 ， 國電南瑞 等：

注：由於前期後處理加入的較晚，做了很多模型訓練配置的嘗試，走了一些彎路。如果按照最佳實踐：

1. 任務有監、無監督資料+全量資訊抽取資料集的 task-prefinetuning；

2. 任務有監督資料的 task-finetuning；

3. 少樣本資料集 duplicate 10 份；

4. 少樣本資料均衡取樣；

可能可以在 一週內 實現該比賽的最佳單模型以及最佳模型組合結果。

6.2 決賽

我們在決賽階段主要對 Y 的句式做了一些擴充：

• 拓展字首詞。如拓展“功能依據”的字首：根據、按照、依據；

• 拓展句式模板。功能依據+命令資訊內容；

• 拓展句式模板。命令資訊內容+功能依據；

• 加入易混淆資料。官方 word，ppt 易混淆資料構造；

• 多條件構造，句號分割--->不同的元組；

決賽結果如下：

決賽階段，我們看到，UIE-MRC-Base 依然只有 0.5991 的效果，而我們的 選拔賽最佳模型可達到 0.775   的結果；後續，我們也評測了選拔賽最佳單模型 0.838 在決賽資料集的效果：

可以看到，選拔賽最佳單模型與選拔賽最佳結果相差很小。相比選拔賽結果，決賽結果的 Y 和 X 下降較多，也說明了決賽資料和選拔賽資料可能在句式、實體層面存在較大的 GAP。最後，我們使用上述提到的資料增強（基於 訓練集 500 條 樣本），使得最終結果從 0.772 提升到  0.85541 ：

注： 決賽 9.2 開始後僅一天（9.3）即可達到 ，也充分驗證了 UniLM-UIE 強大的擬合能力。

最終，加入技術文件評分後，我們總分  TOP2（ 非電力行業背景 ） [ 28 ] ：

總結

本次比賽，我們沿用了 CCKS22 通用資訊抽取的基礎模型和技術方案，並針對電力行業的資料特點、評估方式等做了微調，即可實現選拔賽單模型 TOP1、選拔賽最佳效果（0.8516）。相比其他團隊，我們本身 不具備電力行業的從業背景 和 無監督資料 ，僅能夠使用官方提供的 500 + 資料，也間接說明我們的 UniLM-UIE 對於新領域、新場景的快速遷移、快速適配能力。

基於 task-prefinetuing，我們的 UniLM-UIE 能夠從海量資料中學習抽取邏輯，即使面對垂直行業如電力行業，沒有大量的無監督資料、以及行業背景等不利條件下，我們也能夠藉助 UniLM-UIE 從其他資料集學習到的抽取能力，實現優異的領域遷移效果，為垂直行業知識圖譜構造等提供了新的方案和可能性，同時，保持整個抽取系統的簡潔性。

UniLM-UIE缺點

UniLM-UIE 縱使有更好的少樣本、領域遷移能力，其也存在一些問題：

1. 生成式解碼速度慢、schema 遍歷慢，實際中可以使用更快的解碼框架如 [22,23] ；

2. 生成 token 序列，缺少 token 位置資訊，對於基於位置資訊評估的應用或者比賽，位置回標 可能存在 遺漏、重疊等問題；

3. 長文字劃窗處理，不同窗內的解碼元組結果較難合併；

4. schema 順序、目標序列的順序對模型有影響 [10] 如資料多可能避免過擬合，資料少可能欠擬合等；

5. 相比 MRC、word-pair 等方式，生成式僅有目標解碼序列的似然值，難以通過閾值篩選等操作對解碼結果做篩選和修正；

未來工作

後續，我們會和 EasyNLP  [24]  合作，將 UniLM-UIE 適配到 EasyNLP 的框架以及 開源 V2 版本的 UniLM-UIE base 和 large 版本（包括 CCKS22 通用資訊抽取的 task-finetuning 模型），方便更多同學在不同領域測試 UniLM-UIE 的抽取效果。

此外，我們也正在基於旋轉位置編碼的 roformer  [25]  進行 bert 詞表的預訓練、UniLM-UIE 的完整訓練流程，使得 UniLM-UIE 可以支援更長的文字序列，同時，可能也能提升效果如 GLM  [17] 。

目前，結構化資訊抽取如 MRC-based、word-pair-based 等方法均需要篩選閾值輸出結果，而閾值的選擇往往基於 dev，但很難保證理想的置信度。我們後續將基於統計檢驗的方法，篩選閾值且在統計意義上以 90% 的概率滿足給定的risk，提升結果的可信度，為實際應用提供更好的保障。

最後，我們也將嘗試 soft-prompt 與大模型結合的 UIE，基於 GLM [17] 、IDEA-CCNL  [26] 、GPT-MOE  [16]  等，實現基於大模型的 UIE，為垂直行業的結構化抽取、圖譜構建 提供更好的基礎技術能力。該方案下，僅需要對不同行業和資料做 soft-prompt 微調即實現領域快速遷移，即使使用全量資料做 task-prefinetuning，也能夠以較少的微調參實現。

相比我們目前的方案，訓練開銷會小很多（畢竟，加入全量資料的 task prefinetuning 的訓練開銷較大），而不同業務、不同領域的抽取可以僅依靠 領域定製的 soft-prompt 和基礎模型即可實現，對於垂直行業的應用更加便捷，而行業基礎大模型則能夠持續依靠大資料、大算力持續提升效果。

UIE是否是抽取的終極方案

UIE 可能本身很難做到零樣本的遷移，而基於少量資料的 UIE+task-prefinetuning 的訓練流程，是有可能實現垂直行業的快速領域適配。同時，結合大模型，可預計會達到更好的抽取效果。對於垂直行業，可以提供一個更簡潔的方案，而如果想做一個模型在不同場景都通用，可能存在幾個問題：

1. 不同領域的抽取難度不同，生成式抽取對於多工建模不需要引入額外引數，而輸入資料的順序、資料複製的比例、資料取樣策略等對不同任務和資料集有不同的影響。比如筆者嘗試將所有有監督抽取資料集合並訓練，在電力選拔賽的 X 和 Y 上面下降 10 幾個點；

2. 不同的抽取任務需要的抽取能力不同，多個數據集混合訓練，很可能使得模型產生 “抽取能力 bias” 即對於某些 pattern、schema 的抽取偏好，降低其在其他資料集的抽取效果；

多模態、NLP、CV、ASR 等都在走 Unified 的路徑，可以極大降低模型碎片化的問題，集中力量辦大事。

[1] UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models

[2] Unified Structure Generation for Universal Information Extraction

[3] Unifying Language Learning Paradigms

[4] ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning

[5] DEEPSTRUCT: Pretraining of Language Models for Structure Prediction

[6] ProQA: Structural Prompt-based Pre-training for Unified Question Answering

[7] ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization

[8] A Unified Generative Framework for Aspect-Based Sentiment Analysis

[9] A Unified Generative Framework for Various NER Subtasks

[10]  https://aistudio.baidu.com/aistudio/competition/detail/161/0/leaderboard

[11]  https://aistudio.baidu.com/aistudio/competition/detail/425/0/introduction

[12] 【資訊抽取】基於UniLM的多工多形態統一抽取框架——千言資料集-嗶哩嗶哩 https://b23.tv/7A2DPYf

[13] Unified Language Model Pre-training for Natural Language Understanding and Generation

[14] 記CCKS22通用資訊抽取---One Model to Solve All Task https://zhuanlan.zhihu.com/p/550352511

[15] UniLM-UIE在電力行業多模式知識圖譜抽取比賽中的應用 https://zhuanlan.zhihu.com/p/565478147

[16] 阿里雲 PAI推出中文稀疏GPT大模型，登頂 ZeroCLUE榜單  https://www.sohu.com/a/581906245_100207435

[17] https://github.com/THUDM/GLM-130B

[18]  https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie

[19] https://spaces.ac.cn/archives/8926 GPLinker：基於GlobalPointer的事件聯合抽取

[20] NLNL: Negative Learning for Noisy Labels

[21]  https://github.com/facebookresearch/GENRE/blob/main/examples_genre/examples.ipynb

[22]  https://github.com/PaddlePaddle/PaddleNLP/tree/develop/faster_generation

[23] https://github.com/NVIDIA/FasterTransformer

[24] https://github.com/alibaba/EasyNLP

[25] https://github.com/ZhuiyiTechnology/roformer

[26] https://huggingface.co/IDEA-CCNL

[27] TableFormer: Robust Transformer Modeling for Table-Text Encoding

[28]  2022年信創大比武“新型電力系統人工智慧應用賽道”——圓滿收官

更多閱讀

:mag:

現在，在 「知乎」 也能找到我們了

進入知乎首頁搜尋 「PaperWeekly」

點選 「關注」 訂閱我們的專欄吧

·

·