OneStop QAMaker: 一站式文件問答對抽取

語言: CN / TW / HK

論文: OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach

來源:WWW 2021

ABSTRACT

大規模問答對資料 對推進機器閱讀理解、問答等領域的研究至關重要。現有的從文件中抽取問答對的方法通常 基於pipeline方式 :先從文件中選擇可能的答案片段,再根據答案生成問題。但這樣的方法 忽略了問題生成與答案抽取之間的聯絡 ,可能導致生成的QA對不相容,即抽取的答案不適於問題生成。而人類標註者會考慮整個QA對並考慮問題和答案之間的相容性。受此啟發,論文提出 OneStop:以一站式的方式從文件中抽取問答對 。具體來說,問題和答案同時提取,且問題生成和答案抽取過程相互影響。此外,OneStop在工業場景中的訓練和部署會更為有效,因為它僅涉及一個模型。論文在SQuAD、NewsQA和DuReader資料集上進行了實驗,結果表明OneStop在 生成問題的質量、生成問答對的質量和模型效率方面 都明顯優於基線。

INTRODUCTION

pipeline方式 從文件中抽取問答對的方法有兩個 弊端

  1. 問題生成和答案抽取過程之間沒有顯式關聯,即問題生成模型和答案抽取模型在訓練過程中是獨立的,這導致提取的問答對 不相容
  2. 基於pipeline的方法由於涉及至少兩個模型,在工業應用中訓練和部署 麻煩且耗時 ,且沿pipeline會有 累積誤差。

人類標註者 在從文件中抽取問答對時會考慮相容性及QA對的整體質量。受此啟發,論文將問題生成和答案抽取整合到一個 統一架構 中來提升問答對的相容性。OneStop模型對目標概率 直接優化 ,其問題生成和答案抽取模組相互協作:

  1. 答案抽取任務使問題生成模組生成更加可以回答的問題,因為根據不可回答的問題抽取答案是困難的;
  2. 問題生成任務可增強答案抽取模組的表現,因此答案抽取模型會對易提問點給予更多關注。

此外,將問題生成模型和答案抽取模型統一在一個單一模型中,使OneStop比現存的至少有兩個模型的pipeline方法 輕量 很多。

論文貢獻

  1. 提出了一個統一的架構,使答案抽取模組和問題生成模組可以相互促進。
  2. OneStop是第一個以一站式方式生成相容問答對的基於transformer的模型。
  3. OneStop可以很容易地以現有預訓練語言模型為基礎構建,相比於pipeline方法在工業場景下訓練和部署更加高效。
  4. 在三個資料集上做了充分的實驗,在問題生成、問答對生成、模型效率方面對模型進行了評估。

RELATED WORK

目前大多方法使用pipeline的方式實現。

ONESTOP MODEL

模型架構可表示為:

其中 為模型引數,被問題生成模組和答案抽取模組共享,因此兩者可互相影響。

模型採用 基於transformer的seq2seq架構 實現,論文中使用BART,由 雙向編碼器自迴歸解碼器 構成。編碼器輸入文件,解碼器生成問題,答案開始和結束位置的預測基於編碼器輸出與解碼器結尾輸出。

問題生成 採用交叉熵損失:

文件中每個token作開始和結束的概率預測公式為:

答案抽取 交叉熵損失表示為:

因此模型 訓練目標 可表示為:

其負對數似然表示為:

最終 模型損失 定義為:

EXPERIMENTS

資料集:SQuAD、NewsQA、DuReader

資料集處理:答案需是文件片段,過濾掉DuReader中的部分資料;一篇文件對應一個QA對,對資料集中的長文件進行拆分。

問題生成

  • 比較BART-QG可發現答案抽取可促進問題生成模型的效能。

問答對生成

  • OneStop中的答案抽取模組效能不及BERT,原因是BERT層數更多,具備更強的表示能力;
  • 與BART-QG+BERT-MRC模型結果相比,可知OneStop模型中答案抽取模組對生成QA對質量有提升作用。

模型效率

  • 僅包含一個模型,引數量較小,在訓練和部署時均較高效;
  • pipeline模型在線上應用時需額外的人工勞動,如D2A2Q中答案抽取模型可能不選擇或選擇一個以上的答案,則需設計較好的規則從候選中選擇答案用於問題生成。

CONCLUSION

基於pipeline的QA對生成方法存在不相容、效率低、需人工參與等問題。本文提出一站式模型,在三個資料集上以更高效的方式實現了問題生成和QA對生成的SOTA。

思考:本文模型一個文件僅對應一個QA對,無法保證生成QA對的多樣性,實際應用中在對文件拆分時,無法保證拆分後的文件僅對應於一個QA對。