AAAI 2021最佳論文獎出爐,北航成最大贏家,還有這樣一批華人學術新星! - 知乎

語言: CN / TW / HK
第 35 屆 AAAI 人工智慧會議已於 2 月 2 日在線上召開。在剛剛舉行的開幕式上,組委會頒發了今年的最佳論文獎和提名獎,分別有三篇論文獲獎。其中來自北航的學者以一作身份分別獲得了一篇最佳論文獎和一篇提名獎。此外,會議還宣佈了「學術新星獎」,共有多名華人獲得獎項。

機器之心報道,機器之心編輯部。

作為全球人工智慧頂會之一,雖然受到疫情限制,但 AAAI 2021 的熱度仍然不減,本屆 9034 篇提交論文的數量又創下了歷史新高(去年為 8800 篇)。其中,來自中國的 3319 篇論文數量幾乎是美國(1822 篇)的兩倍。在最終 7911 篇經過評審的論文中,共有 1692 篇被接收。今年的論文接收率為 21%,略高於去年(20.6%)。

AAAI 2021 大會主席為微眾銀行首席人工智慧官楊強教授,楊強教授是 AAAI 大會歷史上第二位大會主席,也是擔任此職位的首位華人。

最佳論文獎:兩篇華人一作

本次會議共有三篇論文獲得最佳論文獎項,其中兩篇獲獎論文的第一作者為華人學者,他們分別是來自北京航空航天大學的 Haoyi Zhou 和來自達特茅斯學院的 Ruibo Liu。

AAAI 2021程式委員會 Cochair Mausam公佈論文獎項。
  • 最佳論文 1:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
  • 論文連結:https://arxiv.org/pdf/2012.07436.pdf
  • 作者:Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang
  • 機構:北京航空航天大學、加州大學伯克利分校、羅格斯大學、北京國網富達科技發展有限責任公司

論文摘要:許多實際應用需要對長序列時間序列進行預測,例如用電計劃。長序列時間序列預測(LSTF)對模型的預測能力要求很高,即能夠高效捕獲輸出和輸入之間精確的長程依賴。近年來的研究表明,Transformer 具有提高預測能力的潛力。然而,Transformer 存在幾個嚴重的問題,因而無法直接應用於 LSTF,比如二次時間複雜度、高記憶體使用率以及編碼器 - 解碼器架構的固有侷限。

為解決這些問題,該研究為 LSTF 設計了一個基於高效 transformer 的模型——Informer,該模型具備三個特徵:

1)ProbSparse 自注意力機制,其時間複雜度和記憶體使用達到 O(L log L),在序列依賴對齊方面具有不錯的效能;2)自注意力蒸餾通過將級聯層輸入減半來突出注意力,並且能夠高效地處理極長的輸入序列;3)儘管生成風格解碼器在概念上非常簡單,但它會在一次前向操作中預測較長的時序序列,而不是逐步預測,這極大地提高了長序列預測的推斷速度。

Informer 模型圖示。

該研究在四個大規模資料集上進行了大量實驗,結果表明 Informer 顯著優於現有的方法,為 LSTF 問題提供了一種新的解決方案。

論文一作 Haoyi Zhou

這篇論文的作者全是華人,分別來自北京航空航天大學、加州大學伯克利分校、羅格斯大學等機構,其中一作 Haoyi Zhou 為北航博士。

  • 最佳論文 2:Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory
  • 論文連結:https://arxiv.org/pdf/2012.03083.pdf
  • 作者:Stefanos Leonardos, Georgios Piliouras
  • 機構:新加坡科技設計大學

論文摘要:探索 - 利用(exploration-exploitation)是多智慧體學習(MAL)中強大而實用的工具,但其效果遠未得到理解。為了探索這個目標,這篇論文研究了 Q 學習的平滑模擬。首先,研究者認為其學習模型是學習「探索 - 利用」的最佳模型,並提供了強大的理論依據。具體而言,該研究證明了平滑的 Q 學習在任意博弈中對於成本模型有 bounded regret,該成本模型能夠明確捕獲博弈和探索成本之間的平衡,並且始終收斂至量化響應均衡(QRE)集,即有限理性下博弈的標準解概念,適用於具有異構學習智慧體的加權潛在博弈。

該研究的主要任務轉向衡量「探索」對集體系統效能的影響。研究者在低維 MAL 系統中表徵 QRE 表面的幾何形狀,並將該研究的發現與突變(分歧)理論聯絡起來。具體而言,隨著探索超引數隨著時間的演化,系統會經歷相變。在此過程中,給定探索引數的無窮小變化,均衡的數量和穩定性可能會發生劇烈變化。在此基礎上,該研究提供了一種形式理論處理方法,即如何調整探索引數能夠可驗證地產生均衡選擇,同時對系統性能帶來積極和消極(以及可能無限)的影響。

論文一作 Stefanos Leonardos
  • 最佳論文 3(最佳 AISI 論文):Mitigating Political Bias in Language Models Through Reinforced Calibration
  • 論文連結:https://www.cs.dartmouth.edu/~rbliu/aaai_copy.pdf
  • 作者:Ruibo Liu, Chenyan Jia, Jason Wei, Guangxuan Xu, Lili Wang, and Soroush Vosoughi
  • 機構:達特茅斯學院、德克薩斯大學奧斯汀分校、谷歌 AI

論文摘要:由於訓練資料的問題,目前的大規模語言模型存在政治偏見,因此在真實場景中應用時可能導致嚴重的問題。這篇論文介紹了度量 GPT-2 生成中政治偏見的指標,並提出一種緩解生成文字中政治偏見的強化學習(RL)框架。該 RL 框架使用來自詞嵌入或分類器的獎勵,引導無偏見的文字生成,且無需訪問訓練資料、模型也不需要重新訓練。

實驗表明,對於政治偏見敏感的三種屬性(性別、地域和話題),該方法都降低了偏見,同時維持文字的可讀性和語義連貫性。

論文一作 Ruibo Liu。

這篇論文的作者列表中包括多位華人,其中一作 Ruibo Liu 在達特茅斯學院攻讀電腦科學博士學位,對 NLP 與社交計算的交叉領域感興趣。多篇論文發表在 AAAI、EMNLP、CSCW、ICWSM 會議上。

最佳論文提名

除了最佳論文獎以外,本次大會還公佈了最佳論文提名(Runners Up),共有三篇論文獲得此獎項。

  • 論文 1:Learning From Extreme Bandit Feedback
  • 論文連結:https://arxiv.org/pdf/2009.12947.pdf
  • 作者:Romain Lopez, Inderjit Dhillon, Michael I. Jordan
  • 機構:加州大學伯克利分校、德克薩斯大學奧斯汀分校


  • 論文 2:Self-Attention Attribution: Interpreting Information Interactions Inside Transformer
  • 論文連結:https://arxiv.org/pdf/2004.11207.pdf
  • 作者:Yaru Hao, Li Dong, Furu Wei, Ke Xu
  • 機構:北京航空航天大學、微軟研究院


  • 論文 3:Dual-Mandate Patrols: Multi-Armed Bandits for Green Security
  • 論文連結:https://arxiv.org/pdf/2009.06560.pdf
  • 作者:Lily Xu, Elizabeth Bondi, Fei Fang, Andrew Perrault, Kai Wang, Milind Tambe
  • 機構:哈佛大學、卡內基梅隆大學


其中,論文《Self-Attention Attribution: Interpreting Information Interactions Inside Transformer》的作者均為華人,一作 Yaru Hao 來自北京航空航天大學;論文《Dual-Mandate Patrols: Multi-Armed Bandits for Green Security》的作者中也有多名華人,一作 Lily Xu 來自哈佛大學。

多位華人學者獲評「學術新星」

在各個論文獎項之外,本次 AAAI 大會還頒發了「學術新星(New Faculty Highlight)」榮譽,上榜者包括楊笛一(Diyi Yang)、馬航(Hang Ma)、杜少雷(Simon S. Du)、Noam Brown、孫舉(Ju Sun)、李俊東(Jundong Li)、牟力立(Lili Mou)等。其中,來自位元組跳動 AI Lab 的許晶晶博士成為了中國研究機構中的唯一入選者。

學術新星是這一屆 AAAI 大會新啟動的專案,重點介紹剛剛開始職業生涯的研究人員,申請條件包括:

1、在研究型大學擔任教職,或在業界擔任類似的職位(比如研究實驗室職位、獨立研究等);2、在頂級會議 / 期刊上發表或接收至少六篇論文,或引用量累積達到 500,以及在頂級會議中獲得過最佳論文獎,或將研究成果轉化為涉及 1000 人以上的部署系統。

本次上榜的華人學者部分介紹如下:

楊笛一(Diyi Yang)

楊笛一(Diyi Yang)是佐治亞理工學院互動計算學院助理教授,該機構隸屬於機器學習中心。她曾在卡耐基梅隆大學的語言技術學院獲得博士學位,研究方向面向計算社會科學和自然語言處理。她的研究曾被 EMNLP 2015、ICWSM 2019 和 ACM CHI 2019 等學術會議收錄。

馬航(Hang Ma)

馬航本科就讀於浙江大學,在麥吉爾大學和南加州大學分別獲得碩士和博士學位。目前是加拿大西蒙弗雷澤大學的電腦科學助理教授,也是自主智慧和機器人實驗室的負責人,研究興趣包括智慧規劃、多智慧體 / 機器人系統、時空約束推理,概率方法應用以及與圖、組合優化和演算法有關的其他主題。

杜少雷(Simon S. Du)

杜少雷目前是華盛頓大學電腦科學與工程系 Paul G. Allen School 的助理教授,他在 UC 伯克利獲得碩士學位,在卡耐基梅隆大學機器學習專業獲得博士學位,研究興趣包括深度學習、表徵學習和強化學習等領域。

孫舉(Ju Sun)

孫舉 2008 年於新加坡國立大學獲得學士學位,2016 年在斯坦福大學獲博士學位,現為明尼蘇達大學雙城分校助理教授。

李俊東(Jundong Li)

李俊東現任弗吉尼亞大學電氣與計算機工程系助理教授,2019 年獲亞利桑那州立大學電腦科學博士學位。研究興趣包括資料探勘、機器學習和社交計算。他曾多次在 AAAI、KDD 等頂會上發表學術論文,論文引用次數超過 1000。李俊東還領導開發開源特徵選擇庫(scikit-feature),多次在國際學術會議的程式委員會中任職。

牟力立(Lili Mou)

牟力立,現為加拿大阿爾伯塔大學計算機科學系助理教授、阿爾伯塔機器智慧研究所成員(Amii Fellow),CIFAR 人工智慧主席專案成員(CIFAR AI Chair)。他分別於 2012 年和 2017 年在北京大學計算機系取得學士、博士學位,後曾在滑鐵盧大學擔任博士後研究工作。研究興趣包括基於機器學習的自然語言處理和程式語言處理。

許晶晶(Jingjing Xu)

許晶晶現為位元組跳動人工智慧實驗室研究員。2020 年從北京大學畢業加入位元組跳動。過去五年已經發表了超過 10 篇頂級會議論文,包括 NeurIPS、ACL、EMNLP,研究興趣為 green learning 和知識重用。

此外,CMU 大神 Noam Brown 也位列其中。Noam Brown 是遊戲 AI 系統冷撲大師(Libratus)和 Pluribus 的開發團隊成員,不完美資訊博弈是他的研究重點之一。

2017 年,Noam Brown 與其導師 Tuomas Sandholm 開發的 AI 系統 Libratus 在賓夕法尼亞州匹茲堡 Rivers 賭場持續 20 天 1 對 1 無限制德撲比賽中成功戰勝了 4 名全球頂級職業玩家。該研究登上了《科學》雜誌,與研究相關的另一篇論文《Safe and Nested Subgame Solving for Imperfect-Information Games》還獲得了 NIPS 2017 最佳論文獎

去年 9 月,Noam Brown 公開博士論文《大型對抗性不完美資訊博弈的均衡發現》,現在他是 Facebook 人工智慧實驗室的研究科學家。