ACM SIGIR 2022 | 美團技術團隊精選論文解讀

語言: CN / TW / HK

SIGIR是資訊檢索方向的國際頂級會議(CCF-A類)。第 45 屆國際資訊檢索大會(The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval,SIGIR 2022)已於上週(2022年7月11-15日)在西班牙馬德里舉行,同時也支援線上參會。本次會議共收到 794 篇長文投稿,其中 161 篇長文被錄用,錄用率約 20%;共收到 667 篇短文投稿,其中 165 篇短文被錄用,錄用率約 24.7%。

今年美團技術團隊有多篇論文被ACM SIGIR 2022收錄,這些論文涵蓋了觀點標籤生成、跨域情感分類、對話摘要領域遷移、跨域檢索、點選率預估、對話主題分割等多個技術領域。本文將精選10篇論文做簡要的介紹(附下載連結),希望能對從事相關研究的同學有所幫助或啟發。

論文01:Personalized Abstractive Opinion Tagging

|下載地址https://dl.acm.org/doi/pdf(Full Paper)

| 論文作者:趙夢雪(美團),楊揚(美團),李淼(美團),王金剛(美團),武威(美團),任鵬傑(山東大學),Maarten de Rijke(阿姆斯特丹大學),任昭春(山東大學) | 論文簡介:觀點標籤是一組總結使用者對產品或服務感受的短文字序列,通常由針對產品特定方面的一組短句組成。相較於推薦理由、方面標籤、產品關鍵詞等自然語言文字,觀點標籤能兼顧資訊的完整性和關鍵資訊的順序性問題。關鍵詞描述了該商戶的基本資訊,推薦理由可看作該商戶下真實使用者評論的高度濃縮,而觀點標籤“肉質很新鮮”則更完整地表達了當前使用者對於該商戶的“食材新鮮”方面的關鍵資訊。

現有觀點標籤的標籤順序,只反映了基於統計資訊的大眾偏好,忽略了不同使用者的個性化偏好。本文提出一種個性化的觀點標籤生成框架POT。基於產品評論提取產品關鍵資訊,並通過使用者評論和使用者行為追蹤使用者的顯式和隱式偏好,以確定關鍵資訊的順序,從而保證產品資訊依據使用者的感興趣程度排列。我們設計了一個基於評論的層次異構圖聯合建模了使用者、產品、方面標籤和評論中的詞,通過節點間深層次的資訊互動,挖掘使用者和產品之間的潛在關係,緩解了評論的稀疏性問題。同時,我們基於使用者對產品的點選、收藏和購買行為構建了多類行為圖,通過探索使用者之間的相似關係進一步增強使用者偏好表示。我們針對評論資料和行為資料的不同特點設計了不同的去噪模組以保證使用者偏好表示的準確性。我們構建了基於大眾點評真實資料的個性化觀點標籤資料集PATag,並在生成指標和排序指標中取得了良好的效果。此論文為NLP CIKM 2020論文《Query-aware Tip Generation for Vertical Search》的後續工作。

論文02:Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification

| 下載地址https://arxiv.org/pdf(Full Paper)

| 論文作者:張凱(美團),劉淇(中國科學技術大學),黃振亞(中國科學技術大學),張夢迪(美團),張琨(合肥工業大學),程明月(中國科學技術大學),武威,陳恩紅(中國科學技術大學)

| 論文簡介:跨域情感分類(CDSC)旨在使用從源域中學習到的可遷移語義資訊來預測未標記目標域中評論的情感極性。目前針對該任務的研究更多地關注句子層面的序列建模,很大程度上忽略了嵌入在圖結構中的豐富的域不變語義資訊(即詞性標籤和依賴關係)。作為探索與理解語言理解特徵的一個重要方面,自適應圖表示學習近年來發揮了至關重要的作用,尤其是在許多基於圖表徵模型的傳統NLP任務中。例如在細粒度的情感分析(ABSA)任務中,利用圖結構中的句法資訊來增強Aspect的語義表示已經成為SOTA模型的基本配置。

在本論文中,我們旨在探索從CDSC中的類圖結構中學習不變語義特徵的可能性。我們提出了圖自適應語義遷移(Graph Adaptive Semantic Transfer, GAST)模型,這是一種自適應句法圖嵌入表徵方法,能夠從單詞序列和句法圖中學習域不變語義。具體地說,我們首先設計了一個POS-Transformer模組來從單詞序列以及詞性標籤中提取序列化的語義特徵;然後,我們設計了一個混合圖注意(Hybrid-GAT)模組,通過考慮可遷移、域共享的圖依賴關係來生成基於句法的通用語義特徵;最後,我們設計了一個整合的自適應優化策略(Integrated aDaptive Strategy, IDS)來指導兩個模組的聯合學習過程。在四個公共資料集上進行的廣泛實驗證明,GAST的有效性優於一系列最先進的模型。

論文03:ADPL: Adversarial Prompt-based Domain Adaptation for Dialogue Summarization with Knowledge Disentanglement

| 下載地址https://dl.acm.org/doi/pdf(Full Paper)

| 論文作者:趙璐璐(北京郵電大學),鄭馥嘉(北京郵電大學),曾偉豪(北京郵電大學),何可清,耿若彤(北京郵電大學),江會星(美團),武威(美團),徐蔚然(北京郵電大學)

| 論文簡介:領域自適應是機器學習中的一個基本任務。在本文中,我們研究對話摘要任務中的領域遷移問題,試圖藉助源域的有標註資料遷移到無標註或少標註的目標域,進而提升低資源目標域下對話摘要的生成效果,可用於解決實際場景中小業務資料匱乏的挑戰。傳統的對話摘要領域遷移方法往往依賴於大規模領域語料,藉助於預訓練來學習領域間知識。該方法的缺點是實際語料收集難,對算力要求高,針對每一個目標域都需要進行耗時的預訓練過程,效率低。

本文從微調的角度出發,提出了一種輕量級的解耦知識遷移方法ADPL,無需大規模的預訓練過程,僅僅利用源域資料和少量的無標註目標域資料,即可實現高質量的對話摘要生成。具體來說,我們基於Prompt Learning的思想,針對對話摘要任務中的領域遷移問題,提出了三種特定的prompt結構:Domain-Invariant Prompt (DIP)、Domain-Specific Prompt (DSP)和Task-Oriented Prompt (TOP),其中DIP用來捕獲領域間的共享特徵,DSP用來建模領域特有知識,TOP用來促進生成流暢的摘要。在訓練中,我們僅僅更新這些Prompt相關的引數就可以實現領域間知識的解耦和遷移,相比較之前的預訓練方法,訓練高效環保,對機器的視訊記憶體要求顯著降低。同時,我們基於兩個大規模的對話摘要資料集QMSum和TODSum構建了對話摘要領域遷移評測集,在兩個評測集上取得了一致的最優效果,實驗結果和消融分析都證明了本文提出方法的有效性。

論文04:Structure-Aware Semantic-Aligned Network for Universal Cross-Domain Retrieval

| 下載地址https://dl.acm.org/doi/pdf(Full Paper)

| 論文作者:田加林(美團), 徐行(電子科技大學),王凱(電子科技大學),曹佐(美團),蔡勳樑(美團),申恆濤(電子科技大學)

| 論文簡介:跨域檢索(Cross-Domain Retrieval,CDR)旨在實現基於內容的多域影象表徵對齊和檢索;當域間差異過大時,也稱之為跨模態檢索。傳統的CDR方法只考慮訓練和測試資料來源於相同的域和相同類。然而,實際應用場景中測試樣本常來自於未見類,或者未見域,又或者兩者皆是。卷積神經網路已經成為CDR任務主流,然而,由於卷積操作的內在區域性性,CNN在對物體的全域性結構資訊進行建模時受到明顯的制約。

基於上述問題,我們提出通用跨域檢索(Universal Cross-Domain Retrieval, UCDR),其測試資料可以來源於未見類、未見域或者兩者結合,方法中我們使用基於Vision Transformer(ViT)的結構感知語義對齊網路,利用ViT的能力來建模物體的全域性結構資訊。具體而言,我們將自監督預訓練的ViT模型和微調模型整合到一個框架下,通過對齊軟標籤防止微調模型遺忘全域性結構資訊,提升微調模型泛化性;通過可學習的類原型在超球空間對齊多域表徵,提升微調模型的判別性。實驗結果表明,我們的方法在跨域檢索任務上遠超現有演算法,成功實現跨域表徵對齊和模型泛化性。

論文05:Multimodal Disentanglement Variational Autoencoders for Zero-Shot Cross-Modal Retrieval(Full Paper)

| 下載地址https://dl.acm.org/doi/pdf

| 論文作者:田加林(美團),王凱(電子科技大學),徐行(電子科技大學),曹佐(美團),沈復民(電子科技大學),申恆濤(電子科技大學)

| 論文簡介:測試集由未見類組成是零樣本跨模態檢索(Zero-Shot Cross-Modal Retrieval,ZS-CMR)關注的一個實際的檢索場景。現有方法通常採用生成模型作為主要框架,學習聯合潛在嵌入空間表徵以緩解模態差異。一般來說,這些方法主要依靠額外的語義嵌入實現跨類的知識遷移,並且不自覺地忽略了生成模型中資料重建方式的影響。

基於上述問題,我們提出一個稱為多模態解耦變分自編碼器(MDVAE)的ZS-CMR模型,它由兩個特定於模態的解耦變分自編碼器(DVAE)和一個融合交換自動編碼器(FVAE)組成。具體來說,DVAE把每種模態的原始表徵分解為模態不變特徵和特定於模態的特徵。FVAE通過重構和對齊過程來融合和交換多模態資料的資訊,而無需額外的語義嵌入。此外,我們還提出了一個新穎的反直覺交叉重構方案,以提高模態不變數特徵的資訊量和通用性,從而實現更有效的知識遷移。提出的方法在影象-文字和影象-草圖檢索任務中取得明顯效能提升,建立了新的SOTA結果。

論文06:Co-clustering Interactions via Attentive Hypergraph Neural Network

| 下載地址https://dl.acm.org/doi/pdf(Full Paper)

| 論文作者:楊天持(北京郵電大學),楊成(北京郵電大學),張路浩(美團),石川(北京郵電大學),胡懋地(美團),劉懷軍(美團),李滔(美團),王棟(美團)

| 論文簡介:隨著如電商平臺中的使用者-商家/商品的點選或者購買等互動資料的快速增多,人們提出了許多聚類方法用於發現互動模式,例如在外賣場景中的“白領經常在下午購買咖啡以提升工作效率”,從而作為先驗知識來幫助下游任務。考慮到互動可以被視為多個物件之間發生的一個動作,大多數現有方法將物件及其成對關係建模為圖中的節點和邊。然而,他們只對實際的完整互動中的部分資訊進行了建模和利用,即要麼將一個完整互動分解成若干個成對的子互動以進行簡化,要麼只專注於對某些特定型別的物件進行聚類,這限制了聚類的效能和解釋性。

在本文中,針對這一問題,我們提出通過注意力超圖神經網路對互動進行協同聚類(CIAH)。具體來說,在通過超圖對互動進行更全面的建模(包括使用者屬性、商家屬性、菜品屬性、時空屬性等)後,我們提出一個注意力超圖神經網路來編碼完整互動,其中使用注意機制來選擇重要的屬性以作為聚類結果的解釋。然後,我們引入了一種顯著性方法來指導注意力機制的學習,以使其與屬性的真實重要性更加一致,稱為基於顯著性的一致性。此外,我們還提出了一種新穎的協同聚類方法來對互動的表示和相應的屬性選擇分佈進行協同聚類,稱為基於聚類的一致性。實驗表明CIAH在公開資料集和美團資料集上均顯著優於最先進的聚類方法。

論文07:DisenCTR: Dynamic Graph-based Disentangled Representation for Click-Through Rate Prediction

| 下載地址https://dl.acm.org/doi/pdf(Short Paper)

| 論文作者:王一帆(北京大學),覃義方(美團),孫昉(美團),張博(美團),侯旭陽(美團),胡可(美團),程佳(美團),雷軍(美團),張銘(北京大學)

| 論文簡介:點選率(CTR)預估在推薦系統、搜尋廣告等下游業務中有著重要的應用。現有工作常常通過使用者行為序列刻畫使用者興趣,卻未能捕捉使用者實時興趣的多樣性(Diversity)和流動性(Fluidity)。為了更加準確地刻畫使用者實時興趣,提升CTR預估質量,該論文提出了基於動態圖的解耦合表示框架DisenCTR,對使用者不斷變化的多興趣進行建模。DisenCTR在動態時序U-I子圖上通過動態路由機制提取使用者多興趣的解耦合表示(Disentangled Representation),並使用混合霍克斯過程(Mixture of Hawkes Process)模擬使用者歷史行為中的自激效應。該模型在公開資料集和美團私有資料集上均取得了顯著的效能提升。

論文08:Hybrid CNN Based Attention with Category Prior for User Image Behavior Modeling

| 下載地址https://arxiv.org/pdf(Short Paper)

| 論文作者:陳鑫(美團),唐慶濤(美團),胡可(美團),徐越(美團),邱世航(香港科技大學),程佳(美團),雷軍(美團)

| 論文簡介:在推薦廣告場景中,每個POI會展示其對應的圖片,展示的圖片通常會影響使用者是否點選這個POI,這意味著建模使用者對圖片的偏好有助於CTR建模。業界對圖片建模大多數停留在POI側,較少關注使用者側圖片行為序列的建模。目前現有的使用者創意圖片行為序列模型通常使用Two-Stage的模型結構,即在第一階段通過現成的CNN網路提取創意圖片的Embedding,第二階段使用圖片Embedding和CTR模型聯合訓練,這種兩階段架構對於CTR建模是次優的,除此之外現有的CNN缺乏場景屬性相關的類別先驗,會導致CNN提取場景任務無關的特徵,從而限制了CNN的表達能力。

為此,在本文中我們設計了一種Fixed-CNN和Trainable-CNN混合的Hybrid CNN結構(HCCM),來建模使用者影象行為序列。文章主要貢獻:1)通過ImageNet預訓練的引數初始化淺層CNN,固定淺層CNN引數的同時將深層CNN與CTR模型聯合訓練。2)設計了將候選圖片和使用者對圖片的偏好相結合的圖片語意Attention機制,為提升CNN在推薦廣告CTR任務上的特徵提取能力,HCCM將圖片和圖片的類別先驗在Feature Map維度通過Channel Attention的方式提取類目體系相關特徵。相關技術方案在到店推薦廣告的所有場景(包括首頁資訊流推薦、商戶詳情頁推薦和團單詳情頁推薦等)均取得了顯著效果。

論文09:Dialogue Topic Segmentation via Parallel Extraction Network with Neighbor Smoothing

| 下載地址https://dl.acm.org/doi/pdf(Short Paper)

| 論文作者:夏今雄(美團),劉操(美團),陳見聳(美團),李宇琛(美團),楊帆(美團),蔡勳樑(美團),萬廣魯(美團),王厚峰(北京大學)

| 論文簡介:對話主題分割需要將對話分割成具有預定義主題的片段。現有的主題切分研究採用兩階段正規化,包括文字切分和片段標註。然而,這些方法在分割時往往側重於區域性上下文,並且沒有很好地捕捉到片段間的依賴關係。此外,對話段邊界的模糊性和標籤噪聲對現有模型提出了進一步的挑戰。

為此,我們提出了基於鄰域平滑的並行抽取網路 (PEN-NS) 來解決上述問題。具體來說,我們提出了並行抽取網路來執行片段提取,優化片段的二分匹配代價以捕獲片段間的依賴關係。此外,我們還提出了鄰域平滑來處理資料噪聲和邊界模糊。在基於對話和基於文件的主題分割資料集上的實驗表明,PEN-NS的效能顯著優於現有的模型。

論文10:Deep Page-Level Interest Network in Reinforcement Learning for Ads Allocation

| 下載地址https://dl.acm.org/doi/pdf(Short Paper)

| 論文作者:廖國鋼(美團),石曉文(美團),王澤(美團),吳曉旭(美團),張楚珩(美團實習生),王永康(美團),王興星(美團),王棟(美團)

| 論文簡介:在Feed流場景下,使用者在頁面的行為模式受頁面展示多個物品影響,單點興趣無法建模頁面內多物品的競爭關係,難以利用更豐富的請求級使用者行為資訊(如下刷,流失等),無法充分提取使用者複雜的頁面級決策模式。因此,如何利用使用者的請求級行為資訊,建模列表物品的競爭關係和相互影響,在重排、混排、預估等場景均有極大業務價值,是一個非常有意義也極具挑戰性的問題。業界主流使用者興趣建模框架側重通過單物品行為序列來刻畫使用者的興趣,主要有三方面侷限性:一是單物品序列忽略了列表中物品競爭關係;二是點選下單等單物品行為忽略了使用者的頁面級行為資訊,對於使用者行為刻畫不完整;三是忽略使用者感受野差異,不同使用者對頁面中不同區域物品的關注度有較大差異。

針對以上挑戰,本文設計了基於強化學習框架的頁面級深度興趣網路框架(DPIN),利用使用者的列表粒度行為資訊,刻畫列表廣告與廣告、廣告與自然結果的競爭關係和相互影響,建模使用者在瀏覽頁面時複雜的決策行為模式。具體有四方面:一是基於使用者歷史行為構造Page-Level序列,設計頁面內自注意力層對頁面內競爭關係進行建模;二是在點選下單行為的基礎上,增加下刷、流失屏等頁面級負反饋、隱式反饋資訊,並對隱式反饋資訊去噪;三是設計不同卷積核對頁面的區域性視野資訊進行抽取,得到多個通道的Page-Level資訊,建模考慮使用者感受野差異;四是設計Page-Level行為匹配層,對不同通道的使用者歷史行為序列和當前候選序列進行整體匹配建模,提升廣告分配決策效率。本文的技術方案在美團外賣場景取得了顯著效果,並完成線上大規模落地。此論文為WWW 2022論文《Cross DQN: Cross Deep Q Network for Ads Allocation in Feed》的後續工作。

寫在後面

以上這些論文是美團技術團隊與各高校、科研機構通力合作的成果。本文主要介紹了我們在觀點標籤、跨域情感分類、領域自適應、跨域檢索、點選率預估、對話主題分割等技術領域做的一些科研工作。希望能對大家有所幫助或啟發,也歡迎大家跟我們進行交流。

美團科研合作

美團科研合作致力於搭建美團技術團隊與高校、科研機構、智庫的合作橋樑和平臺,依託美團豐富的業務場景、資料資源和真實的產業問題,開放創新,匯聚向上的力量,圍繞機器人、人工智慧、大資料、物聯網、無人駕駛、運籌優化等領域,共同探索前沿科技和產業焦點巨集觀問題,促進產學研合作交流和成果轉化,推動優秀人才培養。面向未來,我們期待能與更多高校和科研院所的老師和同學們進行合作。歡迎老師和同學們傳送郵件至:[email protected]

閱讀美團技術團隊更多技術文章合集

前端 | 演算法 | 後端 | 資料 | 安全 | 運維 | iOS | Android | 測試

| 在公眾號選單欄對話方塊回覆【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞,可檢視美團技術團隊歷年技術文章合集。

| 本文系美團技術團隊出品,著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容,敬請註明“內容轉載自美團技術團隊”。本文未經許可,不得進行商業性轉載或者使用。任何商用行為,請傳送郵件至[email protected]申請授權。