KDD 2022 | 美團技術團隊精選論文解讀

語言: CN / TW / HK

今年,美團技術團隊有多篇論文被KDD 2022收錄,這些論文涵蓋了圖譜預訓練、選擇演算法、意圖自動發現、效果建模、策略學習、概率預測、獎勵框架等多個技術領域。本文精選了7篇論文做簡要介紹(附下載連結),希望能對從事相關研究方向的同學有所幫助或啟發。

ACM SIGKDD國際會議(簡稱 KDD)是由ACM的資料探勘及知識發現專委會主辦的資料探勘研究領域的頂級年會,屬於CCF A類會議。由於KDD的交叉學科性和廣泛應用性,其影響力也越來越大,吸引了來自統計、機器學習、資料庫、全球資訊網、生物資訊學、多媒體、自然語言處理、人機互動、社會網路計算、高效能運算及大資料探勘等眾多領域的從業者和研究學者。第28屆KDD會議於2022於8月14日至18日在美國華盛頓舉行。

論文01:Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries(支援知識推理的圖譜預訓練)

| 下載地址KG-Transformer

| 論文作者:劉瀟(清華大學)、趙時予(清華大學)、蘇凱(清華大學)、岑宇闊(美團)、裘捷中(清華大學)、東昱曉(清華大學)、張夢迪(美團)、武威(美團)、唐傑(清華大學)

| 論文簡介:面向複雜邏輯查詢的知識圖譜預訓練。論文研究了知識圖譜中複雜邏輯查詢問題,討論了主流的基於知識圖譜嵌入的推理器的固有缺陷,並提出了基於KGTransformer的新型圖神經網路推理器,及其對應的預訓練與微調方法。KGTransformer在兩個主要的知識圖譜推理資料集上取得了最優的結果,尤其是在域外任務上取得了良好的泛化效能,證明了這一思路應用於知識圖譜推理的廣泛前景。

論文02:AutoFAS: Automatic Feature and Architecture Selection for Pre-Ranking System(粗排場景自動特徵與結構選擇演算法)

| 下載地址AutoFAS | 論文作者:李想(美團)、周曉江(美團)、肖垚(美團)、黃培浩(美團)、陳達遙(美團)、陳勝(美團)、仙雲森(美團)

| 論文簡介:工業級別的搜尋推薦系統主要遵循召回、粗排、精排、重排的演算法體系。為了滿足粗排巨大的打分規模和嚴格的時延要求,雙塔模型仍然被廣泛使用。為了提高模型的效果,一些方案會額外使用精排的打分知識進行蒸餾。但仍有兩大挑戰亟待解決:

  1. 如果不把時延真正作為一個變數放到模型中進行聯合優化,效果必然大打折扣;
  2. 如果把精排的打分知識蒸餾給一個手工設計的粗排結構,模型的表現也肯定不是最優。

本文使用了神經網路框架搜尋 (Neural Architecture Search) 的方法,開創性地提出了AutoFAS (Automatic Feature and Architecture Selection for Pre-Ranking System) 的演算法框架,統一解決了以上兩個問題:在給定時延限制和精排打分知識指導的條件下,同時選出最優的粗排特徵與結構組合方案,達到了SOTA的效果。本方案已經在美團主搜場景下全量使用,取得了明顯的線上提升。

論文03:Automatically Discovering User Consumption Intents in Meituan(使用者消費意圖自動發現)

| 下載地址Automatically Discovering User Consumption Intents

| 論文作者:李銀峰(清華大學)、高宸(清華大學)、杜小毅(美團)、韋華周(美團)、羅恆亮(美團)、金德鵬(清華大學)、李勇(清華大學)

| 論文簡介:城市中使用者的消費行為往往由特定意圖驅動。消費意圖作為使用者具體消費行為的決策驅動力,對於提升城市中使用者行為建模的可解釋性和準確性至關重要,能夠廣泛應用於推薦系統和精準化營銷等多種業務場景。然而,消費意圖難以獲取,從使用者消費資料和評論中只能挖掘到十分有限的意圖型別。因此,從消費資料中自動地發現新的未知意圖是一項至關重要但極具挑戰性的任務,主要面臨以下兩點關鍵性挑戰:(1)如何對不同型別偏好下的消費意圖進行編碼;(2)如何僅用少量的已知意圖實現對未知意圖的發現。 為了應對上述挑戰,本文提出了基於超圖神經網路和半監督學習的意圖發現模型AutoIntent(包括解糾纏的意圖編碼器和意圖發現解碼器兩部分),實現對美團使用者消費意圖的自動發現。

具體而言,在解糾纏意圖編碼器中,本文構建了三組對偶超圖來分別捕獲三種不同型別偏好(時間相關偏好、地點相關偏好和內在偏好)下的高階關係,並通過超圖上的資訊傳播機制為使用者學習解糾纏的意圖表徵。在意圖發現解碼器中,本文基於去噪後的意圖表徵相似性來構建成對樣本的意圖偽標籤,通過半監督學習的方式實現從已知意圖到未知意圖的知識遷移,完成意圖發現。本文在美團大規模的工業資料集上與多種先進基準演算法進行比較,實驗結果表明,提出的AutoIntent方法相比於已有最佳方案可以取得15%以上的顯著效能提升。總的來說,本文為理解並建模城市中的使用者消費行為提供了一種新的研究思路。

論文04:Modeling Persuasion Factor of User Decision for Recommendation(說服因素效果建模)

| 下載地址Modeling the Effect of Persuasion Factor

| 論文作者:劉暢(清華大學)、苑苑(清華大學)、高宸(清華大學)、白琛(美團)、羅靈銳(美團)、杜小毅(美團)、史鑫磊(美團)、羅恆亮(美團)、金德鵬(清華大學)、李勇(清華大學)

| 論文簡介:在真實城市生活中,對於餐飲、出行等實際需求,使用者會綜合根據品牌、價格等多個方面的因素做出決策。現有的推薦系統對這些因素建模往往呈現“黑盒”形式,未能回答具體決策因子如何影響使用者決策行為的科學問題,從而導致推薦效能受限。本文基於真實世界的餐飲消費、出行資料,利用使用者互動行為資料與對應不同因素的說服文案資料,顯式建模各類因素對使用者決策的影響,提升推薦系統準確率與可解釋性。

具體而言,首先構建使用者-商品互動圖,將不同類別的說服文案作為圖中的異質邊,利用多層圖卷積網路生成使用者、商品與文案的表徵;其次,考慮到不同使用者對說服文案的敏感程度不同,在互動概率預測過程中個性化地為每個使用者的敏感性進行自適應建模,提高預測置信度。進一步地,為解決普遍存在的使用者互動記錄稀疏性的問題,提出基於反事實推斷的資料增強方式,合理生成了大量高質量資料,有效輔助了表徵學習的過程,實現精準推薦。本文在美團大規模業務資料集上與多種先進基準演算法比較,取得了顯著的效能提升;進一步的分析表明,提出的模型能夠有效表達使用者對不同因素的偏好,同時準確建模了不同使用者之間的行為差異。總的來說,本文為研究城市中使用者決策行為的可解釋機理提供了基礎。

論文05:Practical Counterfactual Policy Learning for Top-K Recommendations(用於 Top-K 推薦的反事實策略學習)

| 下載地址Counterfactual_Top-K/xcf

| 論文作者:劉亞旭(臺灣大學&美團實習生)、顏瑞楠(臺灣大學)、原博文(臺灣大學&美團實習生)、史潤東(美團)、燕鵬(美團)、林智仁(臺灣大學)

| 論文簡介:對於訓練機器學習模型,一項關鍵任務是通過收集的反饋(例如,評分、點選)來構建訓練資料。 然而,從理論和實際經驗中可以發現,收集的反饋中選擇偏差會導致訓練得到的模型有偏,從而導致訓練結果是不是最優策略。 為了解決這個問題,反事實學習受到了很多關注,現有的反事實學習方法可以分為Value Learning 方法和Policy Learning方法。

本文研究了具有較大決策空間的Top-𝐾排序模型的Policy Learning 方法,提出了一個實用的學習框架,解決了較大決策空間學習中存在的Importance Weight 爆炸、樣本較少導致方差較大、訓練效率低等問題。開源資料實驗驗證了所提出框架的有效性和效率。

論文06:Applying Deep Learning Based Probabilistic Forecasting to Food Preparation Time for On-Demand Delivery Service(深度學習訂單出餐時間概率預測)

| 下載地址Applying Deep Learning

| 論文作者:高成良(美團)、張凡(美團)、周越(美團)、馮榕根(美團)、茹強(美團)、邊凱歸(北京大學)、何仁清(美團)、孫致釗(美團)

| 論文簡介:在即時配送系統中,準確預估訂單的商家出餐時間對使用者和騎手體驗都非常有價值。該問題主要有兩個技術挑戰,即樣本標籤不完整(部分訂單隻有出餐時間的大致範圍)和資料不確定性大,常規的點估計迴歸方法很難處理。

本工作首次應用概率估計刻畫訂單出餐時間的不確定性,提出了一種基於深度學習的非引數化方法,並在特徵構建和模型設計中充分利用範圍標籤的資料樣本。在概率估計中,本文提出了S-QL損失函式,並證明了其與S-CRPS的數學關係,基於此對S-CRPS進行分位數離散化以優化模型引數。基於真實的配送資料評估以及線上A/B實驗均證明了該方法的優勢和有效性,該方法的預估結果已在美團即時配送系統中的多個核心模組中應用。

論文07:A Framework for Multi-stage Bonus Allocation in Meal Delivery Platform(多階段送餐獎勵框架)

| 下載地址A Framework for Multi-stage Bonus Allocation

| 論文作者:吳卓林(美團)、黃方勝(美團)、周琳鈞(美團)、宋宇(美團)、葉成鵬(美團)、聶鵬宇(美團)、任昊(美團)、郝井華(美團)、何仁清(美團)、孫致釗(美團)

| 論文簡介:美團配送旨在為顧客和餐廳提供優質穩定的服務,但每天仍然有數十萬訂單因為無人接單而被取消,訂單的取消對使用者體驗和美團的聲譽造成了極大的損害。為了解決這個問題,美團提供了一筆專項資金來提高尾部訂單的使用者體驗。未被接起的訂單將持續地曝光給騎手,因此我們需要持續地決策訂單的額外獎勵金額,直到訂單被取消或被接單。由於訂單上一時刻的激勵方案會顯著影響後續階段訂單的存續與取消概率,因此這一問題是複雜的多階段時序決策問題。為了更好地提升使用者體驗,我們提出了一個新的框架來解決這一問題。這一框架包括三個部分:

  1. 半引數化的訂單完成概率與取消概率模型;
  2. 基於拉格朗日對偶的動態規劃演算法;
  3. 線上的實時分配演算法。

其中半引數化的訂單完成(取消)概率模型用於預測分配給訂單的獎勵金額與訂單在這一時刻接起並最終完成(取消)的概率的關係、拉格朗日對偶動態規劃演算法主要通過歷史訂單資料計算每個分配時序的拉格朗日乘子解,線上分配演算法使用離線部分獲得的結果為每個訂單計算出相應的激勵方案。我們在真實配送場景上進行了A/B實驗,實驗結果表明新演算法相較於基線演算法的取消訂單量下降了25%,顯著提升了使用者體驗。

寫在後面

以上這些論文是美團技術團隊與各高校、科研機構通力合作的成果。本文主要介紹了美團在圖譜預訓練、選擇演算法、意圖自動發現、效果建模、策略學習、概率預測、獎勵框架等技術領域一些科研工作。希望能對大家有所幫助或啟發,也歡迎大家跟我們進行交流。

閱讀美團技術團隊更多技術文章合集

前端 | 演算法 | 後端 | 資料 | 安全 | 運維 | iOS | Android | 測試

| 在公眾號選單欄對話方塊回覆【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞,可檢視美團技術團隊歷年技術文章合集。

| 本文系美團技術團隊出品,著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容,敬請註明“內容轉載自美團技術團隊”。本文未經許可,不得進行商業性轉載或者使用。任何商用行為,請傳送郵件至[email protected]申請授權。