“抄我的還‘反捅’我一刀”,Gary Marcus 發文駁斥圖靈獎得主 Yann LeCun

語言: CN / TW / HK

今年 6 月,圖靈獎得主、深度學習先驅、Meta 公司首席 AI 科學家 Yann LeCun 發表了一篇長達 62 頁的論文,論文闡述了他對過去 5 年 - 10 年關於 AI 發展大方向的思考,並提出了 AI 未來的新願景。

對於這篇論文的觀點,著名 AI 學者、Robust.AI 的創始人兼 CEO 、紐約大學的名譽教授 Gary Marcus 並不認同,並專門寫了一篇長文駁斥,以下為全文。

62 歲的深度學習先驅、紐約大學教授、圖靈獎獲得者兼 Meta 公司首席 AI 科學家 Yann LeCun,又肩負起自己的一項新使命。他的任務,就是從技術締造者以及思想者的角度,探索如何超越深度學習。

經過一番深思熟慮,他把自己的觀點透露給了多家外媒,於是, 《Yann LeCun為AI未來大膽勾勒出新願景》 的報道迅速亮相。

今年 6 月初,LeCun 還發布了一份激起熱烈討論的宣言,也對我(Gary Marcus)的差異化研究工作做出回顧,表達了他自己在一系列重要符號處理問題上的立場。

但是,他所謂的“新”主意到底有多新?

讀了那篇報道,我的第一反應是震驚。LeCun 提到的一切我之前幾乎都曾説過,而且字句甚至都沒多大變化——大部分內容來自我在 2018 年發表的 《深度學習:一種批判性評價》 的論文,LeCun 當時可是嘲諷説此文“大多不靠譜”。

下面我先列出他觀點照搬的七個例子,之後再聊聊 LeCun 的觀點整體上出了什麼問題。

  • LeCun,2022 年:“今天的 AI 方法永遠無法實現真正的智能(在標題部分使用,並非直接照搬)”;Marcus,2018 年:“如果我們要實現人工通用智能,必須為深度學習輔以其他技術。”

  • LeCun,2022 年:“[當前的深度學習模型]可能是未來智能系統中的組成部分,但我認為其中還缺少別的必要部分”;Marcus,2018 年:“儘管我已經羅列出所有問題,但我認為答案並不在於放棄深度學習。相反,我們需要重要為深度學習規定概念:它不是一種通用方法,而是眾多工具中的一種。就像在物理世界中,我們不僅需要錘子、扳手、鉗子和電動螺絲刀,還需要鑿子、鑽頭、電壓表、邏輯探針和示波器。”

  • LeCun,2022 年:“強化學習永遠不足以實現智能”;Marcus,2018 年:“深度強化學習的能力其實跟概念感知沒什麼關係。”

  • LeCun,2022 年:“我們的智能機器甚至連小貓所能理解的常識都把握不了,所以為什麼不從這裏開始探索呢?”;Marcus,2022 年:“那在深度學習之外,我們還應該寄希望於哪裏?……第二個關注重點也許是常識性知識。”

  • LeCun,2022 年:“我認為 AI 系統需要具備推理能力”;Marcus,2018 年:“深度學習的適用範圍主要集中在分類方面,對跟常識推理有關的問題則束手無策。據我所知,深度學習幾乎解決不了這方面問題。”

  • LeCun,2022 年:“退後一步來看,我們就像是造了一把梯子。但我們的終極目標是登月,這把梯子顯然不可能幫我們達成心願。”Marcus,2012 年《紐約客》:“套用一個古老的寓言,Hinton 通過深度學習造了把好梯子,但再好的梯子也沒法讓人登上月球。”LeCun 可以算是認認真真複述了一遍我的觀點,而且完全沒提到言論出處。

但我不打算指責 LeCun 抄襲,畢竟他可能只是在認識到現有架構的失敗之後,很誠實地自己得出了這些結論。我之前的想法,現在終於為他所認清和接受。這對我來説相當於巨大的勝利——畢竟 LeCun 可是非常傑出的研究者,他能認可我的觀點非常難得。

關於“攻擊我從沒寫過 AI 論文”的駁斥:

但事情到這裏還遠沒有結束。

首先,LeCun 明顯想把自己的觀點跟我的想法刻意區分開來。他之前公開批評過我的論文,所以這次發言他全程沒提到很多想法我早就説過——這其實不大符合學術禮儀,也讓人對這位老教授頗為失望。

不僅如此,為了保證我的言論得不到廣泛支持,他還在採訪中對我進行了無端且毫無客觀性可言的攻擊。他宣稱“Gary Marcus 根本不是搞 AI 的,他其實是個心理學家。他從來沒為 AI 做出過任何貢獻。他在實驗心理學方面做得非常好,但從來沒寫過關於 AI 的同行評議論文”——這種論斷完全錯誤。

實際上,我在 AI 方面發表過很多文章,有些發表在同行評議的期刊上、有些沒有。我最重要的 AI 論文就是關於神經網絡實驗的,而且在 1998 年就預見到了分佈變化與異常值方面的難題——這些難題目前正困擾着 Yoshua Bengio 等研究者。

過去十年來,我發表了不少經過同行評議的 AI 論文,主題涵蓋常識、利用不完整信息進行推理,以及模擬/自動推理的侷限性等。

其中很多文章還是跟 LeCun 學術陣營中的同事、紐約大學計算機科學家 Ernest Davis 共同撰寫的。而我最具影響力的 AI 成果,其實並不是期刊文章,而是 2001 年出版的《代數思維》(The Algebraic Mind ,由麻省理工出版社送交同行評議)。LeCun 在此次採訪中表達的一切,在那本書中幾乎都有提及。但諷刺的是,LeCun 卻總在暗示自己沒讀過這本書,這實在太可笑了。

也許是 LeCun 的説法太過離譜,引得其他人現身幫我辯護。就在我撰寫本文的同時,Vmind.AI 公司 CEO Miguel Solano 發表了推文來支持我:

Miguel Ignacio Solano @miguelisolano

@GaryMarcus @ZDNET @TiernanRayTech @ylecun 確實如此, @ylecun. @GaryMarcus 的《代數思維》(麻省理工學院出版社,2001 年)得到過 868 次引用,而且他肯定發表過 AI 文獻: scholar.google.com/scholar?cites=… -2022 年 9 月 25 日

Henning Schwabe 的表達則更加尖鋭:

Henning Schwabe @SchwabeHenning
 
@ylecun 的攻擊並不公平,就連最支持深度學習的人也要站出來説兩句了。 @GaryMarcus 是個很好的盟友,大家應該團結起來共同推動技術發展。過度自我永遠是理性的敵人。

Dagmar Monett @dmonett

我在 @Eric_Sadin 的《世界的芯片殖民化》(2016/2018)中找到了對 LeCun 行為的解釋。詳見圖片和翻譯。@ZDNET 的採訪也再次證明了這一點,讓我們感受到了 LeCun 如何粗暴魯莽地指摘其他學者的工作。:flushed: https://t.co/qy3WrIcJAb https://t.co/KlPXhYjNxM

—— 2022 年 9 月 25 日

研究生有時候愛用學分來證明自己。Harold Bloom 還專門寫過《焦慮的影響》(The Anxiety of Influence)一書分析這種心態。但直到現在,我才在 LeCun 這個量級的大咖身上看到同樣的毛病。

而且不是一次,是一次又一次。

LeCun 立場生變:用自己的方式否定自己的過去

LeCun 最近發表的每篇論文,都是在用自己的方式否定自己的過去。

其中一篇文章談到了符號處理這個老大難問題。簡單總結一下,LeCun 在很長一段職業生涯中都在抨擊符號處理。他的研究合作伙伴 Geoff Hinton 也是一樣,二人在 2015 年共同撰寫的深度學習評論最後提到,他們“需要新的範式來取代基於規則的符號表達處理。”

現在,LeCun 又開始支持符號處理了(符號處理的概念不是我發明的,但我 30 年來一直都表示支持),而且表現得好像這是他剛剛發現的新趨勢一樣。但 LeCun 所説的“每位深度學習從業者都認為,符號處理是創建類人 AI 的必要一環”,其實就是過去幾十年來無數研究者的探索方向。所以連一直支持 LeCun 的斯坦福 AI 教授 Christopher Manning 也表達了震驚:

Christopher Manning @chrmanning

我感覺 @ylecun 的立場似乎有所變化——可能是受到了 Browning 的影響;新的文章提到,“每位深度學習從業者都認為,符號處理是創建類人 AI 的必要一環。”但十年前可不是這麼説的呀,或者現在大家真的都這麼認為了?!?

—— 2022 年 7 月 28 日

在我一一列舉出這些問題時,LeCun 並沒有做出正面迴應,而是轉發了來自合著者 Browning 的一段莫名其妙的反駁:

Browning.jake00 @Jake_Browning00

來自 @GaryMarcus 的回覆已經看到,但我們不同意他的觀點,或者説不同意他所指出的分歧。不過我覺得,解決困難問題時難免會出現種種分歧。Noema Magazine @NoemaMag 長達十年的 AI 辯論終於要解決了嗎?@garymarcus 似乎看到了結束的跡象。現在,“我們終下載可以專注於真正的問題:如何讓數據驅動的學習與抽象符號表示統一起來。”https://t.co/QtaxfAEWdv

——2022 年 8 月 14 日

但對我提出的一條條反駁,他們完全沒做出任何具體評論。

關於大模型的論斷的辯論

LeCun 最近發表的另一篇文章談到了一個重要問題,即大型語言模型是否真的走上了通往人工通用智能的正確道路,包括人是否真能單靠語言表達就掌握足夠的常識。

LeCun 和合著者 Browning 提出了強有力的論斷,認為單憑語言輸入(也就是 GPT-3 訓練模型之類的成果)還不夠。他們專門寫了一篇題為 《AI和語言的侷限》 的文章,認為“單靠語言訓練的系統既從現在開始一直訓練到宇宙熱寂,也永遠不可能接近人類的智慧。”

但他們這個觀點仍然不是原創。我在 2020 年 2 月 《AI的下一個十年》 一文中也提出過相同的問題:

等待越來越大的語言訓練語料庫中自動孕育出認知模型和推理能力,就像是在等待神蹟的出現……——這幾乎跟 LeCun 和 Browning 的結論完全相同。

這還沒完呢。

下一個關鍵問題,就是我們到底該怎麼做。我們沒法單靠大型語言模型來真正解決 AI 問題,所以我就在 2020 年 1 月提出:

像 GPT-2 這樣的系統無論自身功能表現如何,都不具備任何明確(即無法直接表示、無法簡單共享)的常識知識、推理能力和確切認知模型。

之後是 2020 年 2 月:

花在改進大規模單詞級預測模型上的每一秒鐘都是浪費,不如用在開發有望實現推導、更新和推理認知模型的技術上。

聽起來是不是很耳熟?LeCun 在最新採訪中宣揚的,也是與認知模型相結合的相同觀點。

而我在 2019 年第一次提出這個觀點時,猜猜誰馬上跳出來噴我?對,就是 Yann LeCun。

我當時寫道:

Gary Marcus @GaryMarcus

像 GPT-2 這類系統的最大問題並不在於能不能理解數量(@ylecun 的意見恰好相反),而是沒能發展出能準確表示 事件如何隨時間展開 的清晰 w 數。這個問題單靠堆數量是解決不了的:

Yann LeCun @ylecun
 
@StanDehaene @GaryMarcus 實際上,接受過數量處理訓練的機器確實學會了處理數量。Gary 總説通過訓練來預測缺失單詞的機器掌握不了數量的概念,呸!2019 年 10 月 28 日 這其實就是在用另一種表達,強調大型語言模型缺乏認知模型的問題。

當時,LeCun 還説我的論證在根源上就錯了:

Yann LeCun @ylecun

@GaryMarcus 是錯的。咱們看看: arxiv.org/abs/1612.03969 其中表二:第 7 行(計數)和第 14 行(時間推理)都獲得了 0 錯誤率(在 bAbl 任務中)。你在拋出論點的時候,最好搞清楚你的論據三年之前就已經站不住腳了。

—— 2019 年 10 月 28 日

現在他的想法變了,於是之前説過的話就如同沒説。他也開始強調認知模型的重要意義,又反“捅”我一刀,堅稱這是他的獨創觀點。

LeCun 的新論文“洗稿”多位前輩學者成果

所以我當然有理由生氣,而且也有其他同行在為我打抱不平。

深度學習先驅、廣泛應用的 LSTM 神經網絡創造者 Jürgen Schmidhuber 最近也在推特上提到:

Jürgen Schmidhuber @SchmidhuberAI
 
Lecun (@ylecun)在 2022 年關於自主機器智能的論文中把老觀點複述了一遍,但卻絲毫沒提到這些內容早在 1990 年到 2015 年的研究中就已經存在了。我們已經發表了他口中的那些“重要原創貢獻”,包括:學習子目標、可預測的抽象表示、多個時間尺度等。
LeCun2022 年發表的新論文其實是對 1990 至 2015 年間原有成果的“洗稿”,例如 1990 年:梯度下降學習子目標;1991 年:多個時間尺度與抽象級別;1997 年:學習可預測抽象表示的世界模型……
 
—— 2022 年 7 月 7 日“複述卻不引用”——這可以説是對其他學術研究者最大的冒犯了。

LeCun 的新宣言總體上還是出於良好的動機,呼籲將“可配置的預測世界模型”納入深度學習。我也一直強調應該這麼做,但最早提出這一理念的是 Schmidhuber。作為 1990 年代的深度學習先驅,他也一直在為此而努力,但 LeCun 對此甚至不願提一句感謝。

LeCun 觀點引來多位學者批評

LeCun 的妄言已經在推特上激起波瀾。

德國計算神經科學家與 AI 研究員 Patrick Krauss 也在推文中嘲諷:

Patrick Krauss @Krauss_PK

哇哦,AGI 終於實現了! :joy: @ylecun 發現了迄今為止深度學習中缺失的環節:常識和世界模型! technologyreview.com/2022/06/24/105… @GaryMarcus @maier_ak

Yann LeCun 對於 AI 未來的大膽設想,其實是把當初深度學習先驅們的觀點彙總了起來。但嘗試回答問題的同時,這又生成了很多新的問題。
—— 2022 年 6 月 25 日

今天早上,Lathropa 發佈了更加尖鋭的批評。大家都知道,我在 2022 年 3 月發表的《深度學習正走進死衚衕》( https://nautil.us/deep-learning-is-hitting-a-wall-238440/ )一文受到了 LeCun 的猛烈抨擊。

現在幾個月過去,他怎麼想法又變了呢?

Lathropa @[email protected] @MetaAI @ylecun “好吧,我們造了把梯子,但我們想要登月,而靠這把梯子顯然登不了月。”LeCun 説他希望重新審視深度學習的基本概念,“似乎是説他的方法走進了某種形似死衚衕的空間”…… -2022 年 9 月 25 日

我實在沒從 LeCun 的採訪中看到什麼真正的新東西,所以昨天專門邀請他在推特上做出解釋。他暫時還沒回復,讓我們拭目以待。

原文鏈接:

https://garymarcus.substack.com/p/how-new-are-yann-lecuns-new-ideas