“抄我的還‘反捅’我一刀”，Gary Marcus 發文駁斥圖靈獎得主 Yann LeCun

今年 6 月，圖靈獎得主、深度學習先驅、Meta 公司首席 AI 科學家 Yann LeCun 發表了一篇長達 62 頁的論文，論文闡述了他對過去 5 年 - 10 年關於 AI 發展大方向的思考，並提出了 AI 未來的新願景。

對於這篇論文的觀點，著名 AI 學者、Robust.AI 的創始人兼 CEO 、紐約大學的名譽教授 Gary Marcus 並不認同，並專門寫了一篇長文駁斥，以下為全文。

62 歲的深度學習先驅、紐約大學教授、圖靈獎獲得者兼 Meta 公司首席 AI 科學家 Yann LeCun，又肩負起自己的一項新使命。他的任務，就是從技術締造者以及思想者的角度，探索如何超越深度學習。

經過一番深思熟慮，他把自己的觀點透露給了多家外媒，於是， 《Yann LeCun為AI未來大膽勾勒出新願景》 的報道迅速亮相。

今年 6 月初，LeCun 還發布了一份激起熱烈討論的宣言，也對我（Gary Marcus）的差異化研究工作做出回顧，表達了他自己在一系列重要符號處理問題上的立場。

但是，他所謂的“新”主意到底有多新？

讀了那篇報道，我的第一反應是震驚。LeCun 提到的一切我之前幾乎都曾說過，而且字句甚至都沒多大變化——大部分內容來自我在 2018 年發表的 《深度學習：一種批判性評價》 的論文，LeCun 當時可是嘲諷說此文“大多不靠譜”。

下面我先列出他觀點照搬的七個例子，之後再聊聊 LeCun 的觀點整體上出了什麼問題。

• LeCun，2022 年：“今天的 AI 方法永遠無法實現真正的智慧（在標題部分使用，並非直接照搬）”；Marcus，2018 年：“如果我們要實現人工通用智慧，必須為深度學習輔以其他技術。”

• LeCun，2022 年：“[當前的深度學習模型]可能是未來智慧系統中的組成部分，但我認為其中還缺少別的必要部分”；Marcus，2018 年：“儘管我已經羅列出所有問題，但我認為答案並不在於放棄深度學習。相反，我們需要重要為深度學習規定概念：它不是一種通用方法，而是眾多工具中的一種。就像在物理世界中，我們不僅需要錘子、扳手、鉗子和電動螺絲刀，還需要鑿子、鑽頭、電壓表、邏輯探針和示波器。”

• LeCun，2022 年：“強化學習永遠不足以實現智慧”；Marcus，2018 年：“深度強化學習的能力其實跟概念感知沒什麼關係。”

• LeCun，2022 年：“我們的智慧機器甚至連小貓所能理解的常識都把握不了，所以為什麼不從這裡開始探索呢？”；Marcus，2022 年：“那在深度學習之外，我們還應該寄希望於哪裡？……第二個關注重點也許是常識性知識。”

• LeCun，2022 年：“我認為 AI 系統需要具備推理能力”；Marcus，2018 年：“深度學習的適用範圍主要集中在分類方面，對跟常識推理有關的問題則束手無策。據我所知，深度學習幾乎解決不了這方面問題。”

• LeCun，2022 年：“退後一步來看，我們就像是造了一把梯子。但我們的終極目標是登月，這把梯子顯然不可能幫我們達成心願。”Marcus，2012 年《紐約客》：“套用一個古老的寓言，Hinton 通過深度學習造了把好梯子，但再好的梯子也沒法讓人登上月球。”LeCun 可以算是認認真真複述了一遍我的觀點，而且完全沒提到言論出處。

但我不打算指責 LeCun 抄襲，畢竟他可能只是在認識到現有架構的失敗之後，很誠實地自己得出了這些結論。我之前的想法，現在終於為他所認清和接受。這對我來說相當於巨大的勝利——畢竟 LeCun 可是非常傑出的研究者，他能認可我的觀點非常難得。

關於“攻擊我從沒寫過 AI 論文”的駁斥：

但事情到這裡還遠沒有結束。

首先，LeCun 明顯想把自己的觀點跟我的想法刻意區分開來。他之前公開批評過我的論文，所以這次發言他全程沒提到很多想法我早就說過——這其實不大符合學術禮儀，也讓人對這位老教授頗為失望。

不僅如此，為了保證我的言論得不到廣泛支援，他還在採訪中對我進行了無端且毫無客觀性可言的攻擊。他宣稱“Gary Marcus 根本不是搞 AI 的，他其實是個心理學家。他從來沒為 AI 做出過任何貢獻。他在實驗心理學方面做得非常好，但從來沒寫過關於 AI 的同行評議論文”——這種論斷完全錯誤。

實際上，我在 AI 方面發表過很多文章，有些發表在同行評議的期刊上、有些沒有。我最重要的 AI 論文就是關於神經網路實驗的，而且在 1998 年就預見到了分佈變化與異常值方面的難題——這些難題目前正困擾著 Yoshua Bengio 等研究者。

過去十年來，我發表了不少經過同行評議的 AI 論文，主題涵蓋常識、利用不完整資訊進行推理，以及模擬/自動推理的侷限性等。

其中很多文章還是跟 LeCun 學術陣營中的同事、紐約大學電腦科學家 Ernest Davis 共同撰寫的。而我最具影響力的 AI 成果，其實並不是期刊文章，而是 2001 年出版的《代數思維》（The Algebraic Mind ，由麻省理工出版社送交同行評議）。LeCun 在此次採訪中表達的一切，在那本書中幾乎都有提及。但諷刺的是，LeCun 卻總在暗示自己沒讀過這本書，這實在太可笑了。

也許是 LeCun 的說法太過離譜，引得其他人現身幫我辯護。就在我撰寫本文的同時，Vmind.AI 公司 CEO Miguel Solano 發表了推文來支援我：

Miguel Ignacio Solano @miguelisolano

@GaryMarcus @ZDNET @TiernanRayTech @ylecun 確實如此， @ylecun. @GaryMarcus 的《代數思維》（麻省理工學院出版社，2001 年）得到過 868 次引用，而且他肯定發表過 AI 文獻: scholar.google.com/scholar?cites=… -2022 年 9 月 25 日

Henning Schwabe 的表達則更加尖銳：

Henning Schwabe @SchwabeHenning
 
@ylecun 的攻擊並不公平，就連最支援深度學習的人也要站出來說兩句了。 @GaryMarcus 是個很好的盟友，大家應該團結起來共同推動技術發展。過度自我永遠是理性的敵人。

Dagmar Monett @dmonett

我在 @Eric_Sadin 的《世界的晶片殖民化》（2016/2018）中找到了對 LeCun 行為的解釋。詳見圖片和翻譯。@ZDNET 的採訪也再次證明了這一點，讓我們感受到了 LeCun 如何粗暴魯莽地指摘其他學者的工作。:flushed: https://t.co/qy3WrIcJAb https://t.co/KlPXhYjNxM

—— 2022 年 9 月 25 日

研究生有時候愛用學分來證明自己。Harold Bloom 還專門寫過《焦慮的影響》（The Anxiety of Influence）一書分析這種心態。但直到現在，我才在 LeCun 這個量級的大咖身上看到同樣的毛病。

而且不是一次，是一次又一次。

LeCun 立場生變：用自己的方式否定自己的過去

LeCun 最近發表的每篇論文，都是在用自己的方式否定自己的過去。

其中一篇文章談到了符號處理這個老大難問題。簡單總結一下，LeCun 在很長一段職業生涯中都在抨擊符號處理。他的研究合作伙伴 Geoff Hinton 也是一樣，二人在 2015 年共同撰寫的深度學習評論最後提到，他們“需要新的正規化來取代基於規則的符號表達處理。”

現在，LeCun 又開始支援符號處理了（符號處理的概念不是我發明的，但我 30 年來一直都表示支援），而且表現得好像這是他剛剛發現的新趨勢一樣。但 LeCun 所說的“每位深度學習從業者都認為，符號處理是建立類人 AI 的必要一環”，其實就是過去幾十年來無數研究者的探索方向。所以連一直支援 LeCun 的斯坦福 AI 教授 Christopher Manning 也表達了震驚：

Christopher Manning @chrmanning

我感覺 @ylecun 的立場似乎有所變化——可能是受到了 Browning 的影響；新的文章提到，“每位深度學習從業者都認為，符號處理是建立類人 AI 的必要一環。”但十年前可不是這麼說的呀，或者現在大家真的都這麼認為了？！？

—— 2022 年 7 月 28 日

在我一一列舉出這些問題時，LeCun 並沒有做出正面迴應，而是轉發了來自合著者 Browning 的一段莫名其妙的反駁：

Browning.jake00 @Jake_Browning00

來自 @GaryMarcus 的回覆已經看到，但我們不同意他的觀點，或者說不同意他所指出的分歧。不過我覺得，解決困難問題時難免會出現種種分歧。Noema Magazine @NoemaMag 長達十年的 AI 辯論終於要解決了嗎？@garymarcus 似乎看到了結束的跡象。現在，“我們終下載可以專注於真正的問題：如何讓資料驅動的學習與抽象符號表示統一起來。”https://t.co/QtaxfAEWdv

——2022 年 8 月 14 日

但對我提出的一條條反駁，他們完全沒做出任何具體評論。

關於大模型的論斷的辯論

LeCun 最近發表的另一篇文章談到了一個重要問題，即大型語言模型是否真的走上了通往人工通用智慧的正確道路，包括人是否真能單靠語言表達就掌握足夠的常識。

LeCun 和合著者 Browning 提出了強有力的論斷，認為單憑語言輸入（也就是 GPT-3 訓練模型之類的成果）還不夠。他們專門寫了一篇題為 《AI和語言的侷限》 的文章，認為“單靠語言訓練的系統既從現在開始一直訓練到宇宙熱寂，也永遠不可能接近人類的智慧。”

但他們這個觀點仍然不是原創。我在 2020 年 2 月 《AI的下一個十年》 一文中也提出過相同的問題：

等待越來越大的語言訓練語料庫中自動孕育出認知模型和推理能力，就像是在等待神蹟的出現……——這幾乎跟 LeCun 和 Browning 的結論完全相同。

這還沒完呢。

下一個關鍵問題，就是我們到底該怎麼做。我們沒法單靠大型語言模型來真正解決 AI 問題，所以我就在 2020 年 1 月提出：

像 GPT-2 這樣的系統無論自身功能表現如何，都不具備任何明確（即無法直接表示、無法簡單共享）的常識知識、推理能力和確切認知模型。

之後是 2020 年 2 月：

花在改進大規模單詞級預測模型上的每一秒鐘都是浪費，不如用在開發有望實現推導、更新和推理認知模型的技術上。

聽起來是不是很耳熟？LeCun 在最新採訪中宣揚的，也是與認知模型相結合的相同觀點。

而我在 2019 年第一次提出這個觀點時，猜猜誰馬上跳出來噴我？對，就是 Yann LeCun。

我當時寫道：

Gary Marcus @GaryMarcus

像 GPT-2 這類系統的最大問題並不在於能不能理解數量（@ylecun 的意見恰好相反），而是沒能發展出能準確表示 事件如何隨時間展開 的清晰 w 數。這個問題單靠堆數量是解決不了的：

Yann LeCun @ylecun
 
@StanDehaene @GaryMarcus 實際上，接受過數量處理訓練的機器確實學會了處理數量。Gary 總說通過訓練來預測缺失單詞的機器掌握不了數量的概念，呸！2019 年 10 月 28 日 這其實就是在用另一種表達，強調大型語言模型缺乏認知模型的問題。

當時，LeCun 還說我的論證在根源上就錯了：

Yann LeCun @ylecun

@GaryMarcus 是錯的。咱們看看: arxiv.org/abs/1612.03969 其中表二：第 7 行（計數）和第 14 行（時間推理）都獲得了 0 錯誤率（在 bAbl 任務中）。你在丟擲論點的時候，最好搞清楚你的論據三年之前就已經站不住腳了。

—— 2019 年 10 月 28 日

現在他的想法變了，於是之前說過的話就如同沒說。他也開始強調認知模型的重要意義，又反“捅”我一刀，堅稱這是他的獨創觀點。

LeCun 的新論文“洗稿”多位前輩學者成果

所以我當然有理由生氣，而且也有其他同行在為我打抱不平。

深度學習先驅、廣泛應用的 LSTM 神經網路創造者 Jürgen Schmidhuber 最近也在推特上提到：

Jürgen Schmidhuber @SchmidhuberAI
 
Lecun (@ylecun)在 2022 年關於自主機器智慧的論文中把老觀點複述了一遍，但卻絲毫沒提到這些內容早在 1990 年到 2015 年的研究中就已經存在了。我們已經發表了他口中的那些“重要原創貢獻”，包括：學習子目標、可預測的抽象表示、多個時間尺度等。

LeCun2022 年發表的新論文其實是對 1990 至 2015 年間原有成果的“洗稿”，例如 1990 年：梯度下降學習子目標；1991 年：多個時間尺度與抽象級別；1997 年：學習可預測抽象表示的世界模型……
 
—— 2022 年 7 月 7 日“複述卻不引用”——這可以說是對其他學術研究者最大的冒犯了。

LeCun 的新宣言總體上還是出於良好的動機，呼籲將“可配置的預測世界模型”納入深度學習。我也一直強調應該這麼做，但最早提出這一理念的是 Schmidhuber。作為 1990 年代的深度學習先驅，他也一直在為此而努力，但 LeCun 對此甚至不願提一句感謝。

LeCun 觀點引來多位學者批評

LeCun 的妄言已經在推特上激起波瀾。

德國計算神經科學家與 AI 研究員 Patrick Krauss 也在推文中嘲諷：

Patrick Krauss @Krauss_PK

哇哦，AGI 終於實現了！ :joy: @ylecun 發現了迄今為止深度學習中缺失的環節：常識和世界模型！ technologyreview.com/2022/06/24/105… @GaryMarcus @maier_ak

Yann LeCun 對於 AI 未來的大膽設想，其實是把當初深度學習先驅們的觀點彙總了起來。但嘗試回答問題的同時，這又生成了很多新的問題。
—— 2022 年 6 月 25 日

今天早上，Lathropa 釋出了更加尖銳的批評。大家都知道，我在 2022 年 3 月發表的《深度學習正走進死衚衕》（ https://nautil.us/deep-learning-is-hitting-a-wall-238440/ ）一文受到了 LeCun 的猛烈抨擊。

現在幾個月過去，他怎麼想法又變了呢？

Lathropa @lathropa@GaryMarcus @MetaAI @ylecun “好吧，我們造了把梯子，但我們想要登月，而靠這把梯子顯然登不了月。”LeCun 說他希望重新審視深度學習的基本概念，“似乎是說他的方法走進了某種形似死衚衕的空間”…… -2022 年 9 月 25 日

我實在沒從 LeCun 的採訪中看到什麼真正的新東西，所以昨天專門邀請他在推特上做出解釋。他暫時還沒回復，讓我們拭目以待。

原文連結：

https://garymarcus.substack.com/p/how-new-are-yann-lecuns-new-ideas