“抄我的還‘反捅’我一刀”,Gary Marcus 發文駁斥圖靈獎得主 Yann LeCun
今年 6 月,圖靈獎得主、深度學習先驅、Meta 公司首席 AI 科學家 Yann LeCun 發表了一篇長達 62 頁的論文,論文闡述了他對過去 5 年 - 10 年關於 AI 發展大方向的思考,並提出了 AI 未來的新願景。
對於這篇論文的觀點,著名 AI 學者、Robust.AI 的創始人兼 CEO 、紐約大學的名譽教授 Gary Marcus 並不認同,並專門寫了一篇長文駁斥,以下為全文。
62 歲的深度學習先驅、紐約大學教授、圖靈獎獲得者兼 Meta 公司首席 AI 科學家 Yann LeCun,又肩負起自己的一項新使命。他的任務,就是從技術締造者以及思想者的角度,探索如何超越深度學習。
經過一番深思熟慮,他把自己的觀點透露給了多家外媒,於是, 《Yann LeCun為AI未來大膽勾勒出新願景》 的報道迅速亮相。
今年 6 月初,LeCun 還發布了一份激起熱烈討論的宣言,也對我(Gary Marcus)的差異化研究工作做出回顧,表達了他自己在一系列重要符號處理問題上的立場。
但是,他所謂的“新”主意到底有多新?
讀了那篇報道,我的第一反應是震驚。LeCun 提到的一切我之前幾乎都曾說過,而且字句甚至都沒多大變化——大部分內容來自我在 2018 年發表的 《深度學習:一種批判性評價》 的論文,LeCun 當時可是嘲諷說此文“大多不靠譜”。
下面我先列出他觀點照搬的七個例子,之後再聊聊 LeCun 的觀點整體上出了什麼問題。
-
LeCun,2022 年:“今天的 AI 方法永遠無法實現真正的智慧(在標題部分使用,並非直接照搬)”;Marcus,2018 年:“如果我們要實現人工通用智慧,必須為深度學習輔以其他技術。”
-
LeCun,2022 年:“[當前的深度學習模型]可能是未來智慧系統中的組成部分,但我認為其中還缺少別的必要部分”;Marcus,2018 年:“儘管我已經羅列出所有問題,但我認為答案並不在於放棄深度學習。相反,我們需要重要為深度學習規定概念:它不是一種通用方法,而是眾多工具中的一種。就像在物理世界中,我們不僅需要錘子、扳手、鉗子和電動螺絲刀,還需要鑿子、鑽頭、電壓表、邏輯探針和示波器。”
-
LeCun,2022 年:“強化學習永遠不足以實現智慧”;Marcus,2018 年:“深度強化學習的能力其實跟概念感知沒什麼關係。”
-
LeCun,2022 年:“我們的智慧機器甚至連小貓所能理解的常識都把握不了,所以為什麼不從這裡開始探索呢?”;Marcus,2022 年:“那在深度學習之外,我們還應該寄希望於哪裡?……第二個關注重點也許是常識性知識。”
-
LeCun,2022 年:“我認為 AI 系統需要具備推理能力”;Marcus,2018 年:“深度學習的適用範圍主要集中在分類方面,對跟常識推理有關的問題則束手無策。據我所知,深度學習幾乎解決不了這方面問題。”
-
LeCun,2022 年:“退後一步來看,我們就像是造了一把梯子。但我們的終極目標是登月,這把梯子顯然不可能幫我們達成心願。”Marcus,2012 年《紐約客》:“套用一個古老的寓言,Hinton 通過深度學習造了把好梯子,但再好的梯子也沒法讓人登上月球。”LeCun 可以算是認認真真複述了一遍我的觀點,而且完全沒提到言論出處。
但我不打算指責 LeCun 抄襲,畢竟他可能只是在認識到現有架構的失敗之後,很誠實地自己得出了這些結論。我之前的想法,現在終於為他所認清和接受。這對我來說相當於巨大的勝利——畢竟 LeCun 可是非常傑出的研究者,他能認可我的觀點非常難得。
關於“攻擊我從沒寫過 AI 論文”的駁斥:
但事情到這裡還遠沒有結束。
首先,LeCun 明顯想把自己的觀點跟我的想法刻意區分開來。他之前公開批評過我的論文,所以這次發言他全程沒提到很多想法我早就說過——這其實不大符合學術禮儀,也讓人對這位老教授頗為失望。
不僅如此,為了保證我的言論得不到廣泛支援,他還在採訪中對我進行了無端且毫無客觀性可言的攻擊。他宣稱“Gary Marcus 根本不是搞 AI 的,他其實是個心理學家。他從來沒為 AI 做出過任何貢獻。他在實驗心理學方面做得非常好,但從來沒寫過關於 AI 的同行評議論文”——這種論斷完全錯誤。
實際上,我在 AI 方面發表過很多文章,有些發表在同行評議的期刊上、有些沒有。我最重要的 AI 論文就是關於神經網路實驗的,而且在 1998 年就預見到了分佈變化與異常值方面的難題——這些難題目前正困擾著 Yoshua Bengio 等研究者。
過去十年來,我發表了不少經過同行評議的 AI 論文,主題涵蓋常識、利用不完整資訊進行推理,以及模擬/自動推理的侷限性等。
其中很多文章還是跟 LeCun 學術陣營中的同事、紐約大學電腦科學家 Ernest Davis 共同撰寫的。而我最具影響力的 AI 成果,其實並不是期刊文章,而是 2001 年出版的《代數思維》(The Algebraic Mind ,由麻省理工出版社送交同行評議)。LeCun 在此次採訪中表達的一切,在那本書中幾乎都有提及。但諷刺的是,LeCun 卻總在暗示自己沒讀過這本書,這實在太可笑了。
也許是 LeCun 的說法太過離譜,引得其他人現身幫我辯護。就在我撰寫本文的同時,Vmind.AI 公司 CEO Miguel Solano 發表了推文來支援我:
Miguel Ignacio Solano @miguelisolano
@GaryMarcus @ZDNET @TiernanRayTech @ylecun 確實如此, @ylecun. @GaryMarcus 的《代數思維》(麻省理工學院出版社,2001 年)得到過 868 次引用,而且他肯定發表過 AI 文獻: scholar.google.com/scholar?cites=… -2022 年 9 月 25 日
Henning Schwabe 的表達則更加尖銳:
Henning Schwabe @SchwabeHenning @ylecun 的攻擊並不公平,就連最支援深度學習的人也要站出來說兩句了。 @GaryMarcus 是個很好的盟友,大家應該團結起來共同推動技術發展。過度自我永遠是理性的敵人。
Dagmar Monett @dmonett
我在 @Eric_Sadin 的《世界的晶片殖民化》(2016/2018)中找到了對 LeCun 行為的解釋。詳見圖片和翻譯。@ZDNET 的採訪也再次證明了這一點,讓我們感受到了 LeCun 如何粗暴魯莽地指摘其他學者的工作。:flushed: https://t.co/qy3WrIcJAb https://t.co/KlPXhYjNxM
—— 2022 年 9 月 25 日
研究生有時候愛用學分來證明自己。Harold Bloom 還專門寫過《焦慮的影響》(The Anxiety of Influence)一書分析這種心態。但直到現在,我才在 LeCun 這個量級的大咖身上看到同樣的毛病。
而且不是一次,是一次又一次。
LeCun 立場生變:用自己的方式否定自己的過去
LeCun 最近發表的每篇論文,都是在用自己的方式否定自己的過去。
其中一篇文章談到了符號處理這個老大難問題。簡單總結一下,LeCun 在很長一段職業生涯中都在抨擊符號處理。他的研究合作伙伴 Geoff Hinton 也是一樣,二人在 2015 年共同撰寫的深度學習評論最後提到,他們“需要新的正規化來取代基於規則的符號表達處理。”
現在,LeCun 又開始支援符號處理了(符號處理的概念不是我發明的,但我 30 年來一直都表示支援),而且表現得好像這是他剛剛發現的新趨勢一樣。但 LeCun 所說的“每位深度學習從業者都認為,符號處理是建立類人 AI 的必要一環”,其實就是過去幾十年來無數研究者的探索方向。所以連一直支援 LeCun 的斯坦福 AI 教授 Christopher Manning 也表達了震驚:
Christopher Manning @chrmanning
我感覺 @ylecun 的立場似乎有所變化——可能是受到了 Browning 的影響;新的文章提到,“每位深度學習從業者都認為,符號處理是建立類人 AI 的必要一環。”但十年前可不是這麼說的呀,或者現在大家真的都這麼認為了?!?
—— 2022 年 7 月 28 日
在我一一列舉出這些問題時,LeCun 並沒有做出正面迴應,而是轉發了來自合著者 Browning 的一段莫名其妙的反駁:
Browning.jake00 @Jake_Browning00
來自 @GaryMarcus 的回覆已經看到,但我們不同意他的觀點,或者說不同意他所指出的分歧。不過我覺得,解決困難問題時難免會出現種種分歧。Noema Magazine @NoemaMag 長達十年的 AI 辯論終於要解決了嗎?@garymarcus 似乎看到了結束的跡象。現在,“我們終下載可以專注於真正的問題:如何讓資料驅動的學習與抽象符號表示統一起來。”https://t.co/QtaxfAEWdv
——2022 年 8 月 14 日
但對我提出的一條條反駁,他們完全沒做出任何具體評論。
關於大模型的論斷的辯論
LeCun 最近發表的另一篇文章談到了一個重要問題,即大型語言模型是否真的走上了通往人工通用智慧的正確道路,包括人是否真能單靠語言表達就掌握足夠的常識。
LeCun 和合著者 Browning 提出了強有力的論斷,認為單憑語言輸入(也就是 GPT-3 訓練模型之類的成果)還不夠。他們專門寫了一篇題為 《AI和語言的侷限》 的文章,認為“單靠語言訓練的系統既從現在開始一直訓練到宇宙熱寂,也永遠不可能接近人類的智慧。”
但他們這個觀點仍然不是原創。我在 2020 年 2 月 《AI的下一個十年》 一文中也提出過相同的問題:
等待越來越大的語言訓練語料庫中自動孕育出認知模型和推理能力,就像是在等待神蹟的出現……——這幾乎跟 LeCun 和 Browning 的結論完全相同。
這還沒完呢。
下一個關鍵問題,就是我們到底該怎麼做。我們沒法單靠大型語言模型來真正解決 AI 問題,所以我就在 2020 年 1 月提出:
像 GPT-2 這樣的系統無論自身功能表現如何,都不具備任何明確(即無法直接表示、無法簡單共享)的常識知識、推理能力和確切認知模型。
之後是 2020 年 2 月:
花在改進大規模單詞級預測模型上的每一秒鐘都是浪費,不如用在開發有望實現推導、更新和推理認知模型的技術上。
聽起來是不是很耳熟?LeCun 在最新採訪中宣揚的,也是與認知模型相結合的相同觀點。
而我在 2019 年第一次提出這個觀點時,猜猜誰馬上跳出來噴我?對,就是 Yann LeCun。
我當時寫道:
Gary Marcus @GaryMarcus
像 GPT-2 這類系統的最大問題並不在於能不能理解數量(@ylecun 的意見恰好相反),而是沒能發展出能準確表示 事件如何隨時間展開 的清晰 w 數。這個問題單靠堆數量是解決不了的:
Yann LeCun @ylecun @StanDehaene @GaryMarcus 實際上,接受過數量處理訓練的機器確實學會了處理數量。Gary 總說通過訓練來預測缺失單詞的機器掌握不了數量的概念,呸!2019 年 10 月 28 日 這其實就是在用另一種表達,強調大型語言模型缺乏認知模型的問題。
當時,LeCun 還說我的論證在根源上就錯了:
Yann LeCun @ylecun
@GaryMarcus 是錯的。咱們看看: arxiv.org/abs/1612.03969 其中表二:第 7 行(計數)和第 14 行(時間推理)都獲得了 0 錯誤率(在 bAbl 任務中)。你在丟擲論點的時候,最好搞清楚你的論據三年之前就已經站不住腳了。
—— 2019 年 10 月 28 日
現在他的想法變了,於是之前說過的話就如同沒說。他也開始強調認知模型的重要意義,又反“捅”我一刀,堅稱這是他的獨創觀點。
LeCun 的新論文“洗稿”多位前輩學者成果
所以我當然有理由生氣,而且也有其他同行在為我打抱不平。
深度學習先驅、廣泛應用的 LSTM 神經網路創造者 Jürgen Schmidhuber 最近也在推特上提到:
Jürgen Schmidhuber @SchmidhuberAI Lecun (@ylecun)在 2022 年關於自主機器智慧的論文中把老觀點複述了一遍,但卻絲毫沒提到這些內容早在 1990 年到 2015 年的研究中就已經存在了。我們已經發表了他口中的那些“重要原創貢獻”,包括:學習子目標、可預測的抽象表示、多個時間尺度等。
LeCun2022 年發表的新論文其實是對 1990 至 2015 年間原有成果的“洗稿”,例如 1990 年:梯度下降學習子目標;1991 年:多個時間尺度與抽象級別;1997 年:學習可預測抽象表示的世界模型…… —— 2022 年 7 月 7 日“複述卻不引用”——這可以說是對其他學術研究者最大的冒犯了。
LeCun 的新宣言總體上還是出於良好的動機,呼籲將“可配置的預測世界模型”納入深度學習。我也一直強調應該這麼做,但最早提出這一理念的是 Schmidhuber。作為 1990 年代的深度學習先驅,他也一直在為此而努力,但 LeCun 對此甚至不願提一句感謝。
LeCun 觀點引來多位學者批評
LeCun 的妄言已經在推特上激起波瀾。
德國計算神經科學家與 AI 研究員 Patrick Krauss 也在推文中嘲諷:
Patrick Krauss @Krauss_PK
哇哦,AGI 終於實現了! :joy: @ylecun 發現了迄今為止深度學習中缺失的環節:常識和世界模型! technologyreview.com/2022/06/24/105… @GaryMarcus @maier_ak
Yann LeCun 對於 AI 未來的大膽設想,其實是把當初深度學習先驅們的觀點彙總了起來。但嘗試回答問題的同時,這又生成了很多新的問題。 —— 2022 年 6 月 25 日
今天早上,Lathropa 釋出了更加尖銳的批評。大家都知道,我在 2022 年 3 月發表的《深度學習正走進死衚衕》( https://nautil.us/deep-learning-is-hitting-a-wall-238440/ )一文受到了 LeCun 的猛烈抨擊。
現在幾個月過去,他怎麼想法又變了呢?
Lathropa @lathropa@GaryMarcus @MetaAI @ylecun “好吧,我們造了把梯子,但我們想要登月,而靠這把梯子顯然登不了月。”LeCun 說他希望重新審視深度學習的基本概念,“似乎是說他的方法走進了某種形似死衚衕的空間”…… -2022 年 9 月 25 日
我實在沒從 LeCun 的採訪中看到什麼真正的新東西,所以昨天專門邀請他在推特上做出解釋。他暫時還沒回復,讓我們拭目以待。
原文連結:
https://garymarcus.substack.com/p/how-new-are-yann-lecuns-new-ideas
- 那些 Go 語言發展歷史上的重大決策
- 從趨勢到挑戰,一站式解讀作業系統運維和可觀測性
- 百萬級 Topic,騰訊雲的 Apache Pulsar 穩定性實踐
- Apache Doris 在思必馳的應用優化實踐:海量語音通話資料下,實時、離線一體的數倉架構設計實踐
- 愛數正式開源認知智慧開發框架 KWeaver
- 運維智慧化的三大關鍵技術
- “抄我的還‘反捅’我一刀”,Gary Marcus 發文駁斥圖靈獎得主 Yann LeCun
- 當出海成為必選項,企業如何構建全場景全生態技術底座?
- 數智底座必備能力三:快速構建創新應用
- Docker 多階段構建實戰 (multi-stage builds)
- 工作筆記之 SELECT 語句在 SAP ABAP 中的用法總結(上)
- 經久不衰的設計定律是不要讓我思考的設計
- 不要指望下一個像 GPT 這樣的大型語言模型會民主化
- Java 近期新聞:Helidon Níma、Spring Framework、MicroProfile、MicroStream、Kotlin 和 Piranha
- 一文入門 jQuery
- C 學習 ---__libc_open 函式的原理
- 監控系統工作原理
- 甲骨文新微服務框架 Helidon Níma:使用虛擬執行緒實現高效能
- 【雲原生 | 從零開始學 Kubernetes】二、使用 kubeadm 搭建 K8S 叢集
- Elasticsearch 聚合學習之四:結果排序