LeCun再炮轟Marcus： 他是心理學家，不是搞AI的

最近，LeCun接受了ZDNet的採訪，表示當今的大多數人工智慧方法永遠不會帶來真正的人工智慧。

而採訪中最為精彩的部分，當然還是和老對手們的隔空炮火。

LeCun語不驚人死不休，犀利表示： Schmidhuber就是個插旗的，而Marcus根本不是搞AI的，他只是個心理學家。

LeCun懟老對手，語出驚人

在6月，Meta的首席人工智慧科學家Yann LeCun曾經發表了一篇60頁長文，描述了他認為有望在機器中實現人類智慧水平的方法。

論文地址：http://openreview.net/pdf?id=BZ5a1r-kVsf

他在論文中暗示道：今天的大多數人工智慧大專案將永遠無法達到人類的水平。

而最近，LeCun在接收ZDNet採訪時表示：即使是目前深度學習領域最成功的研究途徑，他也抱有極大的懷疑。

「我認為它們是必要的，但還不夠。」他說。

其中就包括大型語言模型，比如如基於Transformer的GPT-3及其同類。正如LeCun所描述的那樣，Transformer的信徒們相信：「只要我們把一切都標記化，然後訓練巨大的模型來進行離散的預測，人工智慧就會以某種方式從這裡出現。」

「他們沒有錯，」他說，「從某種意義上說，這可能是未來智慧系統的一個組成部分，但我認為它缺少必要的部分。」

對於在完美使用卷積神經網路的學者來說，這種批評真是夠驚人的。

在人工智慧的許多非常成功的領域中，LeCun看到了缺陷和侷限。他對於強化學習領域，他也持同樣的觀點：跟這些領域一樣，強化學習也永遠不夠完美。

雖然DeepMind的David Silver等研究人員已經開發出了掌握國際象棋、將棋和圍棋的AlphaZero程式，但LeCun說：「我們的大部分學習過程，不是通過實際行動來完成，而是通過觀察來完成的。」

Lecun已經62歲了，在這個領域浸淫了幾十年後，他認為自己有必要對許多人做出提醒：你們急匆匆走上的，是一條盲道。

「有很多人在討論，我們應該做什麼來實現人類水平的人工智慧。很多人的說法是錯誤的。」

「我們的智慧機器還沒有達到像貓一樣具有常識的地步，」他說。「我們為什麼不從這裡開始呢？」

他已經放棄了在預測視訊中的下一幀上使用生成網路的信念。「這是一次徹底的失敗。」

在他眼裡，那些「宗教概率論者」應該被譴責——在這些人看來， 概率論是可以用來解釋機器學習的唯一框架。

在LeCun看來，純粹的統計方法是不可能的。「要讓一個世界模型完全服從概率論，這要求也太高了；我們不知道該如何做到。」

LeCun認為，不僅是學術界，工業上的人工智慧也需要重新思考。在他看來，自動駕駛汽車公司，比如Wayve，一直「過於樂觀」，因為他們認為只要把資料扔到大型神經網路裡，就可以學到任何東西。

「我們完全有可能擁有沒有ADAS（高階駕駛輔助系統）的五級自動駕駛汽車，但不得不對它進行工程設計。」

他認為，這種過度設計的自動駕駛技術，會和所有因深度學習而過時的計算機視覺程式一樣，非常脆弱，非常易碎。

「最終，會有一個更令人滿意、更好的解決方案，這個系統能更好地理解世界的運轉方式。」

LeCun還提出了重要的一點：所有AI都面臨著同樣的基本問題，特別是如何測量資訊。

「你必須退一步說，好吧，我們建了這個梯子，但我們的目的是去月球，這個梯子不可能把我們送上月球。」LeCun說他希望促使人們重新思考基本概念。「我的意思是，我們需要建造火箭，我不能告訴你建造火箭的細節，但這是基本原則。」

好了好了，採訪中最喜聞樂見的嘴炮part來了。

首先，被LeCun炮轟的物件是Dalle Molle人工智慧研究所主任Jürgen Schmidhuber。Schmidhuber曾怒懟LeCun剽竊了自己的學術成果。

Le Cun表示，Schmidhuber在社交網路上發表的觀點，根本不是事實。他只是在插旗：有了一個想法建議你怎麼做，然後寫下來，沒有任何實驗，沒有任何理論。

像他這樣跟玩兒似的做法，和真正的做理論（說明它為什麼有用，然後付諸實踐），這其中有很大的區別。這之中有一個完整的鏈條。

而在Schmidhuber看來，誰第一個有這個想法，誰就佔頭功，這很荒謬。

他說我應該引用的論文中，並不包含我論文中的任何主要觀點。他在GANs和其他事情上也是這麼做的，結果根本不像他說的那樣。插旗很容易，要做出貢獻可就難多了。

順便說一下，對於這篇論文，我明確表示了這不是一篇通常意義上的科學論文，它更像是一份關於走向何處的立場檔案。我並不要求我在論文中寫的大部分內容有任何優先權。 ​

而LeCun的老對頭，紐約大學教授Gary Marcus自然也逃不過他的炮火。

在談到通過在神經網路上新增符號推理來推動人類水平的人工智慧時，LeCun表示自己不知道如何做到這一點。

他表示，自己在論文中介紹了一種方法，可以在沒有明確符號操作的情況下就能做到這一點。這就是Gary Marcus的做法。

接著，LeCun爆出神評論——

「Gary Marcus不是一個搞AI的，他是一個心理學家。他從未對人工智慧做出任何貢獻。他在實驗心理學方面有不錯的成果，但他從來沒有寫過一篇關於人工智慧的同行評審論文。沒錯，有些人就是這樣。」

Marcus大翻老黃曆：LeCun說的那些，我早就說過了

ZDNet的專訪頭一天發出，Gary Marcus的回懟文章第二天就來了！

Marcus發文表示：

62歲的知名深度學習先驅Yann LeCun，紐約大學教授，圖靈獎得主，Meta公司的首席人工智慧科學家，近年來對深度學習的新想法是一個接一個。

就在六月初，LeCun發表了一篇被廣泛討論的「宣言」，以及一篇對我的工作的評論。但是他所說的有多少是真正的新東西呢？

昨天那篇ZDNet對LeCun的採訪，我看了之後很震驚，因為LeCun所說的幾乎所有內容，我之前都說過，有些幾乎是一字不差，其中大部分是在2018年一篇名為《Deep Learing：A Critical Appraisal》的論文中，LeCun當時說我講的「大部分是錯誤的」。

論文連結：

http://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

那麼他2022年講了什麼？我之前在2018年甚至之前又講過什麼？

我只舉幾個例子。

LeCun：今天的人工智慧方法永遠不會導致真正的智慧

馬庫斯：如果我們要實現通用人工智慧，深度學習必須得到其他技術的補充。

LeCun：目前的深度學習模型可能是未來智慧系統的一個組成部分，但我認為它缺少必要的部分。我認為它們是必要的，但還不夠。"

馬庫斯：儘管我勾勒了所有的問題，但我不認為我們需要放棄深度學習。相反，我們需要重新認識它：不是作為一種通用的工具，而只是作為眾多工具中的一種。"

LeCun：強化學習也永遠無法滿足智慧需求。

馬庫斯：將深度強化學習與誘導概念聯絡在一起是一種誤導。

LeCun：我認為AI系統需要能夠推理；

Marcus：那些與分類關係不大、與常識性推理關係較大的問題，基本上不在深度學習的範圍內，而且就我所知，深度學習對這類問題沒有什麼幫助。

LeCun（2022）：你必須退一步說，好吧，我們建了這個梯子，但我們想去月球，這個梯子不可能把我們帶到月球。

馬庫斯（2012）：套用一個古老的寓言，Hinton通過深度學習造了個更好的梯子；但一個更好的梯子不一定能讓你上月球。

從來沒有人比LeCun更仔細地重述我講過的論點，而不註明出處。

讓一個這麼厲害的人，幾次三番地講出我之前早就說過的觀點，這算不算我又一次贏麻了？

如果說上面這段屬於是為自己爭取Credit的話，Marcus部落格後半部分的內容看起來就完全是針對LeCun本人了。

比如Marcus說，LeCun不想讓人發現說過我曾經說過的觀點，也不對這些觀點分享任何credit，這是違反學術禮儀的。

另外，為了孤立我，他在採訪中對我進行了無端的、完全不實的抨擊，聲稱「Gary Marcus不是AI研究人員，他是一個心理學家，從未對AI做出任何貢獻。他在實驗心理學方面做了非常好的工作，但他從來沒有寫過一篇關於AI的同行評議的論文」。

這完全是錯誤的。實際上，我在AI領域發表了大量的文章，有些是在同行評議的期刊上，有些不是。我最重要的人工智慧論文，對神經網路做了實驗性工作，在1998年就預見到了分佈轉移和異常值的挑戰，這些問題到現在還在困擾著Bengio等人。

也許我最有影響力的AI工作恰好不是一篇期刊文章，而是2001年由MIT出版的《代數思維》一書。LeCun在ZDNet的訪談中的幾乎每一個觀點，在這本書裡都有提及。

LeCun真正的意思是，他沒讀過這本書，讀都沒讀過，就認為沒有影響的想法是可笑的。

LeCun的說法過於離譜，以至於不少人在訪談發出後，都來為我說話；ZDNet也立即釋出了更正說明。

Vmind.AI的執行長Miguel Solano發推表示對我表示支援。

Henning Schwabe 更是直接講LeCun的訪談過於自大，而自大正是理性的敵人:

為了建立自己的學術地位，人們有時會對credit做出不負責、不道德的行為。哈羅德·布魯姆曾經寫過一本書，他稱之為《影響的焦慮》。直到今年，我還沒有在像LeCun這樣榮譽等身的人身上看到這樣的傾向。但從今年開始，我從他身上看到了一次又一次。

LeCun最近的每篇論文和文章都以自己的方式表現出對過去的否定。

關於符號操作的問題。LeCun花了不少時間來抨擊符號操作，他的合作者之一Hinton更是如此，他們在2015年聯合撰寫的一篇深度學習評論中說， 「需要新的正規化來取代基於規則的符號表達的操作」。

如今，LeCun卻在認可符號操作了，並表現得好像之前的抨擊不存在一樣。

甚至斯坦福大學人工智慧教授克里斯托弗·曼寧都感到震驚。

LeCun最近的另一篇文章涉及到一個重要的問題，大型語言模型是否真的在通往AGI的正確道路上，模型是否真的可以僅從語言中學習到足夠的知識。

LeCun和他的合作者Browning提出了一個強有力的理由，即僅有語言輸入（即GPT-3的訓練物件）是不夠的.

他們寫了一篇名為《AI And The Limits Of Language》的文章，認為 「僅靠語言訓練的系統永遠不會接近人類的智慧，即使從現在開始訓練到宇宙的盡頭也不行。」

但這個觀點又是我在2020年2月在一篇名為《人工智慧的下一個十年》的arXiv預印本文章中就提出來的。

「等待認知模型和推理從越來越大的訓練語料庫中神奇地出現，就像是在等待一個奇蹟......」

這幾乎就是LeCun和Browning的結論。

我之前早就說過，大型語言模型的問題在於缺乏認知模型，光靠喂語料訓練是達不到智慧模型的。

然後LeCun說我現在才說這些已經為時已晚:

我先提出的觀點，他現在發現我說的對，就宣稱這個觀點是他先提的，我還能說什麼呢？

而且現在看來，遠不只是我一個人對LeCun的大包大攬有意見。

早先，LeCun那個「宣言」文剛發出來時，就有德國計算神經學家、AI研究人員Patrick Krauss 發推「恭喜」，看起來我們離AGI只差兩個東西，一是常識、二是LeCun的世界模型。

我很難看出LeCun最近的一連序列動中到底有什麼新東西，所以我昨天在Twitter上要求他解釋。

到目前為止，他還沒有迴應。