LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

語言: CN / TW / HK

AI界當代最著名巨擘之一、Meta的AI實驗室靈魂人物Yann LeCun,長期致力於讓機器對世界的運轉理念有基礎瞭解,也就是讓AI獲得常識。LeCun過去的做法,是用影片選段訓練神經網路,讓AI逐個畫素地預測日常活動影片下一幀將會出現啥。不出人意料地,他自己承認這途徑撞上了鐵板。在數月到一年半之間的思考後,LeCun對下一代AI有了新的想法。

AI新路徑

在《MIT科技評論》的採訪中,LeCun勾勒出他的新研究路徑,稱如此會給機器賦予探索世界的常識基礎。對LeCun而言,這就是打造AGI(通用人工智慧)的第一步。能像人一樣思考的機器,在AI業界誕生時就是指導性願景,同時也是爭議最大的理念之一。

不過LeCun的新路徑或許還很不完備,引來的疑問可能比獲得的答案還要多。最大的疑問在於,LeCun自己承認了他還不知道如何造出自己所描述的那種AI。此路徑的核心是個能以與之前不同方法審視、學習真實世界的神經網路。LeCun終於放棄了讓AI逐個畫素猜下一幀影片,只讓新的神經網路學會完成任務必備的關鍵知識。

然後LeCun打算將這個神經網路與另一個被稱為「配置器」的神經網路配對。「配置器」專管決定哪些細節是主神經網路必須學會的、並照此來自動調節主系統。對LeCun來說,AGI是人類與未來科技互動的不可或缺部分。當然此展望和他押注全副身家搞元宇宙的東家Meta公司不謀而合。

LeCun說,在10-15年間,取代現在智慧手機地位的將是AR眼鏡。AR眼鏡上就必備能輔助人類日常活動的虛擬智慧助手。如果這些助手要起最大作用,那必然或多或少要跟得上人腦智慧才行。

「世界模型」是AGI核心

LeCun最近熱衷的「世界模型」,按他說就是大多數動物大腦的基礎運轉模式:為真實世界跑個模擬。動物從嬰兒期開始就用預估-試錯方法來發育智慧。幼孩們通過觀察真實世界的運動與挫折,在生命的前幾個月就發育出了智慧的基礎。
觀察一個小球掉個幾百次,普通嬰兒就算沒上過基礎物理課、學過牛頓三定律,也對重力的存在與運作有基礎認知。所以這種直覺性/默會性推理,被常人稱作「常識」。人類就是通過常識來認知真實世界的大多數可能未來與不可能幻想,來預見自己的行為後果並據此做出決策。如此的人智既不需要畫素級精確細節,也不需要完備的物理學引數庫。就算有人沒有視力、或者是個文盲,一樣可以正常發揮智慧。

但教機器學會常識就很難。當下的神經網路要被展示數千次示例後,才能開始模糊發現內含規律模式。LeCun表示,智慧的基礎是預測即刻未來的常識能力。不過在放棄讓AI逐畫素預測後,LeCun表示要換個思路。LeCun打了個比方:想象下你捏根鋼筆懸空放手,常識告訴你這根鋼筆必然會墜落,但掉落的精確位置則不在人智預測範圍內。按過去的AI開發模式,AI要跑複雜的物理學模型,來預測鋼筆是否會墜落、同時求得墜落的精確位置。
現在LeCun努力讓AI只預測出鋼筆會墜落的常識結論,至於精確位置不在求解範圍內。LeCun說這就是「世界模型」的基本模式。

LeCun表示他已經造出了可以完成基礎客體識別的「世界模型」早期版本,現在在致力於訓練它學會上述常識性預測。
不過「配置器」在此中的功用,LeCun說自己還沒搞明白。LeCun想象中的「配置器」AI,是整個AGI系統的控制元件。它將要決定「世界模型」在任何時刻需要做出何等常識性預測、並調適「世界模型」為此該處理的細節資料。LeCun現在堅信「配置器」必不可少,但不知道怎麼訓練一個神經網路來做到這效果。

「我們需要摸索出可行的技術清單來,而這個清單現在還不存在。」在LeCun的願景中,「配置器」和「世界模型」是未來AGI基礎認知架構的兩大核心部分,在此之上才能發展出感知世界的認知模型、驅使AI調整行為的激勵模型等等。LeCun稱,如此神經網路就能做到每部分都在成功模擬人腦。比如「配置器」和「世界模型」起了前額葉的作用,激勵模型是AI的杏仁體,等等。

認知架構、不同層面細節的預測模型,這些都是多年來業界中既有的一派觀點。不過當深度學習成為AI業界主流後,很多此類老點子就顯得過時。現在LeCun重拾傳統智慧:「AI研究界把這些東西忘掉好多了。」

大模型和強化學習都是死路

之所以重走舊路,是因為LeCun堅信現在的業界主流路徑已經走進死衚衕。關於如何做出AGI來,現在AI業界有兩種主流觀點。

一是很多研究者堅信到搞出烏龍的路徑:就像OpenAI家的GPT系列和DALL-E系列那樣,模型越大越好,大到超過臨界點,AI就覺醒人智了。

二是強化學習:不斷地試錯,並按試錯結果獎懲AI。這是DeepMind家做各種棋牌AI、遊戲AI的路數。這種路徑的信徒認為,只要獎勵激勵設定對頭,強化學習終將造出真正AGI。

Lecun表示在座的兩種人都是垃圾:「無限擴張現有大語言模型的量級,最後就能做出人類水平的AI?這種荒唐論調,我一秒鐘都沒信過。這些模型就只能單純捯飭各種文字與影象資料,完全沒有真實世界的直接體驗。」「強化學習要用巨量資料才能訓練模型執行最簡單任務,我不認為這種辦法有機會做出AGI來。」

業內人對LeCun的觀點有支援也有反對。如果LeCun的願景實現,AI將會成為不亞於網際網路的下一代基礎高效能技術。但他的聲張並不包括自家模型的效能、激勵機制、控制機制等等。不過這些缺陷都是小事,因為不管褒貶,業內人士一致認為要面臨這些短板還是久遠以後的事。因為即使LeCun也沒法在當下馬上做出AGI來。

Lecun自己也表示承認此形勢,他稱自己只希望為新的理論路徑播種、讓後來者於此基礎上建構出成果。「達到此目標,需要太多人付出太多努力。我現在提出這些,只是因為我認為這條路才是最終的正路。」就算做不到這點,LeCun也希望說服同行不要單單死盯著大模型和強化學習,最好開啟思路。「我討厭看到大家浪費時間。」

業界反應:褒貶皆有

另外一名AI界泰斗、與LeCun交情好的Yoshua Bengio表示樂見老友圓夢。「Yann說這些已經說了有日子了,不過看到他整全性地把各種言說歸納到一處,我還是蠻高興的。然而這些只是研究方向申請而非結果呈報,大家通常只在私底下分享這些,公開聊的風險挺大。」

DeepMind裡牽頭開發遊戲AI AlphaZero的David Silver不贊成LeCun對自己專案的批評,不過歡迎他實現願景。

「LeCun描述的世界模型的確是個令人興奮的新點子。」加州聖菲研究所的Melanie Mitchell則贊成LeCun:「業界真的不常在深度學習社群裡看到這種觀點。但大語言模型真的既缺記憶,又沒有能擔綱的內在世界模型骨幹。」

谷歌大腦的Natasha Jaques不同意:「大家已經看到大語言模型極具效率,也混雜了相當多人類知識。沒語言模型,我怎麼升級LeCun提出的這個世界模型?就算人類學習,途徑也不止親身經歷,還包括口口相傳。」