Gary Marcus:文字生成影象系統理解不了世界,離 AGI 還差得遠

語言: CN / TW / HK

AI 作畫很牛,但它並不理解影象背後的世界。

作者 | 李梅、黃楠

編輯 | 陳彩嫻

自從 DALL-E 2 問世以來,很多人都認為,能夠繪製逼真影象的 AI 是邁向通用人工智慧(AGI)的一大步。OpenAI 的 CEO  Sam Altman 曾在 DALL-E 2 釋出的時候宣稱“AGI is going to be wild”,媒體也都在渲染這些系統對於通用智慧進展的重大意義。

但真的是如此嗎?知名 AI 學者 (給 AI 潑冷水愛好者) Gary Marcus 表示“持保留意見”。

最近,他提出,在評估 AGI 的進展時,關鍵要看像 Dall-E、Imagen、Midjourney 和 Stable Diffusion 這樣的系統 是否真正理解世界,從而能夠根據這些知識進行推理並進行決策。

在判斷這些系統之於 AI (包括狹義和廣義的 AI)的意義時,我們可以提出以下三個問題:

  1. 影象合成系統能否生成高質量的影象?

  1. 它們能否將語言輸入與它們產生的影象關聯起來?

  2. 它們瞭解它們所呈現出的影象背後的世界嗎?

1

AI 不懂語言與影象的關聯

在第一個問題上,答案是肯定的。區別只在於,在用 AI 生成影象這件事兒上,經過訓練的人類藝術家能做得更好。

在第二個問題上,答案就不一定了。在某些語言輸入上,這些系統能表現良好,比如下圖是 DALL-E 2 生成的“騎著馬的宇航員”:

但在其他一些語言輸入上,這些 AI 就表現欠佳、很容易被愚弄了。比如前段時間 Marcus 在推特上指出,這些系統在面對“騎著宇航員的馬”時,難以生成對應的準確影象:

儘管深度學習的擁護者對此進行了激烈的反擊,比如 AI 研究員 Joscha Bach 認為“Imagen 可能只是使用了錯誤的訓練集”,機器學習教授 Luca Ambrogioni 反駁說,這正表明了“Imagen 已經具有一定程度的常識”,所以拒絕生成一些荒謬的東西。

還有一位谷歌的科學家 Behnam Neyshabur 提出,如果“以正確的方式提問”,Imagen 就可以畫出“騎著宇航員的馬”:

但是,Marcus 認為,問題的關鍵不在於系統能否生成影象,聰明的人總能找到辦法讓系統畫出特定的影象,但 這些系統並沒有深刻理解語言與影象之間的關聯, 這才是關鍵。

2

不知道腳踏車輪子是啥

怎麼能稱是AGI?

系統對語言的理解還只是一方面,Marcus 指出,最重要的是,判斷 DALL-E 等系統對 AGI 的貢獻最終要取決於第三個問題:如果系統所能做的只是以一種偶然但令人驚歎的方式將許多句子轉換為影象,它們可能會徹底改變人類藝術,但 仍然不能真正與 AGI 相提並論,也根本代表不了 AGI。

讓 Marcus 對這些系統理解世界的能力感到絕望的是最近的一些例子,比如平面設計師 Irina Blok 用 Imagen 生成的“帶有很多孔的咖啡杯”影象:

正常人看了這張圖都會覺得它違反常識,咖啡不可能不從孔裡漏出來。類似的還有:

“帶有方形輪子的腳踏車”

“佈滿仙人掌刺的廁紙”

說“有”容易說“無”難,誰能知道一個不存在的事物應當是什麼樣?這也是讓 AI 繪製不可能事物的難題所在。

但又或許,系統只是“想”繪製一個超現實主義的影象呢,正如 DeepMind 研究教授 Michael Bronstein 所說的,他並不認為那是個糟糕的結果,換做是他,也會這樣畫。

那麼如何最終解決這個問題呢?Gary Marcus 在最近同哲學家 Dave Chalmers 的一次交談中獲得了新的靈感。

為了瞭解系統對於部分和整體、以及功能的認識, Gary Marcus 提出了一項對系統性能是否正確有更清晰概念的任務,給出文字提示“Sketch a bicycle and label the parts that roll on the ground”(畫出一輛腳踏車並標記出在地面上滾動的部分),以及“Sketch a ladder and label one of the parts you stand on”(畫出一個梯子並標記出你站立的部分)。

這個測試的特別之處在於,並不直接給出“畫出一輛腳踏車並標記出輪子”、“畫出一個梯子並標記出踏板”這樣的提示,而是讓 AI 從“地面上滾動的部分”、“站立的部分”這樣的描述中推理出對應的事物,這正是對 AI 理解世界能力的考驗。

但 Marcus 的測試結果表明,Craiyon(以前稱為 DALL-E mini)在這種事情上做得一塌糊塗,它並不能理解腳踏車的輪子和梯子的踏板是什麼:

那麼這是不是 DALL-E Mini 特有的問題呢?

Gary Marcus 發現並不是,在目前最火的文字生成影象系統 Stable Diffusion 中也出現了同樣的結果。

比如,讓 Stable Diffusion “畫一個人,並把拿東西的部分變成紫色”(Sketch a person and make the parts that hold things purple),結果是:

顯然,Stable Diffusion 並不理解人的雙手是什麼。

而在接下來的九次嘗試中,只有一次成功完成(在右上角),而且準確性還不高:

下一個測試是,“畫出一輛白色腳踏車,並將用腳推動的部分變成橙色”,得到影象結果是:

所以它也不能理解什麼是腳踏車的腳踏板。

而在畫出“腳踏車的草圖,並標記在地面上滾動部分”的測試中,其表現得也並沒有很好:

如果文字提示帶有否定語,比如“畫一輛沒有輪子的白色腳踏車",其結果如下:

這表明系統並不理解否定的邏輯關係。

即便是“畫一輛綠色輪子的白色腳踏車”這樣簡單的只關注部分與整體關係提示,而且也沒有出現複雜的語法或功能等,其得到的結果仍存在問題:

因此,Marcus 質問道,一個並不瞭解輪子是什麼、或是它們的用途的系統,能稱得上是人工智慧的重大進步麼?

今天,Gary Marcus 還針對這個問題發出了一個投票調查,他提出的問題是,“Dall-E 和 Stable Diffusion 等系統,對它們所描繪的世界到底瞭解有多少?”

其中,86.1% 的人認為系統對世界的理解並不多,只有 13.9% 的人認為這些系統理解世界的程度很高。

對此,Stability.AI 的執行長 Emad Mostique 也迴應稱,我投的是“並不多”,並承認“它們只是拼圖上的一小塊。”

來自科學機構 New Science 的 Alexey Guzey 也有與 Marcus 類似的發現,他讓 DALL-E 畫出一輛腳踏車,但結果只是將一堆腳踏車的元素堆在一起。

所以他認為,並沒有任何能真正理解腳踏車是什麼以及腳踏車如何工作的模型,生成當前的 ML 模型幾乎可以與人類媲美或取代人類是很荒謬的。

大家怎麼看?

參考連結:http://garymarcus.substack.com/p/form-function-and-the-giant-gulf

更多內容,點選下方關注:

掃碼新增 AI 科技評論 微訊號,投稿&進群:

雷峰網 (公眾號:雷峰網)

雷峰網版權文章,未經授權禁止轉載。詳情見 轉載須知

「其他文章」