眼耳鼻舌身意,嚴肅地聊一聊元宇宙的“技術拼圖”

語言: CN / TW / HK

元宇宙太太太火了,以至於還沒來得及認真聊一聊技術本身,各種炒房團、割韭菜、融資潮、付費課……就紛至沓來,我看不懂但大受震撼。

吃多了瓜,頗有一種“累了毀滅吧”的虛無感。不過,元宇宙的技術體系,其實還有很多值得探討的地方。

用美國科技評論家Benedict Evans的話來說,“元宇宙”這個新詞,描述了一組明顯不相關的趨勢,將它們概念化並捆綁成一個單一的敘事。元宇宙概念上市公司 Roblox 的定義中,元宇宙應具備身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明等八大要素。每一種還包含著一連串解釋。

模糊且抽象的概念,讓元宇宙看起來無所不包,又說不清楚,給渾水摸魚留下了餘地。不過,也有不少技術方向是紮紮實實、值得長期投入、對人類社會來說意義非凡的。

所以,我們決定還是嚴肅地聊一聊支撐元宇宙的技術本身。

元宇宙到底是什麼?一個共識是,足夠真實的“虛擬世界”。

無論是1981年美國數學家和計算機專家弗諾·文奇在小說《真名實姓》中構想的虛擬世界,還是普遍認為1992年“元宇宙”一詞誕生的科幻小說《雪崩》中,與真實世界平行的虛擬空間;2003年宇宙學家保羅·戴維斯(Paul Davies)提出的“無限的虛擬多元宇宙塔”,抑或是Facebook的扎克伯格計劃用VR/AR復刻的數字場景,本質上都指向了——模擬現實。

“矽谷鋼鐵俠”埃隆·馬斯克(Elon Musk)也在一檔播客節目中提出,未來遊戲將與現實無法區分,人類將處於模擬之中,你不妨稱它們為現實,或者也可以稱它們為多元宇宙。

元宇宙的載體與內容,最終都要能夠模擬現實。那麼,有哪些感官需要被模擬呢?

佛教認為,人有六根,即:眼、耳、鼻、舌、身、意,這些被認為是心與物的媒介的根本。

那麼我們分別從這些感官版圖中,聊聊元宇宙來臨時,人如何重新認知世界,有哪些技術路徑是值得期待的。

元宇宙之眼

元宇宙的熱度,許多科技企業都想蹭,但沒有一個像Facebook這麼徹底,直接連名字都改成了Meta“元”。這種孤注一擲的操作,很大程度上源自於Facebook在AR和VR上押下了很大的賭注,至少在視覺技術上模擬人類之眼,提供沉浸式的體驗,無人可出其右。

在元宇宙所涵蓋的諸多高新技術中,VR/AR是被認為短期內能夠成立並見到回報的。小說《雪崩》中也需要首先“戴上耳機和目鏡”才能以虛擬分身的方式進入虛擬世界。

模擬視覺,帶來的“真實感”體驗,是元宇宙體驗的第一道關卡,而Facebook(現更名為Meta)則獨擅戰場。

關於Facebook通過收購Oculus等公司,在AR / VR技術上投入大量資金的歷史,我們就不贅述了。Meta在“模擬視覺”上的差異化優勢在於:

首先,成本足夠低。元宇宙的困境之一是VR 頭顯的滲透率不足,能破解這一問題的廠商自然能夠率先拿到船票。

Meta在全球運營著五個研究機構,支援VR/AR的研發。從目前的市場表現來看,Meta旗下的Oculus已經成為頭號選擇,其中Oculus Quest 2更是在今年迎來了一波銷售熱潮,預算友好的同時,支援Steam 平臺的絕大多數VR應用,這也使得Meta能快速進入規模化增長空間。

其次,硬體的終極價值要靠體驗來兌現,這要求VR/AR廠商能夠建構起足夠龐大的內容和社交平臺,為使用者提供和現實中別無二致的工作、娛樂和生活體驗,目前只有Meta能夠將社交優勢與VR技術優勢疊加在 一起 ,產生1+1>2的效果。比如Facebook的虛擬會議,就用了兩年多時間,讓多達16人(以化身為代表)一起坐在虛擬 會議桌 旁開會。此前,Meta還展現了一些全新的技術硬體,比如AR眼鏡Horizon Home,允許使用者邀請他們的朋友進行虛擬社交聚會,並且隨時隨地可穿戴,讓虛擬現實的互動無處不在。

硬體+生態這條路背後,是沉澱多年的技術優勢。比如強大的人工智慧模型,來理解使用者手勢指令的上下文邏輯,最終確定需要執行的操作;再比如情境感知,理想情況下,使用者只需要單擊一次,即可執行任何想做的事情;提升佩戴舒適度,也需要降低VR頭顯的“運動病”發生概率,增加AR可穿戴裝置的柔軟度和舒適度,讓它們儘可能被全天候使用。

模擬視覺的軟硬體能力,是一項艱鉅的長期任務,還有多年的研究要做。短期內,元宇宙還是聚焦於VR/AR。

更早播下種子的Meta,確實有可能率先收穫,從元宇宙上賺到錢,這也就不難理解它孤注一擲擁抱元宇宙的決心了。

元宇宙之體

要讓使用者在數字世界裡有更豐富的感覺,來自身體的觸覺互動和動態感知,是元宇宙的核心挑戰之一。

最近,Meta的Reality Labs Research實驗室,就釋出了兩個重要的產品。

一是可穿戴手套,可以在虛擬的 VR 空間感受真實的觸覺。

想象一下,當你在元宇宙咖啡館裡工作時,虛擬鍵盤每一次擊鍵的觸感都能被完美感受;在元宇宙遊戲中,你可以感受到木質桌面的粗糙和書本表面的光滑……是不是體驗感會大大提升?是不是比在VR裡簡單地看到自己拿起來了更有趣味、獲得更多資訊?

而Meta這次釋出的觸覺手套,就在手套上安裝數百個氣動裝置,遍佈整個手部,可以在佩戴者做出觸控動作時協同改變形狀,通過氣壓來呈現逼真的觸覺感覺。

這種裝置使得研究人員不得不轉向軟體機器人等新興領域,來規避傳統機械耗電、僵硬、體積過大等問題。

同時,為了精確地知道使用者的手在虛擬場景中的位置,是否與虛擬物體接觸,產生的作用力多大,還需要研發新型的觸覺渲染系統,根據手的位置、對虛擬環境的理解、虛擬物品的重量紋理和剛度等等,向手套的氣動裝置傳送正確的指令,需要構建相應的軟體和演算法建模。

為了達到真實的觸覺模擬,2017年Reality Labs Research團隊就開始嘗試,將不同材料(木材、大理石、泡沫)製成的虛擬球體與單個振動觸覺裝置建立關聯線索。

除了手部跟蹤,身體動態也能給虛擬世界增加不少體驗感。如何讓身體資料能夠輸入系統並被模擬呢?

Meta的研究團隊將手腕智慧裝置與AI相結合,進而感知動態環境。

相比手套、VR、語音等輸入方式,手腕裝置更適合全天無感知佩戴及互動。但技術挑戰在於,如何將運動訊號準確地轉換為數字指令。

Facebook在2019年收購CTRL實驗室使用感測器,嘗試通過神經訊號讓使用者直接控制機器。通過手腕的肌電圖訊號,系統可以理解哪怕一毫米的手指運動,進而轉換為數字命令傳送到裝置上,實現數字互動與控制。

舉個例子,你可以在遠處控制虛擬物件,彷彿擁有了原力一般的超能力;未來還可以無需鍵盤,在桌子或膝蓋上打字就能輸入;當你穿著鞋子離開家,裝置就會詢問你是否需要播放音樂……

人類在嬰兒時如何感知世界,靠的正是一次次抓握,一次次爬行。身體知覺的模擬,能夠讓我們在虛擬空間裡和世界再次對話、重新成長。

元宇宙之聲

你戴著一副AR眼鏡和一個柔軟的腕帶,決定去元宇宙裡的虛擬會議室開個會,突然發現,裝置裡傳來了嘈雜的音樂和其他人討論的聲音,讓你很難集中注意力。

事實上,大腦不會對耳朵傳來的所有聲音照單全收,我們總是會對一些特殊詞彙(比如自己的名字)特別敏感,在有必要時也能主動遮蔽外界噪聲。如果要在虛擬世界裡複製真實的聲音體驗,不僅需要聲學裝置本身的高效能,也要對聲音如何與真實環境相互作用進行建模。

就拿Meta的研究方向來說,在3D列印眼鏡上使用多個麥克風,捕捉周圍的聲音,然後通過眼動追蹤裝置,感知頭部和眼睛運動的軌跡,AI系統可以找出你最感興趣的聲音中的哪一個,增強正確的聲音。

這樣在嘈雜的虛擬會議室或咖啡廳裡對話,也不必特意提高聲音才能被聽到。

當用戶的眼神轉向旁白的電視或影片時,裡面正在播放的內容又會變得更響亮,身邊其他聲音則變得更安靜。

除了模擬大腦認知,空間音訊技術和聲學模擬技術,能夠模仿現實生活中不同方向來源的聲音,營造一個更加真實的虛擬空間,使用者使用Oculus Quest等裝置在空間中移動時,裝置模擬出的聲音和房間裡真實的聽覺效果幾乎沒有差別。

舉個例子,當大家都在使用Meta的元宇宙會議系統時,麥克風陣列可以捕捉各個角度的聲音並傳送到耳機裡,使用者可以很自然地判斷髮言者所在的位置並轉向TA,這種體驗感簡直就像自己真的在房間裡一樣。

再想象得多一點,空間音訊結合實時動畫化的超逼真虛擬人,可能會徹底改變影片通話的感覺,讓遠端社交不再是線下的“替代品”,真的能夠提升溝通效率。

聽覺模擬,不僅改變著元宇宙中的溝通方式,也可能提升聽覺障礙人群的社交參與度。

如果說元宇宙和現實世界相比有什麼吸引力,那麼降低生理性差別及其限制,或許會讓許多人都感覺到更加幸福。

元宇宙之意識

你可能會問,除了眼耳手,還有哪些方式進入元宇宙?在1981年出版的小說《真名實姓》中,美國數學家和計算機專家弗諾·文奇教授,就提出了通過腦機介面進入並獲得感官體驗的虛擬世界。

意識進入人造現實,這不正是黑客帝國中“缸中之腦”的情節嗎?但要實現這一點並沒有那麼簡單。

事實上,Meta的Facebook Reality Labs也在進行腦機介面(BCI)的相關研究,希望給VR系統和AR眼鏡提供一種全新的互動方式,但至今並沒有可規模化商用的案例。至於埃隆馬斯克那種直接給大腦做手術的介入式方案就更加遙遠了。

腦機介面BCI的問題主要在於,非侵入性的、基於腦電圖EEG的互動速度非常慢,有時患者需要70分鐘才能輸入一個句子,並不具備使用價值。此外,現有腦機介面裝置的體積也很大,無法長時間佩戴。

目前,Meta的研究團隊希望測量血管和神經元的運動,建立小型、方便的BCI裝置,進而幫助實現無聲語音輸入。

進步總是發生在一點一滴地寸進當中,哪個科技公司更瞭解這項技術,就距離元宇宙更進了一步。

元宇宙之味

元宇宙技術體系中,Meta沒有提到的感覺是氣味和味道。至少目前在VR/AR中,鼻子和舌頭似乎都有點不太必要存在——但視覺、聽覺、觸覺一旦得到完善,就需要開拓其他感官了。

我們常說“聞香識人”,真實世界裡人的氣味、空間的氣味、食物的味道,都是自然界提供給我們的重要資訊。沒有它們,VR將永遠是對現實的乏味模仿。

但嗅覺和味覺所代表的化學感官,數字化的嘗試出人意料地緩慢。

一方面,源自現實的技術挑戰。嗅覺是與杏仁核直接相關的感覺,這也為什麼氣味可以喚起強烈的情感記憶,但將嗅覺整合到VR中,在味道調製上選擇十分有限,無法模仿出現實世界中的數千種氣味。同時也給硬體設計提出了極大挑戰。

2015年在Kickstarter上推出的FeelReal面具,聲稱可以發出氣味,並製造出冷熱霧氣的感覺。但這款面具並不成功,The Verge將佩戴FeelReal口罩描述為“在炎熱的天氣裡將空氣清新劑放入車裡,把臉埋在汽車的塑料座椅上,然後跟隨司機經歷一輪高速急轉彎”——想想都要窒息了。

曾有日本實驗室提出了一個原型嗅覺機,可以掛住Oculus Rift上,放在鼻子底下,通過聲波將液體霧化,向上飄入鼻孔。但這一設計無法讓機器在不應該聞到的時候停止釋放氣體。

味覺感官也同樣,曾有日本研究人員開發了一種食品模擬器,讓使用者有咀嚼的感覺,配合適當的噪音(比如吃餅乾的咔嚓聲),來產生味覺。但這種味道模擬的工作推進緩慢,需要大量的味覺資料,食物風味來自嗅覺,食物質地則依賴觸覺,實現起來十分困難。

(數字味覺介面,一種模擬味覺的方法,通過電和熱刺激來驅動人類舌頭。)

另外,消費者的需求不強烈也是延緩商業化的重要原因。

相比技術挑戰,體驗數字化嗅覺與味覺的心理障礙可能更高。人類進化得來的生理機制是,專注於其他事情時,往往無法檢測到香味,即使感受到化學感官刺激,也更傾向於認為其中包含著危險。

曾有一個實驗讓參與者通過VR感知到虛擬廚房裡的尿液氣味,結果受試者經常錯誤地將尿液氣味誤認為是其他味道,比如魚或者垃圾、屍臭味等等,甚至有人認為這是一種令人愉快的氣味,因為它喚起了好的回憶(屬實大受震撼了家人們)。

總而言之,人類對特定氣味和味道的反應,依賴於背景或以前的經歷,相比視覺線索,化學感知的商業化價值並不明顯。

這也是為什麼在人機互動、多感官融合領域,對化學感官的研究普遍會被忽視。看來要在元宇宙辦公室裡和同事們一起喝虛擬咖啡,還有好長一段路要走了。

寫在最後

說到這裡,會發現關於元宇宙想要模擬現實中的人類感知,還需要較長的時間。在技術與商業上都相對成熟的只有Meta長期押注的VR/AR 視覺體驗。

但是,任何單一技術的短板都有可能限制元宇宙“真實”的效果,給其發展帶來不確定性。

但換個角度,眼耳鼻舌身意的每一項感官模擬,都能帶來建構虛擬世界之外的奇效。比如幫助身體殘障人士重新聽到視覺、嚐到味道、聞到花香;再比如更輕盈、精準度高的可穿戴裝置,為智慧消費硬體市場帶來變化。

從這個角度看,最終元宇宙是否實現並不重要,至少在向目標前進的過程中,網際網路乃至整個世界,都已經變得更好了。而科技巨頭或初創企業想要抓住元宇宙的機會,唯一的選擇只能是走在堅實的技術道路上。

本文來自微信公眾號 “腦極體”(ID:unity007) ,作者:藏狐,36氪經授權釋出。