體驗不到 Google AR 眼鏡,急得我自己整了一個

語言: CN / TW / HK

首先需要(也許不止)一臺報廢的 HoloLens

大概五六年前,朋友借給我一臺首發版的 HoloLens,那種體驗至今念念不忘。

HoloLens

HoloLens 是微軟公司開發的一種 MR 頭顯。眼鏡將會追蹤你的移動和視線,進而生成適當的虛擬物件,通過光線投射到你的眼中。因為裝置知道你的方位,你可以通過手勢,比如半空中抬起,放下手指點選與虛擬 3D 物件互動。

我記得開啟 RoboRaid 後,沒等反應過來,奇形怪狀的外星機器人接連“穿破”我家牆壁,對我發起攻擊。跟著遊戲聲音提示,我不斷改變攻擊方向,然後像滅霸一樣,“打個響指”。

HoloLens 遊戲體驗丨作者供圖

這些機器人“建模”並不精緻,不過重在“真實感”。我清楚記得遊戲結束後,我去摸了摸牆,檢查是不是真的炸開了洞。即便是幾年前的遊戲體驗影片,拿到今天翻看時,依然覺得毫不遜色。

比起當時的 Google Glass 等有一個用來顯示的“虛擬螢幕”, HoloLens 創造一種融合於真實環境的 3D 全息影像,而且雙目成像,比單目(Google Glass 2D 畫面)的融合程度更高 。根據真實環境,生成遊戲場景,“真實”到近大遠小,相互遮擋,人與場景產生互動。不過國內一度炒到 7 萬的高價,徹底斬斷我的念頭。

兩年之後,我偶然在閒魚上看到 HoloLens 的“報廢機”,大概在 400 元左右。靈機一動,便買了一臺回來,“搓搓手”準備對其修復。

算是運氣好,拆解下來發現核心部件(cpu,記憶體顆粒等主要的幾個晶片)並未損壞, 內部破損位置主要是電路,可以通過飛線修復 (將電路板上的兩個斷點直接用電線接通的一種方法)。

可惜鏡片碎了,但因為 HoloLens 光機鏡片是“模組化設計”,我只需要替換光機鏡片即可(是的,我又買了一臺鏡片完好的報廢 HoloLens,也差不多 400 元)。

螢幕,和“模組化”的光學模組丨作者供圖

起初我以為鏡片裝上就了事,第一次裝上去畫面是虛的,拆下來,第二次裝上去雙眼畫面一邊高一邊低,拆下來……不斷校準除錯的過程中,那副好的鏡片因為反覆拆卸也出現了損傷,我差點放棄。

修復好的HoloLens,沒裝外殼丨作者供圖

好在開機的一瞬間,初玩 HoloLens 的感覺又回來了。更為珍貴的是,我在修復的過程中,對於光波導鏡片的成像機制有了一定了解,為後來起了鋪墊。

既然叫眼鏡,光學元件是關鍵

智慧眼鏡被普遍認為是“下一代計算平臺”,應該作為一款提升效率的工具,滿足翻譯、導航等日常需求(這也是很多廠商近來努力的方向)。“日常”意味著不能太大、便攜,這也是我做智慧眼鏡的初衷。

構成一款 AR 裝置主要由兩部分構成,處理晶片和光機模組。後者往往是區別不同 AR 眼鏡產品的關鍵。 市面上 AR 眼鏡的光機模組結構主要分三部分,直白一點,他們分別起到的作用是,畫面投射、放大、畫面反射

畫面投射是指需要一個成像的螢幕本體。放大是指放大畫面尺寸。所謂畫面反射,就是利用不同的光學技術(例如 Google 的稜鏡、HoloLens 的光波導鏡片),進行反射,折射或衍射,最終在視網膜上成像。

比如 Google Glass 通過投影到帶有切割反射面的小稜鏡上成像。光波導在尺寸和視角上有很大的改進。要想提高“光學效率”,光在傳輸的過程中減小損失,“全反射”是關鍵,即光在波導中通過來回反射前進(像只遊蛇一樣)而並不會透射出來。

不同光學技術原理丨華創證券

第一次嘗試,用 HoloLens 拆卸下來的光波導鏡片進行製作。另外符合前兩者的裝置,大家想必也能猜出來,就是常見的投影機。隨後我買了現成迷你投影機,處理終端採用的是樹莓派,做成第一臺樣機。缺點是投影機體積大,費電,滿足不了作為移動裝置的需求。

做出的第一版體積很大丨作者供圖

以我當時的個人能力,自制一臺足夠小的投影光機不大現實。不過我的思路逐漸清晰—— 為了控制製作難度,我選取的“原材料”儘可能多覆蓋上述三個功能,HoloLens 的光波導鏡片,與傳統光學器件無異,僅起到“改變光線傳播方向”的作用

於是我放棄用 HoloLens 鏡片來做一臺的想法,採用更加合適且能縮小體積的配件。

我找來一臺報廢的“愛普生 BT200”的光學元件(老規矩——拆!),它的畫面反射結構和光學放大結構是做在一起的,拿來改裝只需要更換內部的成像(說白了換個螢幕)。BT200 用自由曲面的光學技術,規避了光波導採用的那種結構複雜的光機,相對容易改裝。

我把 BT200 的螢幕拆出,替換成 HDMI(可輸入訊號成像)的 OLED 螢幕,連線樹莓派終端機做成了第一個“智慧眼鏡”。

BT200 版的眼鏡,後來我在下面加了 3.5mm 的耳機介面丨作者供圖

第三次嘗試,我打算開發一個更好的版本,花了 4500 買了商用的陣列光波導模組。接下來的日子,我嘗試用它看《動物世界》,打《動物森友會》...... 通過 HDMI, 將遊戲畫面“投”到我的眼前,坐著玩,躺著玩,不再擔心 NS 砸到臉上

用眼鏡看影片,拋除拍攝因素,畫面質量不錯丨作者供圖

帶上自制的炫酷“眼鏡”,看流浪貓

總的來說,畫面質量讓我滿意。然後我就想“單純螢幕”外,能不能實現更多?

我增加 USB 作為擴充套件口,相容之後設計的模組。基於樹莓派 Linux 系統,我寫了一些應用程式,對應應用程式外接不同模組。現實問題很快出現了。起初我並沒有設想好,將眼鏡最終做成什麼樣,當我想中途加減(功能),改動就不容易。 功能多,意味著配件和關聯性多,眼鏡本身就沒多少空間可容納

以至於最後我只做了一個用於“識別探測(生命體)”的應用程式,結果當時採用的樹莓派只有 USB2.0 介面導致配件供電不足,裝置帶不動探測器的頭。延伸眼鏡功能的想法幾乎失敗。

但我不想中斷這一過程。既然做不了“超級賽亞人”,我準備將“識別探測”功能,單拎出來做成“瞄具”。(因為這一功能在眼鏡上出現很多問題,無法進一步完善。涉及到後續“瞄具”申請專利,不多講。)

改成瞄具丨作者供圖

簡單來說, “瞄具”基於熱成像結合影象演算法實現對環境增強,具備一定的夜視效能,熱成像功能比如穿透煙霧、對帶有特定熱源的物體進行探測(可用於快速搜尋有生目標)

我最開始用普通攝像頭,但是基於可見光的攝像頭在低光照環境下效果非常不理想,增加額外照明就背離便攜和低功耗的初衷。後來嘗試熱成像,因為不依賴可見光成像,且具備一定的畫面抗干擾能力,強光爆閃對熱成像完全“無效”。

做成瞄具的一個原因在於我也算半個軍事愛好者。基本設計延續了之前眼鏡的理念,想為眼鏡版本暴露出的諸多問題尋找解決辦法。

其中最大的一個問題是功耗。改進的眼鏡相比初代“HoloLens 版本”已經低了一大截,但樹莓派工藝一般,功耗控制並不算優秀,使用內建電池的話,2000 毫安預計能撐 30 多分鐘。能想象“小玩意”掛一個 1-2 萬毫安的充電寶嗎?

其次是樹莓派帶來的高溫問題,會影響長時間佩戴的體驗。外加這一次改進的(瞄具)版本,個人並不需要影片等多媒體功能,降低功耗、發熱是首要目標。所以替換了原以樹莓派為主的驅動方案,採用 STM32 的低功耗方案,還升級了配件效能,持續執行時間增加到了 7 小時左右。

疫情期間不常出門,無聊時我就用瞄具看看窗外,“探測”流浪貓。 順帶科普一下,長波熱成像是看不到氣體的,所以我看不到來往的行人是否放屁

穿透煙霧實驗丨作者供圖

AR 不是某種“特定裝置”,而是一種增強現實環境的技術。HoloLens 的“環境掃描”是基於 SLAM(即使定位與地圖構建),掃描環境,並把結果與現實重疊。這臺機器目前還做不到。

但它開始履行我對於 AR 眼鏡最初的“幻想”——與環境互動。

做到這裡,算了算賬,我停下了

雖然我試圖為 AR 眼鏡尋找問題的解決方案,但迭代已經停滯了。原因是製作成本遠遠超出一個 DIY 範疇,當時一片光波導鏡片價格要四千五,而我前前後後更換配件也花了上萬塊。

廠商開發 AR 眼鏡也暴露出一些很難解決的麻煩。 第一是待機時長。將 AR 眼鏡是下一代計算平臺來看,待機時長遠達不到手機。待機時長等於使用價值。第二是螢幕亮度,目前只有單色螢幕能在室外使用,彩色螢幕做不到。

OPPO Air Glass 釋出,有人會問,為什麼不是彩色的?答案就是這個。紅色、藍色亮度做不上去,綠色在“三色”同亮度下,功耗是最低的。而且彩色資料量多,佔記憶體更大,耗電量多。由於 OPPO 用的光學技術方案,鏡片顯示的內容會被別人看得一清二楚。

OPPO Air Glass 顯示效果丨圖片來自網路

這讓我想起,雖然之前 Google Glass 也是彩色螢幕,但是利用低解析度(640*480),窄視角,小畫面的方案解決功耗和待機問題。即便如此,連續使用時長也不超過四小時。相比之下,HoloLens 雖然足夠震撼(畫面大小趕上電視了),但是為了給大幅畫面提升亮度,要用功耗代償。

我個人認為 Google 當時有好好思考做一款 AR 眼鏡,是綜合了各種因素的產物。某種程度上,讓我對這次 Google I/O 的概念機有了一絲期待。那麼, “消費級AR”離我們還有多遠呢?也許要看廠商追求 HoloLens 般的“酷炫”,還是做一款“Google Glass”類的產品了。

本文來自微信公眾號 “果殼”(ID:Guokr42) ,作者:肖鑫傑,編輯:沈知涵,36氪經授權釋出。