Meta 展示新研究,僅使用 Quest 頭顯就能實現全身跟

語言: CN / TW / HK

在 Quest的手部追蹤中,Meta 表明 AI 是 VR 和 AR 的一項基礎技術:經過數小時手部運動訓練的神經網絡即使使用 Quest 頭顯的低分辨率攝像頭也能實現強大的手部追蹤,專門針對手部跟蹤進行了優化。

AI 的預測能力使這成為可能:由於在培訓中獲得的先驗知識,來自現實世界的少量輸入足以將手準確地翻譯到虛擬世界,包括 VR 渲染在內的完整實時捕捉將需要更多功率。

近日,Meta 旗下 Reality Labs 研究人員展示了一項新研究,即通過使用先前收集的跟蹤數據訓練 AI ,以儘可能合理和物理正確的方式模擬虛擬身體運動。QuestSim 只能使用來自頭顯和兩個手柄的傳感器數據,對可能進行的全身運動進行模擬。

Meta 團隊使用人工生成的傳感器數據訓練 QuestSim AI。為此,研究人員在 172 人的 8 小時動作捕捉剪輯中模擬了頭顯和控制器。這樣一來,他們就不必從頭開始重新捕獲頭顯和控制器數據以及身體動作。

動作捕捉片段包括 130 分鐘的步行、110 分鐘的慢跑、80 分鐘的手勢隨意交談、90 分鐘的白板討論和 70 分鐘的平衡。使用強化學習對虛擬化身進行的模擬訓練持續了大約兩天。

訓練後,QuestSim 可以使用真實世界的頭顯和控制器數據來識別一個人正在做的動作。使用 AI 預測,QuestSim 甚至可以模擬腿部等身體部位的運動,這些部位沒有實時傳感器數據,但其模擬運動是合成動作捕捉數據集的一部分,即由 AI 學習。

不過,這項技術目前尚未完美,化身的動作模擬依然存在着一些不足。因為化身的動作是在沒有額外的非物理基力下模擬而出的,在試圖移動角色基點時需要一系列特殊的關節力矩。

QuestSim 適用於不同體型的人,當角色不斷偏離用户之後,會變得很難跟上動作。因此,模擬角色在試圖模仿一些高活躍度動作(跳舞、跳躍)時會摔倒,因為它們還沒有接受相關扭矩控制的強化學習訓練。

Meta 的研究團隊還表明,僅來自頭顯的傳感器數據與 AI 預測相結合就足以製作出可信且物理上正確的虛擬化身。在進一步的工作中,Meta 研究人員希望將更詳細的骨骼和身體形狀信息整合到訓練中,從而改善化身的運動多樣性。