Meta 展示新研究，僅使用 Quest 頭顯就能實現全身跟

在 Quest的手部追蹤中，Meta 表明 AI 是 VR 和 AR 的一項基礎技術：經過數小時手部運動訓練的神經網路即使使用 Quest 頭顯的低解析度攝像頭也能實現強大的手部追蹤，專門針對手部跟蹤進行了優化。

AI 的預測能力使這成為可能：由於在培訓中獲得的先驗知識，來自現實世界的少量輸入足以將手準確地翻譯到虛擬世界，包括 VR 渲染在內的完整實時捕捉將需要更多功率。

近日，Meta 旗下 Reality Labs 研究人員展示了一項新研究，即通過使用先前收集的跟蹤資料訓練 AI ，以儘可能合理和物理正確的方式模擬虛擬身體運動。QuestSim 只能使用來自頭顯和兩個手柄的感測器資料，對可能進行的全身運動進行模擬。

Meta 團隊使用人工生成的感測器資料訓練 QuestSim AI。為此，研究人員在 172 人的 8 小時動作捕捉剪輯中模擬了頭顯和控制器。這樣一來，他們就不必從頭開始重新捕獲頭顯和控制器資料以及身體動作。

動作捕捉片段包括 130 分鐘的步行、110 分鐘的慢跑、80 分鐘的手勢隨意交談、90 分鐘的白板討論和 70 分鐘的平衡。使用強化學習對虛擬化身進行的模擬訓練持續了大約兩天。

訓練後，QuestSim 可以使用真實世界的頭顯和控制器資料來識別一個人正在做的動作。使用 AI 預測，QuestSim 甚至可以模擬腿部等身體部位的運動，這些部位沒有實時感測器資料，但其模擬運動是合成動作捕捉資料集的一部分，即由 AI 學習。

不過，這項技術目前尚未完美，化身的動作模擬依然存在著一些不足。因為化身的動作是在沒有額外的非物理基力下模擬而出的，在試圖移動角色基點時需要一系列特殊的關節力矩。

QuestSim 適用於不同體型的人，當角色不斷偏離使用者之後，會變得很難跟上動作。因此，模擬角色在試圖模仿一些高活躍度動作（跳舞、跳躍）時會摔倒，因為它們還沒有接受相關扭矩控制的強化學習訓練。

Meta 的研究團隊還表明，僅來自頭顯的感測器資料與 AI 預測相結合就足以製作出可信且物理上正確的虛擬化身。在進一步的工作中，Meta 研究人員希望將更詳細的骨骼和身體形狀資訊整合到訓練中，從而改善化身的運動多樣性。