Meta 展示新研究,僅使用 Quest 頭顯就能實現全身跟
在 Quest的手部追蹤中,Meta 表明 AI 是 VR 和 AR 的一項基礎技術:經過數小時手部運動訓練的神經網路即使使用 Quest 頭顯的低解析度攝像頭也能實現強大的手部追蹤,專門針對手部跟蹤進行了優化。
AI 的預測能力使這成為可能:由於在培訓中獲得的先驗知識,來自現實世界的少量輸入足以將手準確地翻譯到虛擬世界,包括 VR 渲染在內的完整實時捕捉將需要更多功率。
近日,Meta 旗下 Reality Labs 研究人員展示了一項新研究,即通過使用先前收集的跟蹤資料訓練 AI ,以儘可能合理和物理正確的方式模擬虛擬身體運動。QuestSim 只能使用來自頭顯和兩個手柄的感測器資料,對可能進行的全身運動進行模擬。
Meta 團隊使用人工生成的感測器資料訓練 QuestSim AI。為此,研究人員在 172 人的 8 小時動作捕捉剪輯中模擬了頭顯和控制器。這樣一來,他們就不必從頭開始重新捕獲頭顯和控制器資料以及身體動作。
動作捕捉片段包括 130 分鐘的步行、110 分鐘的慢跑、80 分鐘的手勢隨意交談、90 分鐘的白板討論和 70 分鐘的平衡。使用強化學習對虛擬化身進行的模擬訓練持續了大約兩天。
訓練後,QuestSim 可以使用真實世界的頭顯和控制器資料來識別一個人正在做的動作。使用 AI 預測,QuestSim 甚至可以模擬腿部等身體部位的運動,這些部位沒有實時感測器資料,但其模擬運動是合成動作捕捉資料集的一部分,即由 AI 學習。
不過,這項技術目前尚未完美,化身的動作模擬依然存在著一些不足。因為化身的動作是在沒有額外的非物理基力下模擬而出的,在試圖移動角色基點時需要一系列特殊的關節力矩。
QuestSim 適用於不同體型的人,當角色不斷偏離使用者之後,會變得很難跟上動作。因此,模擬角色在試圖模仿一些高活躍度動作(跳舞、跳躍)時會摔倒,因為它們還沒有接受相關扭矩控制的強化學習訓練。
Meta 的研究團隊還表明,僅來自頭顯的感測器資料與 AI 預測相結合就足以製作出可信且物理上正確的虛擬化身。在進一步的工作中,Meta 研究人員希望將更詳細的骨骼和身體形狀資訊整合到訓練中,從而改善化身的運動多樣性。
- 百度騰訊阿里真的是高科技企業嗎?【轉載】
- 三未信安闖關科創板:主營產品市佔率僅0.41%,國產化步伐待加速
- T3出行入駐微信,網約車行業運力爭奪戰升溫
- 社交泛娛樂出海有三難,開發者如何闖關?
- TopHolderX微博數字藏品頭像全面開放!國內社交化數字
- 網約車市場再起波瀾:騰訊、華為相繼入局 聚合模式加速攻城略地
- 首發三週後,蘋果就在印度啟動生產iPhone 14
- 柔宇科技及其法定代表人劉自鴻被限制消費
- T3出行進駐微信交通出行板塊,在南京、成都等全國96城上線
- Meta 展示新研究,僅使用 Quest 頭顯就能實現全身跟
- 健世科技-B(9877.HK)正在招股,結構性心臟病介入治療領域的新星
- 核電,大時代的藏寶圖
- 信通院報告披露5G訊息發展的四大硬傷
- 有線電視會像恐龍一樣滅亡嗎?觀點:不會很快消失
- 美團外賣“保衛戰”,張一鳴深入王興腹地
- 中國電氣裝備:以“力”破局,邁出堅實第一步
- 呷哺佈局燒烤賽道 創始人賀光啟詳解跨界戰略
- 那一夜,周鴻禕夢見百萬雄兵
- SEMI:2023年半導體材料市場規模將破700億美元
- 中國移動政企科創專題:OneOS帶來工業網際網路“鯰魚效應”