編譯/VR陀螺
目前VR一體機的追蹤系統(tǒng)只能追蹤用戶的頭部和手部位置,此外它還可以借助稱之為反向運動學(IK)的算法來預(yù)測用戶的肘部和軀干等位置信息。不過對于腿部動作預(yù)測目前還缺少行之有效的預(yù)測算法,所以很多VR軟件的Avatar通常只能顯示上半身,如果想要實現(xiàn)全身追蹤,則需要進一步引入tracker等外部追蹤器。
為了解決這一問題,去年9月,Meta AI研究人員公布了一個稱之為QuestSim的經(jīng)過強化學習訓練的神經(jīng)網(wǎng)絡(luò),它支持僅通過Quest 2頭顯及其手柄的追蹤數(shù)據(jù)來預(yù)測一個合理的全身姿勢。
不過QuestSim還存在不少問題,如它的時延為160毫秒,在72Hz運行時僅有11幀。此外,它只適合用來查看別人的分身,而不適合看自己的。此外,Meta的研究論文中并沒有提及運行QuestSim所需的性能要求。
最近,Meta AI研究人員發(fā)布了一篇名為Avatars Grow Legs ( AGRoL )的新論文,里面展示了一個依靠算法實現(xiàn)全身追蹤的方法,論文中指出他們實現(xiàn)了“最先進的性能”,并且對于硬件依賴要小于以往的算法。
AGRoL是一種擴散模型,它有點類似于最近的Stable Diffusion、DALL·E 2等AI圖像生成系統(tǒng)。
圖源:Meta
研究人員表示,AGRoL可在NVIDIA V100上實時運行,運行速度約為41FPS。雖然NVIDIA V100是一個價值15000美元的GPU,但這通常是機器學習算法開始運行時所必須的,或許經(jīng)過未來幾年的優(yōu)化和改進,該算法將能適用于智能手機設(shè)備,此前的Google Assistant和Siri正是由此發(fā)展而來的。
不過當前并沒有跡象表明AGRoL將何時用于Meta Quest系列產(chǎn)品中,Meta宣布其Avatar系統(tǒng)將于今年獲得腿部支持,里面可能性更大的是用戶將能看到別的Avatar的腿部動作,而非自己的。
來源:UploadVR
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息