文/VR陀螺 豌豆

虛擬化身作為真人在虛擬空間中的“投影”，對(duì)VR社交平臺(tái)來(lái)說(shuō)，其真實(shí)感和沉浸感體驗(yàn)非常重要，為了吸引更多用戶加入，不少平臺(tái)著手打造更擬真的虛擬化身。

《Bigscreen》是一款可讓多名用戶同時(shí)實(shí)現(xiàn)遠(yuǎn)程共同觀看YouTube等視頻內(nèi)容的VR社交應(yīng)用，最近更新了為其虛擬化身進(jìn)行了Avatar 2.0更新，讓虛擬化身有了脖子和手臂。

此前，知名社交游戲平臺(tái)《Rec Room》宣布將推出全身虛擬化身，為此還組建了一個(gè)名為“Avatar Initiative”的小團(tuán)隊(duì)來(lái)推進(jìn)開(kāi)發(fā)。

圖源：Rec Room

從“漂浮的半身豆豆人”到“有手有腿的人”，這樣的“進(jìn)化”過(guò)程背后反映了VR社交怎樣的發(fā)展?fàn)顩r，這些平臺(tái)熱衷于設(shè)置全身虛擬化身的意義在哪？

 踏入虛擬社交圈第一步，先“捏人”

虛實(shí)結(jié)合已成為當(dāng)前互聯(lián)網(wǎng)發(fā)展的一大趨勢(shì)，相應(yīng)的3D數(shù)字資產(chǎn)、虛擬化身也更貼近現(xiàn)實(shí)世界，逐步進(jìn)化出新的社交產(chǎn)品。

年輕群體則是社交平臺(tái)的主力軍，為了更好地向年輕群體提供盡情自我表達(dá)的機(jī)會(huì)，不少VR社交平臺(tái)作出了努力，從二維到三維，由玩家操控的部分自由度越來(lái)越高。

概念圖：動(dòng)作由具有全身追蹤功能的玩家控制（圖源：Rec Room博客）

Rec Room團(tuán)隊(duì)的開(kāi)發(fā)博客寫(xiě)道：新的化身系統(tǒng)為《Rec Room》的用戶提供設(shè)置了全身和手指追蹤功能，其虛擬化身將綁定一個(gè)人形骨骼。通過(guò)基礎(chǔ)的VR設(shè)置，反向運(yùn)動(dòng)學(xué)系統(tǒng)（IK）將根據(jù)頭顯和控制器的位置將用戶角色的肘部和肩膀放在特定位置，還可借助SteamVR的全身追蹤技術(shù)實(shí)現(xiàn)更準(zhǔn)確的動(dòng)捕效果。

圖源：《VRChat》IK 2.0

不只是《Rec Room》，最大的VR社交平臺(tái)之一《VRChat》也在2022年專門為用戶進(jìn)行了IK2.0系統(tǒng)更新，可支持11點(diǎn)全身追蹤，為虛擬化身提供各種與追蹤有關(guān)的功能改進(jìn)。

除了《VRChat》以前IK 1.0支持的全身追蹤（腰部和雙腿）之外，IK 2.0的追蹤系統(tǒng)還可以支持雙肘、雙膝和胸部的追蹤點(diǎn)。通過(guò)在身體軀干部分安裝運(yùn)動(dòng)追蹤器并對(duì)其進(jìn)行識(shí)別，將更細(xì)致的運(yùn)動(dòng)反映在VRChat的虛擬化身中。近期還為用戶更新了本地眼動(dòng)追蹤、手勢(shì)識(shí)別等功能，可支持Quest Pro等設(shè)備。

以《VRChat》為例，玩家們熱衷于在虛擬空間還原現(xiàn)實(shí)世界的各種體驗(yàn)，無(wú)論是逛展、購(gòu)物還是學(xué)習(xí)外語(yǔ)，都能在《VRChat》找到真實(shí)感，但玩家們也苦于技術(shù)上的限制，追蹤不準(zhǔn)確等問(wèn)題，無(wú)法進(jìn)一步做出流暢的動(dòng)作，甚至是發(fā)揮設(shè)計(jì)創(chuàng)意。

既然玩家都希望得到全身追蹤支持，為什么不一開(kāi)始就開(kāi)發(fā)全身虛擬化身？因?yàn)樵缒觊g由于技術(shù)的限制，其虛擬化身設(shè)計(jì)遵循了在VR中使用的可行性，在保持這些角色的魅力和親和力的同時(shí)避免恐怖谷效應(yīng)，于是不顯示未被追蹤的腿和手臂，選擇更簡(jiǎn)單的形象設(shè)計(jì)，以便游戲順利運(yùn)行。

僅靠頭顯和手柄極難捕捉更準(zhǔn)確的身體運(yùn)動(dòng)數(shù)據(jù)。用戶對(duì)更真實(shí)的虛擬體驗(yàn)的追求，也成為了不少VR社交平臺(tái)對(duì)全身追蹤功能的“執(zhí)念”，社交平臺(tái)要支持多人在線，龐大的運(yùn)動(dòng)數(shù)據(jù)對(duì)服務(wù)器來(lái)說(shuō)也是一大考驗(yàn)，官方也要提供全身追蹤的功能，團(tuán)隊(duì)需要相關(guān)技術(shù)人員持續(xù)提供服務(wù)并更新。

 常見(jiàn)的全身動(dòng)捕方案 

虛擬化身作為人類在數(shù)字世界或元宇宙的一大映射，全身虛擬化身可以帶來(lái)怎樣的沉浸感？Meta Connect 2022大會(huì)所展示的全身虛擬化身給大家?guī)?lái)了更多想象。

“有腿的”扎克伯格虛擬化身（圖源：網(wǎng)絡(luò)）

如今動(dòng)捕技術(shù)廣泛應(yīng)用影視動(dòng)畫(huà)特效、游戲制作等領(lǐng)域，要完全沉浸于VR的虛擬世界，動(dòng)捕是必不可少的技術(shù)之一。目前主流的兩種動(dòng)捕方案分別是光學(xué)式動(dòng)捕方案和慣性式動(dòng)捕方案，其他方案還包括視覺(jué)動(dòng)捕、機(jī)械式、聲學(xué)式、電磁式，不同方案都有適用的場(chǎng)景和特點(diǎn)。

視覺(jué)動(dòng)捕方案

視覺(jué)人體動(dòng)作捕捉通過(guò)高精度的相機(jī)從不同角度對(duì)運(yùn)動(dòng)的目標(biāo)進(jìn)行拍攝。當(dāng)拍攝的軌跡被相機(jī)獲取之后，程序會(huì)對(duì)這些運(yùn)動(dòng)幀進(jìn)行處理和分析，并最終在電腦中還原出追蹤目標(biāo)的軌跡信息。

該方案的優(yōu)勢(shì)就是不需要任何的穿戴設(shè)備，約束性很小，可以通過(guò)軟件模擬計(jì)算出人體數(shù)字骨骼的關(guān)節(jié)點(diǎn)，再基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)估計(jì)出做動(dòng)作時(shí)骨架姿勢(shì)的變化，隨后在骨架模型上渲染出整個(gè)人身體的輪廓，且受相機(jī)臺(tái)數(shù)影響會(huì)有不同程度的誤差，但呈現(xiàn)效果會(huì)更自然。

光學(xué)式動(dòng)捕方案

光學(xué)式動(dòng)捕可以分為無(wú)標(biāo)記點(diǎn)式光學(xué)動(dòng)捕和標(biāo)記點(diǎn)式光學(xué)動(dòng)捕。其中無(wú)標(biāo)記點(diǎn)式光學(xué)動(dòng)捕普遍存在關(guān)節(jié)定位計(jì)算誤差大、缺少骨骼自旋運(yùn)動(dòng)自由度、層級(jí)骨骼運(yùn)動(dòng)誤差累積導(dǎo)致動(dòng)作變形等問(wèn)題。

標(biāo)記點(diǎn)式光學(xué)動(dòng)捕一般由光學(xué)標(biāo)識(shí)點(diǎn)（Markers）、動(dòng)作捕捉相機(jī)、信號(hào)傳輸設(shè)備以及數(shù)據(jù)處理工作站組成。在運(yùn)動(dòng)物體關(guān)鍵部位（如人體的關(guān)節(jié)處等）粘貼Marker點(diǎn)，多個(gè)動(dòng)作捕捉相機(jī)從不同角度實(shí)時(shí)探測(cè)Marker點(diǎn)，數(shù)據(jù)實(shí)時(shí)傳輸至數(shù)據(jù)處理工作站，根據(jù)三角測(cè)量原理精確額計(jì)算Marker點(diǎn)的空間坐標(biāo)，再?gòu)纳镞\(yùn)動(dòng)學(xué)原理出發(fā)解算出骨骼的6DoF運(yùn)動(dòng)。

慣性式動(dòng)捕方案

慣性式雖然后于光學(xué)式出現(xiàn)，但以其超低廉成本和簡(jiǎn)便成熟的處理流程，以及完全實(shí)時(shí)的數(shù)據(jù)計(jì)算和回傳機(jī)制，成為了更加炙手可熱的技術(shù)。

慣性式動(dòng)作捕捉中加速度計(jì)是用來(lái)檢測(cè)傳感器受到的加速度的大小和方向的，它通過(guò)測(cè)量組件在某個(gè)軸向的受力情況來(lái)得到結(jié)果，表現(xiàn)形式為軸向的加速度大小和方向（XYZ），但用來(lái)測(cè)量設(shè)備相對(duì)于地面的擺放姿勢(shì)，則精確度不高，該缺陷可以通過(guò)陀螺儀得到補(bǔ)償。

另一種解決方法則采用IK+（InverseKinematics）室內(nèi)定位技術(shù)做主動(dòng)作捕捉算法，使用慣性式動(dòng)作捕捉做輔助算法。這套方案中利用室內(nèi)定位技術(shù)對(duì)慣性式動(dòng)作捕捉技術(shù)做實(shí)時(shí)校準(zhǔn)，避免了不斷校準(zhǔn)的麻煩。

動(dòng)畫(huà)演示IK的動(dòng)作原理（圖源：YouTube/Miloš ?erný Animation）

在人體分層結(jié)構(gòu)中，關(guān)節(jié)和骨骼實(shí)際構(gòu)成了運(yùn)動(dòng)鏈，比如肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)及其子骨骼就是一條運(yùn)動(dòng)鏈，是整個(gè)人體運(yùn)動(dòng)鏈上的一條分支，身體即是利用運(yùn)動(dòng)鏈對(duì)運(yùn)動(dòng)進(jìn)行控制。運(yùn)動(dòng)分為正向運(yùn)動(dòng)和反向運(yùn)動(dòng)。已知鏈上各個(gè)關(guān)節(jié)旋轉(zhuǎn)角，求各關(guān)節(jié)的位置信息和末端效應(yīng)器（endeffector）的位置信息，這是正向運(yùn)動(dòng)學(xué)的問(wèn)題；而己知末端效應(yīng)器的位置信息，反求其祖先關(guān)節(jié)的旋轉(zhuǎn)角和位置，這就是反向運(yùn)動(dòng)學(xué)。

反向運(yùn)動(dòng)學(xué)根據(jù)決定運(yùn)動(dòng)的幾個(gè)主關(guān)節(jié)最終角度確定整個(gè)骨架的運(yùn)動(dòng)，通常用于環(huán)節(jié)物體，由不同運(yùn)動(dòng)約束的關(guān)節(jié)連接成環(huán)節(jié)構(gòu)成的分級(jí)結(jié)構(gòu)骨架。如：投球動(dòng)作，只規(guī)定出球的起始位置、終了位置和路徑，手臂等跟隨關(guān)節(jié)的轉(zhuǎn)動(dòng)可按反向運(yùn)動(dòng)學(xué)自動(dòng)算出。反向運(yùn)動(dòng)學(xué)方法在一定程度上減輕了正向運(yùn)動(dòng)學(xué)方法的繁瑣工作，是生成逼真關(guān)節(jié)運(yùn)動(dòng)的最好方法之一。

 如何讓虛擬化身的“肢體語(yǔ)言”更真實(shí) 

圖源：Roblox

蘇黎世聯(lián)邦理工學(xué)院此前的兩項(xiàng)研究都在探索深度學(xué)習(xí)能力與動(dòng)捕技術(shù)，為用戶提供更高保真的虛擬化身。

AvatarPoser

Meta Reality Labs曾聯(lián)合蘇黎世聯(lián)邦理工學(xué)院發(fā)布關(guān)于全身動(dòng)捕的研究“AvatarPoser”，這是一項(xiàng)基于深度學(xué)習(xí)算法，僅通過(guò)用戶的頭顯和手柄的運(yùn)動(dòng)輸入數(shù)據(jù)來(lái)預(yù)測(cè)用戶全身運(yùn)動(dòng)的姿勢(shì)，并實(shí)現(xiàn)穩(wěn)定追蹤。

如今MR頭顯已經(jīng)可以做到流暢地追蹤用戶頭部、手部的姿勢(shì)，以便在虛擬空間中進(jìn)行交互。雖然這已經(jīng)能夠支持用戶的基本運(yùn)動(dòng)數(shù)據(jù)輸入，但反映到虛擬化身上，也只能實(shí)現(xiàn)上半身的交互，也就是類似《Rec Room》《Horizon Worlds》這類VR社交應(yīng)用所呈現(xiàn)出來(lái)的“漂浮的半身豆豆人”形象。

如果要呈現(xiàn)全身虛擬化身，還需要另接追蹤器和傳感器。該團(tuán)隊(duì)表示結(jié)合大型人體運(yùn)動(dòng)捕捉數(shù)據(jù)庫(kù)（AMASS）取得了不錯(cuò)的試驗(yàn)效果，為元宇宙應(yīng)用提供了良好的全身追蹤效果和全身虛擬化身。

AvatarPoser的研究則是建立在Transformer模型編碼器的基礎(chǔ)上，從輸入信號(hào)中提取深層特征，并將全局運(yùn)動(dòng)與學(xué)習(xí)局部關(guān)節(jié)方向解耦，來(lái)獲得類似于運(yùn)動(dòng)捕捉動(dòng)畫(huà)相同效果的全身運(yùn)動(dòng)，團(tuán)隊(duì)則使用IK的優(yōu)化程序來(lái)完善手臂關(guān)節(jié)的位置，以匹配原始追蹤數(shù)據(jù)。

準(zhǔn)確地估計(jì)末端效應(yīng)器的位置在MR中特別重要，比如在虛擬場(chǎng)景中的手，因?yàn)槭侄际窃谶\(yùn)動(dòng)鏈上的。然而，由于手通常被用來(lái)提供輸入，即使是位置上的小誤差也會(huì)大大干擾與虛擬界面元素的交互。為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)整合了一個(gè)單獨(dú)的IK算法，根據(jù)已知的手的位置來(lái)調(diào)整手臂肢體的位置。

圖源：AvatarPoser研究

根據(jù)神經(jīng)網(wǎng)絡(luò)輸出的估計(jì)參數(shù)進(jìn)行基于IK的優(yōu)化。產(chǎn)生輸出后，AvatarPoser的IK模塊會(huì)調(diào)整肩部和肘部關(guān)節(jié)的估計(jì)旋轉(zhuǎn)角度以減少手部位置的誤差，如上圖所示。因此本次研究固定了肩部的位置，而沒(méi)有優(yōu)化其他的旋轉(zhuǎn)角度。從而發(fā)現(xiàn)由此產(chǎn)生的全身身體姿勢(shì)顯得比IK算法的輸出更準(zhǔn)確，誤差更小。

為了定性評(píng)估的AvatarPoser穩(wěn)健性，團(tuán)隊(duì)在實(shí)際的VR系統(tǒng)上執(zhí)行了自有算法，使用了一個(gè)HTC VIVE頭顯以及兩個(gè)控制器，每個(gè)控制器能提供6DoF的實(shí)時(shí)輸入（實(shí)際效果如下圖所示）。

圖源：AvatarPoser研究

X-Avatar

姿勢(shì)、眼神、面部表情、手勢(shì)等統(tǒng)稱為“肢體語(yǔ)言”，也一直是許多學(xué)術(shù)研究的主題。準(zhǔn)確地記錄、解釋和創(chuàng)造非語(yǔ)言信號(hào)可能會(huì)大大增強(qiáng)AR和VR環(huán)境中的虛擬化身的真實(shí)性。

如現(xiàn)有的最先進(jìn)的SMPL系列的化身模型，可以正確地展現(xiàn)出現(xiàn)實(shí)位置的不同人體形態(tài)。然而，它們?nèi)匀皇艿剿褂玫幕诰W(wǎng)格的表示方法和三維網(wǎng)格質(zhì)量的限制。此外，這類模型通常只模擬裸體形態(tài)，不會(huì)附帶衣服或頭發(fā)，降低了結(jié)果的真實(shí)性。

圖源：X-Avatar研究

蘇黎世聯(lián)邦理工學(xué)院與微軟研究人員合作展開(kāi)新研究項(xiàng)目“X-Avatar”，可以捕捉高保真的人類身體和手部動(dòng)作、面部情緒和其他外觀特征。該技術(shù)可以通過(guò)完整的3D掃描或RGB-D數(shù)據(jù)中進(jìn)行學(xué)習(xí)，輸出身體、手、面部情緒和外觀的綜合模型。

研究人員用一個(gè)由位置、面部表情、幾何形狀和變形表面的法線構(gòu)成的紋理網(wǎng)絡(luò)來(lái)增強(qiáng)幾何和變形領(lǐng)域，以高頻細(xì)節(jié)捕捉虛擬化身要實(shí)現(xiàn)的外觀。產(chǎn)生了更好的保真結(jié)果，特別是對(duì)較小的身體部位，同時(shí)在鉸接的骨骼數(shù)量不斷增加的情況下保持訓(xùn)練的有效性。但該研究也提到，目前對(duì)遠(yuǎn)離身體的寬松服裝（如裙子）的建模效果仍不完善。

AGRoL

現(xiàn)階段的全身追蹤仍需要外接傳感器才能實(shí)現(xiàn)，而Meta AI最近發(fā)布的一項(xiàng)研究展示了一種新的虛擬化身模型，據(jù)稱可在VR中實(shí)現(xiàn)流暢的全身運(yùn)動(dòng)。

“Avatars Grow Legs”，簡(jiǎn)稱“AGroL”，是一種擴(kuò)散模型，專門設(shè)計(jì)用于僅通過(guò)少量上半身信號(hào)來(lái)追蹤全身運(yùn)動(dòng)。該方案基于多層感知 (MLP) 架構(gòu)和一種新穎的運(yùn)動(dòng)數(shù)據(jù)調(diào)節(jié)方案。

根據(jù)研究人員的說(shuō)法，在測(cè)試時(shí)，它能夠預(yù)測(cè)精確而流暢的全身運(yùn)動(dòng)，這可以解決VR全身追蹤的問(wèn)題。而用戶只有在接觸地面時(shí)，才會(huì)偶爾出現(xiàn)偽影。

來(lái)源：YouTube

研究人員使用AMASS的動(dòng)作捕捉數(shù)據(jù)集展示了該模型的有效性。與 AvatarPoser 等其他虛擬化身系統(tǒng)相比，AGroL的旋轉(zhuǎn)、位置和速度誤差似乎要少得多，且與其他虛擬化身模型相比，虛擬手臂和腿的抖動(dòng)發(fā)生頻率要低得多。AI技術(shù)與虛擬化身的融合有望進(jìn)一步改善實(shí)時(shí)人體運(yùn)動(dòng)追蹤的效果。

 結(jié)語(yǔ) 

從以上研究來(lái)看，可以僅從MR頭顯和用戶的手或手持控制器的傳感器來(lái)預(yù)估更準(zhǔn)確的全身運(yùn)動(dòng)姿勢(shì)，或通過(guò)3D掃描和深度學(xué)習(xí)功能將現(xiàn)實(shí)中的服飾外觀反映到虛擬化身的身上，再結(jié)合AI技術(shù)，能進(jìn)一步提高虛擬化身的真實(shí)性和沉浸感。

早前也有不少企業(yè)開(kāi)發(fā)出便攜式動(dòng)捕追蹤器，例如索尼的mocopi，包含6個(gè)追蹤傳感器，每個(gè)傳感器的直徑為3.2厘米、重量?jī)H8克；還有HTC發(fā)布的采用Inside-Out方案的追蹤器，重量不到100g，與VIVE Tracker 3相比薄了50%。

數(shù)字時(shí)代的人們擁有了虛擬化身，也就多了一個(gè)能更自由表達(dá)自我的形式，無(wú)論是小眾的、古怪的、渴望擁有的、現(xiàn)實(shí)中沒(méi)有的趣味穿搭都能通過(guò)虛擬服裝展示出來(lái)，甚至能打扮成喜歡的人物形象，吸引有共同愛(ài)好的人構(gòu)建興趣圈。

未來(lái)的動(dòng)捕方案成本有望進(jìn)一步下降，實(shí)現(xiàn)全身追蹤的難度降低，可以讓更多普通用戶在VR中實(shí)現(xiàn)全身追蹤，進(jìn)一步滿足用戶對(duì)虛擬社交真實(shí)感的需求。


參考鏈接：

https://blog.csdn.net/Zhang_hongchao/article/details/78839715

https://arxiv.org/pdf/2303.04805.pdf

https://arxiv.org/abs/2207.13784