編譯/VR陀螺

面部追蹤系統(tǒng)是Quest Pro一大新功能，該系統(tǒng)能通過內(nèi)部攝像頭感知用戶眼睛以及臉部某些部位的運(yùn)動(dòng)情況，結(jié)合免校準(zhǔn)的機(jī)器學(xué)習(xí)模型，頭顯能將攝像頭所看到的內(nèi)容實(shí)時(shí)驅(qū)動(dòng)Avatar的面部動(dòng)作。

短期內(nèi)，面部追蹤系統(tǒng)將會(huì)結(jié)合Meta當(dāng)前的Avatar系統(tǒng)一起使用，這能讓化身更具表現(xiàn)力，但某些方面而言，當(dāng)前Avatar系統(tǒng)的底層動(dòng)畫框架還不能很好與之適配，實(shí)際顯示效果可能會(huì)打折扣。

圖源：roadtovr

為此，Meta構(gòu)建了一個(gè)技術(shù)演示，它給我們展示了結(jié)合面部跟蹤功能的Avatar的前景（渲染Avatar幾乎動(dòng)用了頭顯的全部處理能力。）以下是海外平臺(tái)roadtovr的一些體驗(yàn)感受：

目前，該技術(shù)演示仍有些不穩(wěn)定，不過里面的名為Aura的虛擬化身形象已經(jīng)能很好還原用戶做出的動(dòng)作。我上手體驗(yàn)時(shí)，讓我印象深刻的地方在于即便沒有進(jìn)行特殊的校準(zhǔn)，Aura也能很好的模仿我所能想到的絕大部分臉部動(dòng)作。

此外，Aura的皮膚細(xì)節(jié)處理也很出色，我瞇起眼睛皺起鼻子時(shí)，可以看到它周圍的皮膚真實(shí)地聚集在了一起，我抬起眉毛時(shí)也同樣如此。這些細(xì)節(jié)讓人印象深刻，它有時(shí)候會(huì)讓我覺得這不僅僅是擺在我面前的一個(gè)物體，它背后是一個(gè)有生命的東西。

Meta表示，他們將會(huì)把Aura當(dāng)做一個(gè)開源項(xiàng)目發(fā)布，使得開發(fā)人員可以參考這一面部跟蹤系統(tǒng)使用示例。Meta表示，這一工具還能用于處理人形以外的化身，如動(dòng)物、怪物等，而無需再做單獨(dú)調(diào)整。

圖源：roadtovr

Meta表示，開發(fā)人員將能夠使用其面部跟蹤API，該API使用與FACS相對(duì)應(yīng)的值，這是一種公認(rèn)??的用于描述人臉不同肌肉運(yùn)動(dòng)的系統(tǒng)。

該面部追蹤系統(tǒng)為用戶提供了優(yōu)秀的隱私保障。根據(jù)Meta的說法，開發(fā)者實(shí)際上無法獲得用戶面部的原始圖像。相反，他們得到的是“一系列零到一的數(shù)值，它與一組通用的面部動(dòng)作相對(duì)應(yīng)，比如皺鼻子或皺眉頭等。”

"這些信號(hào)使開發(fā)者將臉部跟蹤API的信號(hào)映射到他們自己的角色裝備時(shí)，很容易保留玩家原始運(yùn)動(dòng)的語義，無論他們的角色是人形還是更奇特的東西。"

Meta聲稱，即使是公司本身也無法看到頭顯內(nèi)部或外部攝像頭拍攝的圖像，因?yàn)閿?shù)據(jù)會(huì)在頭顯上進(jìn)行處理，然后立即刪除，而不會(huì)發(fā)送給云端或開發(fā)人員。

來源：roadtovr