VR陀螺編譯/Frida.WS 

Facebook Reality Labs研發(fā)團(tuán)隊(duì)發(fā)表了一項(xiàng)關(guān)于超現(xiàn)實(shí)虛擬形象方法的詳細(xì)研究論文，擴(kuò)展了公司之前名為“編解碼器化身”的工作項(xiàng)目。

.Facebook Reality Labs創(chuàng)建了一個系統(tǒng)，從簡潔硬件中能夠以目前最高的逼真度實(shí)時制作出動畫版的虛擬化身。頭顯內(nèi)只有三個標(biāo)準(zhǔn)攝像頭，定位用戶的眼睛和嘴巴，系統(tǒng)能夠更準(zhǔn)確地辨別出個體復(fù)雜的面部表情中的細(xì)微差別。

這項(xiàng)研究的重點(diǎn)不僅僅是如何將攝像機(jī)固定在頭顯上，還包括如何利用圖片還原用戶虛擬形象的深層技術(shù)。

系統(tǒng)方案主要依賴于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。“我們的系統(tǒng)是實(shí)時運(yùn)行的，它可以識別各種各樣的表情，包括鼓臉頰、張大嘴咬人、動舌頭，以及還原皺紋這樣的細(xì)節(jié)，在之前，這些細(xì)節(jié)很難精確地動畫化，”一位作者說。

實(shí)驗(yàn)小組還發(fā)表了他們的完整研究論文，深入論述了系統(tǒng)背后的方法論和數(shù)學(xué)。這項(xiàng)名為《通過多視圖圖像翻譯的VR面部動畫》（VR Facial Animation via Multiview Image Translation）的研究成果發(fā)表在《ACM圖形學(xué)報(bào)》（ACM Transactions on Graphics）上，這家雜志自詡為“圖形領(lǐng)域最重要的同行評審期刊”。

1.帶有9個攝像頭的訓(xùn)練頭顯。

2.帶有三個攝像頭的追蹤頭顯；紅色圈起的攝像頭可以與訓(xùn)練頭顯共享。

圖片來源： Facebook Reality Labs

這篇論文解釋了項(xiàng)目為何要創(chuàng)建兩個獨(dú)立的實(shí)驗(yàn)耳機(jī)，一個“訓(xùn)練”耳機(jī)和一個“追蹤”耳機(jī)。

這款訓(xùn)練耳機(jī)體積較大，裝有9個攝像頭，可以收集用戶面部和眼睛的更寬范圍的視圖。這樣做可以簡化輸入圖像和先前捕獲的用戶數(shù)據(jù)掃描之間的對應(yīng)過程（分析輸入圖像與輸出化身之間的對應(yīng)部分）。論文稱，這一過程可以“通過帶有自查功能的多視圖圖像翻譯系統(tǒng)自動匹配，不需要人工注釋或域間逐個對應(yīng)”。

一旦對應(yīng)完成，就可以使用更緊湊的“追蹤”頭顯。“追蹤”頭顯的三部相機(jī)恰好對應(yīng)著“訓(xùn)練”頭顯九部相機(jī)中的三部；根據(jù)“訓(xùn)練”頭顯收集的數(shù)據(jù)，這三部相機(jī)的視角可以得到更好的理解運(yùn)用，也就是說，輸入圖像能夠準(zhǔn)確地驅(qū)動動畫化身。

論文著重研究了系統(tǒng)的精準(zhǔn)度。以前的輸出方式一到關(guān)鍵區(qū)域，用戶實(shí)際面部表情的準(zhǔn)確性就會下降，尤其是極端表情，以及眼部動作和嘴部運(yùn)動的關(guān)系。

與之前相比，新系統(tǒng)的精準(zhǔn)度明顯提升：對于臉基本被頭顯遮住的用戶來說，近距離的鏡頭可以用來準(zhǔn)確地重建面部。

盡管功能進(jìn)步明顯，但現(xiàn)有方法仍然不容易被主流人群接受。因?yàn)榍捌谝?/span>對用戶進(jìn)行詳細(xì)的初步掃描，以及使用專業(yè)的“訓(xùn)練”頭顯，這就需要“掃描中心”這類的機(jī)構(gòu)，用戶可以去那里掃描和練習(xí)使用虛擬化身效果（同時也會獲得一個定制的HRTF）。可是在虛擬現(xiàn)實(shí)成為社會交流方式的重要組成部分之前，我們不太可能建立這樣的中心機(jī)構(gòu)。然而，先進(jìn)的傳感技術(shù)和不斷改進(jìn)的自動通信建設(shè)或許可以讓我們在家中完成這一步驟。

原文鏈接：https://www.roadtovr.com/facebook-expands-on-hyper-realistic-virtual-avatar-research/