編譯/VR陀螺

Facebook的研發(fā)部門Facebook Reality Labs一直在領(lǐng)導(dǎo)使虛擬現(xiàn)實(shí)化身變得逼真的研究，該小組的新研究旨在支持新穎的面部表情，以便用戶可以準(zhǔn)確看到其他人在VR中的表情。

前身：Codec Avatar

如今，虛擬現(xiàn)實(shí)中使用的大多數(shù)虛擬化身都是卡通形象，這主要是為了避免“恐怖谷”效應(yīng)。

Facebook Reality Labs的“ Codec Avatar”項(xiàng)目旨在通過結(jié)合使用機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺來創(chuàng)建超逼真的用戶表示形式，而跨越恐怖谷效應(yīng)。該系統(tǒng)通過訓(xùn)練以了解人的面部表情，然后根據(jù)VR頭顯內(nèi)部攝像頭的輸入來重新創(chuàng)建外觀。該項(xiàng)目展示了一些真正令人印象深刻的結(jié)果。

要以令人信服的精確度重新創(chuàng)建典型的面部表情已經(jīng)是一個(gè)挑戰(zhàn)，但是接下來要處理的邊緣案例數(shù)不勝數(shù)，其中任何一個(gè)案例都可能使整個(gè)系統(tǒng)失效，并將虛擬角色重新拉入恐怖谷效應(yīng)中。

Facebook研究人員說，最大的挑戰(zhàn)是“對(duì)所有可能的[面部表情]進(jìn)行統(tǒng)一采樣是不切實(shí)際的”，因?yàn)槿藗兇嬖诙喾N多樣的方式可以扭曲自己的臉。最終，這意味著系統(tǒng)的示例數(shù)據(jù)之間存在差距，當(dāng)看到新的東西時(shí)會(huì)感到困惑。

后繼者：Modular Codec Avatars

多倫多大學(xué)向量研究所和Facebook Reality Labs的研究人員Hang Chu、 Shugao Ma、Fernando De la Torre、Sanja Fidler和 Yaser Sheikh在最近發(fā)表的題為《通過模塊化編解碼器虛擬化身實(shí)現(xiàn)表達(dá)遠(yuǎn)程呈現(xiàn)》的研究論文中提出了一種解決方案。

原始的編解碼器化身系統(tǒng)希望將其數(shù)據(jù)集中的整個(gè)面部表情與所看到的輸入進(jìn)行匹配，而模塊化編解碼器化身系統(tǒng)則將任務(wù)按各個(gè)面部特征（如每只眼睛和嘴巴）進(jìn)行劃分，從而使其能夠最準(zhǔn)確地合成通過融合知識(shí)中幾種不同姿勢的最佳匹配來構(gòu)成表情。

在模塊化編解碼器化身中，模塊化編碼器首先在每個(gè)安裝了攝像機(jī)的頭顯的視圖中提取信息。隨后是一個(gè)模塊化合成器，它可以從同一模塊化分支中提取的信息中估算出全臉表情及其混合權(quán)重。最終，多個(gè)預(yù)估的3D人臉從不同的模塊中聚合并融合在一起以形成最終的人臉輸出。

目的是提高無需輸入系統(tǒng)更多訓(xùn)練數(shù)據(jù)即可準(zhǔn)確表示的表達(dá)式范圍。與原始編碼解碼器化身系統(tǒng)相比，模塊化編碼解碼器化身系統(tǒng)的設(shè)計(jì)更擅長于推斷人臉，而原始編碼解碼器化身系統(tǒng)更依賴于直接比較。

這種方法的主要好處之一是提高了系統(tǒng)重新創(chuàng)建最初沒有訓(xùn)練過的新穎面部表情的能力，例如人們故意以有趣的方式扭曲面部。研究人員在論文中指出了這種特殊的好處，并說道：“做出有趣的表情是社交互動(dòng)的一部分。模塊化編解碼器化身模型由于具有更強(qiáng)的表現(xiàn)力，自然可以更好地完成此任務(wù)。”

他們通過從完全不同的姿勢（即：{pose A}的左眼，{pose B}的右眼，和{pose C}的嘴）中隨機(jī)抽洗臉部特征來制作“人造”滑稽面孔，對(duì)此進(jìn)行了測試，然后看了看如果系統(tǒng)在輸入意外不同的特征時(shí)可以產(chǎn)生現(xiàn)實(shí)的結(jié)果。

研究人員說：“（在上圖中）可以看出，模塊化編解碼器化身會(huì)產(chǎn)生自然的靈活表達(dá)，即使從未在訓(xùn)練集中全面地看到過這種表達(dá)形式也是如此。”

除了制作有趣的面孔表情，研究人員還發(fā)現(xiàn)，模塊化編解碼器化身系統(tǒng)還可以消除戴頭顯固有的眼位差異，從而改善面部真實(shí)感。

“在實(shí)際的VR遠(yuǎn)程呈現(xiàn)中，我們觀察到用戶通常不會(huì)睜大眼睛。這可能是由于頭顯佩戴時(shí)產(chǎn)生的肌肉壓力，并在眼睛附近顯示了光源。 我們引入了眼睛放大控制旋鈕來解決此問題。”

這樣一來，系統(tǒng)可以巧妙地修飾眼睛，使其更接近用戶不戴頭顯時(shí)的實(shí)際外觀。

來源：roadtovr