近日，F(xiàn)acebook CEO 扎克伯格透露公司正在研究一款可用于AR眼鏡的腦機(jī)接口技術(shù)，但該技術(shù)并非將AR眼鏡以植入性芯片的形式進(jìn)行，而是希望能開發(fā)成可量產(chǎn)的可穿戴技術(shù)。

類似《刀劍神域》中那般腦機(jī)接口被認(rèn)為是虛擬現(xiàn)實的最終形態(tài)，也是最理想的形態(tài)，然而這個離我們似乎還有些遙遠(yuǎn)。
一直想要發(fā)展VR社交的Facebook，一邊在規(guī)劃幾十年后的未來，同時也在踏踏實實地走好每一步。比如剛剛公布的Codec Avatars技術(shù)，就讓VR社交中的虛擬人物表情動作達(dá)到了非常真實的狀態(tài)，仿佛在虛擬世界中復(fù)刻了一個“真實”的你。

研究助理Autumn Trimble正坐在“Mugsy”里面，Mugsy正是Facebook位于匹茲堡的Facebook Reality Lab（FRL，原來Oculus 研發(fā)實驗室Oculus Research），用于創(chuàng)建“codec avatars”的捕獲設(shè)施之一。

視頻畫面中有一名年輕女子，她的眼睛閃爍著光芒說：“門口站著一個大塊頭的傻瓜。然后他說：‘你以為你是誰，蓮娜·荷恩（上世紀(jì)美國超級黑人巨星）嗎？’我說雖然我不是荷恩，但我就像姐姐一樣了解荷恩。”

上面這段獨(dú)白來自沃頓·瓊斯的戲劇《1940年的廣播時刻》的開場白。畫面中的年輕女子繼續(xù)說著這段臺詞，能看出來她很清楚自己在做什么。當(dāng)她詳細(xì)講述門衛(wèi)的聲調(diào)變化時，臉上蕩漾出笑容，就像在跟你講笑話一般。她咬字準(zhǔn)確時，嘴唇的形狀會發(fā)生恰到好處的變化，聲音抑揚(yáng)頓挫。她的表情經(jīng)過如此精細(xì)的校準(zhǔn)，朗讀臺詞時如此地胸有成竹，再加上黑色背景，恍然之中你會覺得自己仿佛正置身于百老匯劇院，眼前在上演的正是上世紀(jì)70年代后期的百老匯戲劇。

唯一的不足之處就是：她脖子以下的身體都消失不見了。

Yaser Sheikh伸出手停止了視頻的播放。剛剛畫面中的年輕女子實際上是一個看上去極其逼真的VR虛擬化身，她令人驚艷的表現(xiàn)背后是收集的數(shù)據(jù)在運(yùn)作。Sheikh是FRL的負(fù)責(zé)人，他還拿出了另一個令人印象更加深刻的視頻。在該視頻中，剛剛的那個女子和一個男子都戴著VR頭顯。在屏幕的左側(cè)，真實世界中的他們正戴著頭顯在聊天; 而與此同時，在屏幕右側(cè)，他們的虛擬化身正在聽著精彩絕倫的音樂會。他們聊天的話題卻很稀松平常，聊的是熱瑜伽——這樣的場景是對未來生活的驚鴻一瞥。

Facebook的新黑科技：
Codec Avatars

多年以來，人們在虛擬現(xiàn)實中一直都是通過電腦生成的虛擬化身來代表我們進(jìn)行互動。VR頭戴設(shè)備和手持控制器都是可追蹤的，所以我們在現(xiàn)實世界中的頭部動作和手部動作可以出現(xiàn)在這些虛擬對話場景中，這些無意識的習(xí)慣動作也為虛擬世界中的對話平添了至關(guān)重要的一點——和諧感。

然而，即使我們的虛擬互動變得更加自然，由于技術(shù)限制，虛擬互動在視覺上只能保持在很簡單的程度——就像Rec Room和Altspace這樣的社交VR App一般，只能將我們的形象抽象成漫畫，基本不會（如果有的話）映射出我們在真實世界的表情。但Facebook的新技術(shù)Spaces能夠用社交媒體照片生成一個形象逼真的動畫形象，但有些表情仍然依賴于按鈕或手柄來觸發(fā)。即使像技術(shù)要求更高的平臺，如高保真領(lǐng)域，它的確可以讓用戶導(dǎo)入自己的3D掃描模型，但如果要求虛擬形象感覺像你一樣栩栩如生，道阻且長。

最初，Yaser Sheikh和他的團(tuán)隊在匹茲堡市區(qū)東部的自由社區(qū)租了一間小辦公室開始進(jìn)行這項技術(shù)的研發(fā)工作，目前他們已搬到卡內(nèi)基梅隆校園內(nèi)，空間更大，并計劃在未來一兩年內(nèi)再次擴(kuò)展。FRL稱這項技術(shù)為CodecAvatars，是用機(jī)器收集、學(xué)習(xí)和重建人類社交表情的結(jié)果。目前，他們還沒有準(zhǔn)備好正式推出這項技術(shù)。最好的情況是，還需要花上幾年時間，前提是他們最后能夠成為Facebook部署計劃中的一部分。但是FRL團(tuán)隊已經(jīng)準(zhǔn)備好開始大展拳腳了。

Sheik說：“如果我們真的能把這件事做好，絕對是非常轟動的。我們想把它做出來，聊聊它的用武之地?！彼樕蠋е赜谐芍竦男θ荩瑢τ趫F(tuán)隊能完成這項技術(shù)顯得信心十足。

1927年，美國人類學(xué)家、語言學(xué)家愛德華·薩丕爾發(fā)表了一篇文章《無意識的社會行為模式》。在文章中，薩丕爾提到人類對姿態(tài)的反應(yīng)是“一種復(fù)雜又神秘的代碼，沒有文字描述，無人得識，卻眾人皆知” 。92年之后，薩丕爾所說的精密“代碼”成為了Sheikh為之不斷努力的任務(wù)。
在Sheikh進(jìn)入Facebook之前，他是卡內(nèi)基梅隆大學(xué)的一名教授，負(fù)責(zé)研究計算機(jī)視覺與社交感知之間的交集。2015年，當(dāng)OculusVR首席科學(xué)家邁克爾·阿布拉什（Michael Abrash）與他聯(lián)系，討論AR和VR未來的方向時，Sheikh毫不猶豫地分享了自己的愿景。現(xiàn)在，Sheikh手里總是端著一杯咖啡，他說：“VR的真正承諾是戴上頭顯進(jìn)行像視頻中這樣的對話，而不是飛來親自見到我。你能看到的形象，不是卡通版本也不是怪物版本，而是你在真實世界里的行為舉止和音容笑貌?！?br /> 在Sheikh為該設(shè)施撰寫的原始文件中，他將其描述為“社交實驗室”，指的是大腦對虛擬環(huán)境和互動做出反應(yīng)的現(xiàn)象，如同對真實環(huán)境做出的反應(yīng)一般。然后，他還寫道他們認(rèn)為在7-8名員工的努力下，能夠在五年內(nèi)開發(fā)出照片級程度的虛擬化身。這項項目雖然保留下來了，但對此的期望卻發(fā)生了改變。這也同樣反映在其實驗室的名稱上：Oculus Research去年改名為FacebookReality Labs。
Codec Avatars的原理很簡單，是一種雙重測試，Sheikh稱之為“自我測試”和“母測試”：你應(yīng)該愛你的形象，被你所愛的形象也應(yīng)該愛你。啟用虛擬化身的過程要復(fù)雜得多。第一次使用是在一個名為Mugsy的圓頂狀房間里，房間中的墻和天花板上鑲嵌著132個現(xiàn)成的佳能鏡頭和350個燈光，均聚焦在椅子上。坐在房間中心的感覺就像是置身于一個由狗仔隊組成的黑洞里。 Sheikh還說：“我之前給這個地方取名叫“Mugshooter（臉部狙擊）”，但是之后我們覺得到這是一個挺可怕的名字，不太好。” 不過Mugsy早已經(jīng)歷了幾次更新，Mugsy的攝像頭變多了，能力也變得更強(qiáng)，把那些老早的設(shè)備（比如在一根繩子上綁上乒乓球，讓參與者的臉保持在合適的位置上，就像車庫里的車一樣擺正）淘汰了。

在Mugsy中，研究參與者花了大約一個小時坐在椅子上，制作了一系列超大的面部表情和大音量的朗讀聲線，而另一個房間的員工通過網(wǎng)絡(luò)攝像頭指導(dǎo)他們?nèi)绾巫龀鲞m當(dāng)?shù)谋砬??！跋耵~那樣活動臉頰，”技術(shù)項目經(jīng)理Danielle Belko說道。
另一個名為Sociopticon的捕獲設(shè)施會更好地應(yīng)用于第二個捕獲區(qū)域（在加入Oculus/Facebook之前，Sheikh在Carnegie Mellon建立了它的前身Panoptic Studio）。Sociopticon看起來很像微軟的MR捕捉工作室，雖然有著更多的相機(jī)（180到106）、更高的分辨率（2.5K）和更高的幀速率（90Hz）。當(dāng)Mugsy集中捕獲面部表情時，Sociopticon幫助Codec Avatar系統(tǒng)了解我們的穿著，以及我們的身體如何進(jìn)行移動。因此，人們在那里的時間并不僅僅是活動面部表情，還要搖晃四肢，四處跳躍，通過網(wǎng)絡(luò)攝像頭與Belko玩耍。

這一切的關(guān)鍵是盡可能多地捕獲信息，Mugsy和Sociopticon每秒可以收集180千兆字節(jié)的信息，以便神經(jīng)網(wǎng)絡(luò)盡可能學(xué)習(xí)從每個可能的角度將表情和運(yùn)動映射到聲音和肌肉。它捕獲的信息越多，其“深度外觀模型”就越強(qiáng)大，從而更好地將信息編碼為數(shù)據(jù)，然后在另一端，另一個人的頭顯將其解碼為虛擬化身，這就是Codec Avatars中的編解碼的過程。
這不僅僅是原始的測量。正如研究科學(xué)家Jason Saragih告訴我那樣，他們還必須將數(shù)據(jù)解釋出來。畢竟普通用戶的起居室里并沒有Mugsy和Sociopticon，他們只有AR/VR頭顯。雖然今天的VR可穿戴設(shè)備被稱為頭戴式顯示器，但FRL的研究人員已經(jīng)創(chuàng)建了一系列HMC或頭戴式捕捉設(shè)備。這些HMC在面部各個區(qū)域設(shè)置了紅外LED和相機(jī)，允許軟件將數(shù)據(jù)重新融入到人的形象中。

在不久的將來，Sheikh和他的團(tuán)隊希望能夠?qū)⒚娌繏呙钄U(kuò)展到整個身體，因此軟件需要能夠解決Saragih所謂的“外在性”，否則虛擬交互將不會那么逼真。例如當(dāng)人們處于黑暗狀態(tài)時，系統(tǒng)需要進(jìn)行補(bǔ)償。如果你將手放在背后，系統(tǒng)需要解決這個問題，這樣如果你的朋友在VR中走到你背后，他們就可以看到你的手在做什么。還有一些其他的東西，比如預(yù)測用戶的移動方式，從而保證虛擬化身的運(yùn)動能盡可能順利，但它們都旨在消除變量，讓你的虛擬形象成為一個不受約束、純粹的代表。

體驗：效果驚艷，略有瑕疵

把人的形象栩栩如生的展現(xiàn)出來很難，這才是事實。即使是超級大片一般的電子游戲也會在頭發(fā)、眼睛、鼻子和嘴巴內(nèi)部等細(xì)節(jié)上掙扎，總會有一些部分讓它們看起來并不像是完全的人類。根據(jù)我對捕獲過程的經(jīng)驗，當(dāng)我戴上頭顯與Sheikh和研究員Steve Lombardi進(jìn)行實時聊天時，我預(yù)想在VR中會出現(xiàn)同樣的情況。

但事實上并沒有。Sheikh的化身雖然沒有他現(xiàn)實生活中那樣的胡須或圓形眼鏡，但這就是他，并且是完全的他。當(dāng)他邀請我靠近并仔細(xì)觀察他臉上的胡茬時，感覺非常具有侵略性。Steve Lombardi也是這樣，當(dāng)后來他的真人走進(jìn)房間時，我覺得我早就認(rèn)識他了，盡管我只在VR中見過他。雖然結(jié)果并不完美，例如當(dāng)人們興奮地說話時，他們虛擬化身嘴巴的動作并沒有和語調(diào)相統(tǒng)一，此外頭發(fā)雖然根根分明，但周圍總有一個模糊的光環(huán)，舌頭看起來也有些模糊，但總體看來，效果是令人感到不可置信的好。
這次的體驗是一個很了不起的經(jīng)歷，同時也很麻煩。雖然Codec Avatars還是一個研究項目，但我們現(xiàn)在已經(jīng)對它有了一定了解。

之前大火的AI換臉程序Deepfakes可以憑空創(chuàng)造面孔，人們的數(shù)據(jù)隱私、錯誤信息活動和惡性行為已經(jīng)成為當(dāng)下互聯(lián)網(wǎng)上非常真實的問題。隨著VR和AR出現(xiàn)并成為人類主流的通信平臺，這些問題將會變得更加嚴(yán)重。你覺得網(wǎng)絡(luò)上的騷擾很糟糕嗎？你認(rèn)為能增加體現(xiàn)個人空間的VR會令人不安嗎？人們對此還沒有足夠的了解。

Sheikh理解這種擔(dān)憂?！罢鎸嵭圆粌H對Codec Avatars的成功至關(guān)重要，對于保護(hù)用戶也很重要，”他說道?！叭绻憬拥侥隳赣H打來的電話，你聽到了她的聲音，那么你不會產(chǎn)生任何疑問，因為她說的就是你所聽到的對嗎？我們必須建立這樣的信任，并從一開始就保持?！彼肏MC上的傳感器作為認(rèn)證的重要手段：我們的眼睛、聲音甚至習(xí)慣都是一種生物識別技術(shù)。在過去幾年中，圍繞數(shù)據(jù)隱私和虛擬現(xiàn)實的對話越來越多，而這樣的突破可能會使他們的熱度達(dá)到一個新高度。

對于VR在過去十年間所取得的所有進(jìn)步，像Codec Avatars這樣的技術(shù)代表了我們正在向全新體驗階段過渡。每年在Oculus Connect開發(fā)者大會上，邁克爾·阿布拉什都會上臺演講，并公布公司的最新研究和創(chuàng)新項目的狀態(tài)。隨著時間的推移，他更看好VR的一些突破。他說道：“我不是在打賭說四年內(nèi)就一定能開發(fā)出令人折服的虛擬形象，但這也不是完全不可能的事?！?br />
現(xiàn)在和Yaser Sheikh坐在一起，我問他對當(dāng)時阿布拉什的宣言有何感受？

“他是對的，”他微笑著喝著咖啡說道。

來源：WIRED

作者： Peter Rubin

原文鏈接：

https://www.wired.com/story/facebook-oculus-codec-avatars-vr/?fbclid=IwAR3O29tV-ak1DBgoLqIfv69dRTSAnAUR9FoKv383__U_mfKZPhOzncqpJnw

第一時間了解XR資訊
關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）

關(guān)注微信公眾號：VR陀螺（vrtuoluo）,定時推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。