編譯/VR陀螺

據(jù)悉，Meta 研究員為Codec Avatar 2.0開(kāi)發(fā)定制芯片，以使逼真的Avatar能在獨(dú)立頭顯上運(yùn)行。

Meta 于2019年展示“Codec Avatars”（Meta 逼真的虛擬化身系統(tǒng)）相關(guān)成果。Codec Avatars 由多個(gè)神經(jīng)網(wǎng)絡(luò)提供支持，借助搭載171顆攝像頭的捕捉裝置生成。一旦生成，這些Avatar能夠被擁有5顆攝像頭（兩顆在內(nèi)部觀察眼睛，三顆在外部對(duì)臉部進(jìn)行追蹤）的原型VR頭顯實(shí)時(shí)驅(qū)動(dòng)。

3月展示過(guò)后，研究人員還對(duì)該系統(tǒng)的多次革新做了演示，比如眼睛更逼真的版本，只需眼睛追蹤與麥克風(fēng)輸入的版本，以及真實(shí)感最強(qiáng)的2.0版本。

但在像Quest這樣的獨(dú)立頭顯上使用移動(dòng)芯片去驅(qū)動(dòng)逼真的虛擬形象并非易事，即使是Meta最新、最高效的模型也只能在Quest 2上以每秒50幀的速度渲染（解碼）五個(gè)Avatar，這還不包含將眼動(dòng)追蹤和面部追蹤輸入轉(zhuǎn)換（編碼）為Codec Avatar面部狀態(tài)。

圖源：uploadvr

2022年IEEE定制集成電路會(huì)議上，Meta發(fā)表了一篇論文，其研究人員展示了一種神經(jīng)網(wǎng)絡(luò)加速芯片的原型，該芯片“在Codec Avatar模型上對(duì)眼球注視行為進(jìn)行提取更為高效”。

定制芯片位于主板上眼動(dòng)追蹤攝像頭輸入的附近，并負(fù)責(zé)將這些攝像頭輸入轉(zhuǎn)換為 Codec Avatar 狀態(tài)，以減少移動(dòng)設(shè)備的組件之間傳輸數(shù)據(jù)所需的大量能量。研究人員指出，這也有利于隱私和安全，因?yàn)橥ㄓ锰幚砥鳠o(wú)法訪問(wèn)原始相機(jī)數(shù)據(jù)。

圖源：uploadvr

需要明確的是，這款芯片還只是一個(gè)實(shí)驗(yàn)，僅處理 Codec Avatars 工作負(fù)載的一小部分，而不是一個(gè)可在獨(dú)立頭顯上使用的通用解決方案，所有其他任務(wù)依然由常規(guī)芯片組（例如 Snapdragon XR2）承擔(dān)。

即便如此，Meta 這款定制芯片還是證明了定制芯片解決Avatar問(wèn)題的可行性。從理論上講，這一想法可能會(huì)在未來(lái)得到擴(kuò)展，用于處理更多針對(duì)VR的任務(wù)。

來(lái)源：uploadvr