文/VR陀螺 林德

如果把社交這個(gè)概念劃分為現(xiàn)實(shí)社交和虛擬社交，其中虛擬社交包括游戲、社交平臺(tái)、互聯(lián)網(wǎng)等一切不“面對(duì)面”的社交方式，那么隨著VR、AR設(shè)備的普及和“元宇宙”概念的大火，又要如何在虛擬世界和現(xiàn)實(shí)世界之間實(shí)現(xiàn)“無縫”的社交聯(lián)系呢？

在今年的SIGGRAPH（ACM SIGGRAPH組織的計(jì)算機(jī)圖形學(xué)頂級(jí)年度會(huì)議）大會(huì)上，F(xiàn)acebook Reality Labs（FRL：FB虛擬實(shí)驗(yàn)室）Research將通過VR頭顯展示一個(gè)獲得共同社會(huì)臨場(chǎng)感的新概念--“Reverse Passthrough VR”（反向直通VR）。

“Reverse Passthrough VR”是由科學(xué)家Nathan Matsuda領(lǐng)導(dǎo)的實(shí)驗(yàn)性VR研究演示。與Quest的Passthrough+和Passthrough API功能不同的是，“Reverse Passthrough VR””可以使外界的人們看到正戴著頭顯設(shè)備的人的眼鏡，而前者是使用外部攝像頭幫助使用者查看外部環(huán)境。

圖源：Facebook Research

眼神交流在社交中是非常重要的信號(hào)，我們依靠眼神、面部表情傳遞著與人社交時(shí)的內(nèi)心感受。但在戴上幾乎半張臉的VR頭顯設(shè)備，尤其是它還遮擋了眼睛這一關(guān)鍵部分，就會(huì)導(dǎo)致虛擬環(huán)境中的人與現(xiàn)實(shí)環(huán)境中的人進(jìn)行交流變得不自然。

Nathan Matsuda之所以發(fā)起這項(xiàng)反向?qū)嶒?yàn)的原因也是由于上述原因，處于虛擬環(huán)境中的他無法與外界的同事進(jìn)行“無縫交流”。

有一次，Nathan Matsuda戴著頭顯，使用Passthrough功能（VR透視）時(shí)他很清楚地看見了周圍的環(huán)境和同事，但是由于沒有外部顯示器，同事并不能看到他。當(dāng)他與同事交流時(shí)，他的同事們都會(huì)告訴他，沒法進(jìn)行眼神交流的談話很奇怪！

也就是說，Nathan Matsuda的同事無法和他一樣獲得相同的社會(huì)臨場(chǎng)感。

對(duì)此，Nathan Matsuda開始思考如何使虛擬現(xiàn)實(shí)更加無縫地銜接社交場(chǎng)景，如果看到眼睛會(huì)有所幫助嗎?

 遭遇質(zhì)疑，“這真是個(gè)愚蠢的想法”

在2019年，開始進(jìn)行這項(xiàng)實(shí)驗(yàn)時(shí)，就遭到FRL首席科學(xué)家Michael Abrash的質(zhì)疑，Abrash不相信這項(xiàng)實(shí)驗(yàn)有什么實(shí)質(zhì)的作用。

“我的第一反應(yīng)是，這真是個(gè)愚蠢的想法，頂多算是一種新鮮玩意兒。但我不會(huì)告訴研究人員他們應(yīng)該做什么，因?yàn)槿绻麤]有嘗試新事物的自由就無法獲得創(chuàng)新，這是一件好事。

顯然，這現(xiàn)在是一個(gè)具有前景的獨(dú)特想法。”

Nathan Matsuda佩戴早期的“反向直通VR”原型

（圖源：Facebook Research）

初演示時(shí)，Nathan Matsuda將3D顯示器裝在了定制的Rifts頭顯正面，在屏幕上，就出現(xiàn)了Nathan Matsuda的面部圖像。這個(gè)面部圖像是由Rifts內(nèi)的眼動(dòng)追蹤捕捉到的眼鏡注視，接著由游戲進(jìn)行畫面的粗渲染所呈現(xiàn)的。

 構(gòu)建研究原型 

FRL研究人員一開始使用Rift S進(jìn)行實(shí)驗(yàn)，隨著這個(gè)概念的發(fā)展，后續(xù)則采用了Half Dome 2作為實(shí)驗(yàn)原型，今年將在SIGGRAPH上展示的便是以Half Dome 2為研究原型的演示。

在這項(xiàng)研究中，F(xiàn)RL的研究人員采用了微透鏡陣列光場(chǎng)顯示器，這是一種很薄的、構(gòu)造簡(jiǎn)單的、基于LCD（液晶顯示器）技術(shù)的顯示器，能使房間中的每一個(gè)人都可以看到他們所在位置的正確視角。

機(jī)械研究工程師Joel Hegland用一個(gè)基礎(chǔ)架構(gòu)展示了一個(gè)大約50mm厚的VR頭顯，作為最新“Reverse Passthrough VR”的演示基礎(chǔ)。光學(xué)科學(xué)家Brian Wheelwright設(shè)計(jì)了一個(gè)微透鏡陣列安裝在前面。

不過微透鏡陣列光場(chǎng)顯示器還存在許多的局限性，包括視角不能太大和聚焦問題。研究人員認(rèn)為，如果未來VR頭顯尺寸繼續(xù)縮小，使用全息光學(xué)等方法效果會(huì)更好。

上：原型剖視圖；下：基礎(chǔ)架構(gòu)

（圖源：Facebook Research）

“Reverse Passthrough VR”（反向直通VR）的基本組件是一個(gè)面向外部的3D顯示器，使用者也可以簡(jiǎn)單地通過在頭顯正面放置一個(gè)2D顯示器，并在顯示器上投影使用者的面部來實(shí)現(xiàn)這一效果。不過，研究人員視覺上的偏移會(huì)產(chǎn)生很不自然的效果，從而破壞眼神交流的感覺。

因此，隨著研究的發(fā)展，F(xiàn)RL的研究人員認(rèn)為3D顯示是一個(gè)更好的方向，因?yàn)?D顯示可以讓用戶的眼睛和臉部出現(xiàn)在正確的位置。

圖源：Facebook Research

在對(duì)眼睛和面部成像部分，Nathan Matsuda和團(tuán)隊(duì)選擇使用一對(duì)立體相機(jī)來生成面部的表面模型，然后將眼睛的視圖投影到該表面上。雖然投影出的圖像并不是很逼真，但研究團(tuán)隊(duì)認(rèn)為這是為未來發(fā)展的短期解決方案。

對(duì)于下一代的成像方案，很可能是FRL的Codec Avatars研究項(xiàng)目你，這是一個(gè)可以進(jìn)行深度學(xué)習(xí)的3D捕捉技術(shù)和AI系統(tǒng)，可以輕松、快速地創(chuàng)建虛擬化身。通過深度學(xué)習(xí)，Codec Avatars可以從VR頭顯內(nèi)實(shí)時(shí)采集的數(shù)據(jù)中建立一個(gè)圖像。研究人員認(rèn)為，這些圖像會(huì)比當(dāng)前使用立體相機(jī)捕捉到的圖像更加逼真。

圖源：Facebook Research

 通往獲得共同社會(huì)臨場(chǎng)感之路

FRL研究人員認(rèn)為，能提供完全沉浸感且?guī)в酗@示器的VR和AR眼鏡完全是不同的技術(shù)，從長(zhǎng)遠(yuǎn)來看，它們最終可能服務(wù)于不同場(chǎng)景的不同客戶。人們?cè)谀承┎煌那闆r下，對(duì)這兩種設(shè)備的選擇也不同。

通過“Reverse Passthrough VR”（反向直通VR）這些創(chuàng)新的實(shí)驗(yàn)項(xiàng)目，再結(jié)合更新的技術(shù)，最終將創(chuàng)造出更高質(zhì)量的VR頭顯，并且能將高質(zhì)量的虛擬圖像和真實(shí)圖像混合在一起。

“這樣一來，不管是對(duì)方在地球的另一邊亦或是站在身旁，你都可以和世界上的任何人共在一起。我們FRL的目標(biāo)就是實(shí)現(xiàn)這個(gè)想法。”

參考鏈接：https://research.fb.com/blog/2021/08/display-systems-research-reverse-passthrough-vr/