編譯/VR陀螺

在Meta Connect 2022上，Meta公司展示了在VR和AR領(lǐng)域的新研究成果。

Meta公司的研究旨在持續(xù)十年或更長(zhǎng)時(shí)間，并推動(dòng)當(dāng)今VR、AR和AI等技術(shù)的發(fā)展。在Meta Connect 2022上，該公司概述了許多領(lǐng)域的研究，從Meta的AR頭顯到神經(jīng)接口和3D掃描，再到逼真的編解碼虛擬化身。

增強(qiáng)現(xiàn)實(shí)

Meta的目標(biāo)是在未來(lái)幾年推出一款時(shí)尚、在視覺(jué)上吸引人且功能強(qiáng)大的AR頭顯。但由于在小型化、功率、電池容量和余熱方面的技術(shù)挑戰(zhàn)很大，Meta在發(fā)展中采取了雙重戰(zhàn)略。

"眼鏡需要相對(duì)較小，才能看起來(lái)和感覺(jué)良好。因此，我們正從兩個(gè)不同的角度來(lái)打造AR眼鏡。第一個(gè)是建立在我們需要的所有技術(shù)上，然后努力將其融入我們能做到最小的眼鏡外形尺寸，”馬克-扎克伯格在主題演講中說(shuō)道。"第二種方法是從理想的外形尺寸開(kāi)始，隨著時(shí)間的推移，努力將越來(lái)越多的技術(shù)融入其中。”

前一種方法的代號(hào)是Project Nazare，而后一種方法是Meta公司和大型眼鏡制造商EssilorLuxottica公司推出的一個(gè)聯(lián)合項(xiàng)目，并已經(jīng)推出了一個(gè)產(chǎn)品：Ray-Ban Stories，它提供了多種智能功能，但沒(méi)有內(nèi)置顯示屏。

在2022年Meta Connect大會(huì)上，Meta和EssilorLuxottica介紹了其眼鏡項(xiàng)目和合作的新情況：Ray-Ban Stories將很快獲得免提呼叫聯(lián)系人或通過(guò)軟件更新發(fā)送短信的能力。

此外，還有一項(xiàng)名為Spotify Tap的新功能。"你只需點(diǎn)擊并按住眼鏡側(cè)面就可以播放Spotify，如果你想聽(tīng)不同的東西，再點(diǎn)擊并按住，Spotify就會(huì)推薦新的東西，"Meta寫(xiě)道。

EssilorLuxottica可穿戴設(shè)備負(fù)責(zé)人Rocco Basilico在主題演講中宣布，他的公司和Meta公司正在開(kāi)發(fā)一款新的頭顯，它將打開(kāi)一個(gè)"進(jìn)入元宇宙的門(mén)戶(hù)"。下一代的Ray-Ban Stories會(huì)不會(huì)有顯示屏？扎克伯格和Basilico對(duì)此持開(kāi)放態(tài)度。

那Nazare項(xiàng)目呢？

在2021年的Meta Connect上，Meta模擬了通過(guò)Project Nazare可能出現(xiàn)的景象。今年，扎克伯格提供了另一個(gè)AR頭顯的預(yù)告，但沒(méi)有展示Nazare的進(jìn)展。

Meta公司的首席執(zhí)行官帶著設(shè)備在走廊上移動(dòng)，用EMG腕帶控制它。顯然，你可以通過(guò)Project Nazare看到一個(gè)景象。

圖源：Meta

扎克伯格向Meta公司的研究主管Michael Abrash發(fā)送了一條信息，并錄制了一段視頻，兩者都是使用微手勢(shì)。這是由EMG腕帶實(shí)現(xiàn)的，它在人工智能的幫助下攔截手腕上的運(yùn)動(dòng)大腦信號(hào)并將其轉(zhuǎn)換為計(jì)算機(jī)指令。Meta公司認(rèn)為這種類(lèi)型的界面是未來(lái)重要的AR操作概念，與語(yǔ)音控制和手部追蹤并列。

扎克伯格沒(méi)有說(shuō)Nazare項(xiàng)目可能何時(shí)出現(xiàn)。根據(jù)一份報(bào)告，Meta公司計(jì)劃在2024年公布它，并在2026年將其商業(yè)化。

腦機(jī)接口

Meta公司研究更新中的另一個(gè)區(qū)塊涉及上述的EMG腕帶。Meta公司依靠這項(xiàng)技術(shù)和個(gè)性化的人工智能支持的組合來(lái)實(shí)現(xiàn)未來(lái)的AR界面，它能識(shí)別情況和行動(dòng)的背景，并主動(dòng)支持眼鏡佩戴者的日常生活。這應(yīng)該能使人類(lèi)和計(jì)算機(jī)之間形成直觀的、幾乎無(wú)摩擦的界面。

圖源：Meta

Meta寫(xiě)道："通過(guò)結(jié)合機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)，這個(gè)未來(lái)的界面將為不同的人工作，同時(shí)通過(guò)一個(gè)被稱(chēng)為‘共同適應(yīng)學(xué)習(xí)’的過(guò)程來(lái)解釋他們?cè)谏?、體型等方面的差異。”

人工智能會(huì)從信號(hào)和動(dòng)作中學(xué)習(xí)并生成一個(gè)單獨(dú)的模型。算法訓(xùn)練得越好，需要移動(dòng)的手和手指就越少。該系統(tǒng)通過(guò)解碼手腕上的信號(hào)并將其轉(zhuǎn)換為計(jì)算機(jī)命令來(lái)識(shí)別人已經(jīng)決定的行動(dòng)。

為視障人士提供AR導(dǎo)航

Meta公司正與卡內(nèi)基梅隆大學(xué)（CMU）合作開(kāi)展一個(gè)研究項(xiàng)目，幫助視力障礙者瀏覽復(fù)雜的室內(nèi)環(huán)境。

該大學(xué)的研究人員使用Meta的Project Aria傳感眼鏡對(duì)匹茲堡機(jī)場(chǎng)進(jìn)行3D掃描。他們利用這個(gè)3D環(huán)境地圖來(lái)訓(xùn)練人工智能定位模型。結(jié)果，由CMU開(kāi)發(fā)的智能手機(jī)應(yīng)用程序NavCog可以通過(guò)轉(zhuǎn)述音頻指示，引導(dǎo)用戶(hù)更安全地通過(guò)機(jī)場(chǎng)。

簡(jiǎn)單的3D掃描

像Meta Quest Pro這樣的MR頭顯會(huì)在設(shè)備內(nèi)部顯示物理環(huán)境。他們還不能掃描物體并將其保存為3D模型。如果這項(xiàng)技術(shù)能成為現(xiàn)實(shí)，就有可能將真實(shí)物體帶入虛擬環(huán)境。

"從頭開(kāi)始建立3D對(duì)象是很難的，使用物理對(duì)象作為模板可能會(huì)更容易且更快。但是今天沒(méi)有無(wú)縫的方法來(lái)做到這一點(diǎn)，所以我們正在研究2種不同的技術(shù)來(lái)幫助解決這個(gè)問(wèn)題，"Meta寫(xiě)道。

第一種使用機(jī)器學(xué)習(xí)，稱(chēng)為神經(jīng)輻射場(chǎng)或簡(jiǎn)稱(chēng)NeRFs，可以從幾張照片中創(chuàng)建一個(gè)非常詳細(xì)的3D物體。

第二種技術(shù)被稱(chēng)為逆向渲染，用這種方法數(shù)字化的物體會(huì)對(duì)VR環(huán)境中的照明和物理學(xué)做出動(dòng)態(tài)反應(yīng)。

這兩項(xiàng)技術(shù)的一個(gè)缺點(diǎn)是它們還不能實(shí)時(shí)工作。然而，Meta公司認(rèn)為它們是實(shí)現(xiàn)物理對(duì)象簡(jiǎn)單3D掃描的重要步驟。

Codec Avatars 2.0

Meta公司多年來(lái)一直在研究所謂的Codec Avatars，這是在外觀上與人類(lèi)原形幾乎沒(méi)有區(qū)別的數(shù)字化身。

在2021年Meta Connect大會(huì)上，Meta公司展示了第二代Codec Avatars，并演示了全身化身。今年，該技術(shù)又有了更新。

Codec Avatars 2.0現(xiàn)在可以在虛擬裝束之間切換，而且更有表現(xiàn)力。為了展示改進(jìn)后的表現(xiàn)力，扎克伯格為自己制作了一個(gè)Codec Avatar。

Codec Avatars營(yíng)銷(xiāo)和使用的問(wèn)題之一是其復(fù)雜的創(chuàng)建過(guò)程，用戶(hù)必須在一個(gè)特殊的3D工作室里對(duì)自己進(jìn)行掃描。

圖源：Meta

為了簡(jiǎn)化個(gè)人虛擬化身的生成，Meta正在開(kāi)發(fā)即時(shí)Codec Avatars。所需要的只是用智能手機(jī)對(duì)臉部進(jìn)行兩分鐘的掃描。

這個(gè)過(guò)程的缺點(diǎn)是，完成的虛擬化身看起來(lái)并不像扎克伯格的那么逼真，而且化身的創(chuàng)建和準(zhǔn)備使用仍然需要幾個(gè)小時(shí)。然而，Meta正在努力加快這一過(guò)程。

Meta公司強(qiáng)調(diào)，這些項(xiàng)目展示了研究成果，這些技術(shù)不一定要找到商業(yè)化的途徑。"不過(guò)，這仍然是對(duì)未來(lái)5到10年技術(shù)發(fā)展方向的一瞥，"Meta寫(xiě)道。

來(lái)源：mixed-news