編譯/VR陀螺

在Meta Connect 2022上，Meta公司展示了在VR和AR領域的新研究成果。

Meta公司的研究旨在持續(xù)十年或更長時間，并推動當今VR、AR和AI等技術的發(fā)展。在Meta Connect 2022上，該公司概述了許多領域的研究，從Meta的AR頭顯到神經接口和3D掃描，再到逼真的編解碼虛擬化身。

增強現實

Meta的目標是在未來幾年推出一款時尚、在視覺上吸引人且功能強大的AR頭顯。但由于在小型化、功率、電池容量和余熱方面的技術挑戰(zhàn)很大，Meta在發(fā)展中采取了雙重戰(zhàn)略。

"眼鏡需要相對較小，才能看起來和感覺良好。因此，我們正從兩個不同的角度來打造AR眼鏡。第一個是建立在我們需要的所有技術上，然后努力將其融入我們能做到最小的眼鏡外形尺寸，”馬克-扎克伯格在主題演講中說道。"第二種方法是從理想的外形尺寸開始，隨著時間的推移，努力將越來越多的技術融入其中。”

前一種方法的代號是Project Nazare，而后一種方法是Meta公司和大型眼鏡制造商EssilorLuxottica公司推出的一個聯合項目，并已經推出了一個產品：Ray-Ban Stories，它提供了多種智能功能，但沒有內置顯示屏。

在2022年Meta Connect大會上，Meta和EssilorLuxottica介紹了其眼鏡項目和合作的新情況：Ray-Ban Stories將很快獲得免提呼叫聯系人或通過軟件更新發(fā)送短信的能力。

此外，還有一項名為Spotify Tap的新功能。"你只需點擊并按住眼鏡側面就可以播放Spotify，如果你想聽不同的東西，再點擊并按住，Spotify就會推薦新的東西，"Meta寫道。

EssilorLuxottica可穿戴設備負責人Rocco Basilico在主題演講中宣布，他的公司和Meta公司正在開發(fā)一款新的頭顯，它將打開一個"進入元宇宙的門戶"。下一代的Ray-Ban Stories會不會有顯示屏？扎克伯格和Basilico對此持開放態(tài)度。

那Nazare項目呢？

在2021年的Meta Connect上，Meta模擬了通過Project Nazare可能出現的景象。今年，扎克伯格提供了另一個AR頭顯的預告，但沒有展示Nazare的進展。

Meta公司的首席執(zhí)行官帶著設備在走廊上移動，用EMG腕帶控制它。顯然，你可以通過Project Nazare看到一個景象。

圖源：Meta

扎克伯格向Meta公司的研究主管Michael Abrash發(fā)送了一條信息，并錄制了一段視頻，兩者都是使用微手勢。這是由EMG腕帶實現的，它在人工智能的幫助下攔截手腕上的運動大腦信號并將其轉換為計算機指令。Meta公司認為這種類型的界面是未來重要的AR操作概念，與語音控制和手部追蹤并列。

扎克伯格沒有說Nazare項目可能何時出現。根據一份報告，Meta公司計劃在2024年公布它，并在2026年將其商業(yè)化。

腦機接口

Meta公司研究更新中的另一個區(qū)塊涉及上述的EMG腕帶。Meta公司依靠這項技術和個性化的人工智能支持的組合來實現未來的AR界面，它能識別情況和行動的背景，并主動支持眼鏡佩戴者的日常生活。這應該能使人類和計算機之間形成直觀的、幾乎無摩擦的界面。

圖源：Meta

Meta寫道："通過結合機器學習和神經科學，這個未來的界面將為不同的人工作，同時通過一個被稱為‘共同適應學習’的過程來解釋他們在生理、體型等方面的差異。”

人工智能會從信號和動作中學習并生成一個單獨的模型。算法訓練得越好，需要移動的手和手指就越少。該系統(tǒng)通過解碼手腕上的信號并將其轉換為計算機命令來識別人已經決定的行動。

為視障人士提供AR導航

Meta公司正與卡內基梅隆大學（CMU）合作開展一個研究項目，幫助視力障礙者瀏覽復雜的室內環(huán)境。

該大學的研究人員使用Meta的Project Aria傳感眼鏡對匹茲堡機場進行3D掃描。他們利用這個3D環(huán)境地圖來訓練人工智能定位模型。結果，由CMU開發(fā)的智能手機應用程序NavCog可以通過轉述音頻指示，引導用戶更安全地通過機場。

簡單的3D掃描

像Meta Quest Pro這樣的MR頭顯會在設備內部顯示物理環(huán)境。他們還不能掃描物體并將其保存為3D模型。如果這項技術能成為現實，就有可能將真實物體帶入虛擬環(huán)境。

"從頭開始建立3D對象是很難的，使用物理對象作為模板可能會更容易且更快。但是今天沒有無縫的方法來做到這一點，所以我們正在研究2種不同的技術來幫助解決這個問題，"Meta寫道。

第一種使用機器學習，稱為神經輻射場或簡稱NeRFs，可以從幾張照片中創(chuàng)建一個非常詳細的3D物體。

第二種技術被稱為逆向渲染，用這種方法數字化的物體會對VR環(huán)境中的照明和物理學做出動態(tài)反應。

這兩項技術的一個缺點是它們還不能實時工作。然而，Meta公司認為它們是實現物理對象簡單3D掃描的重要步驟。

Codec Avatars 2.0

Meta公司多年來一直在研究所謂的Codec Avatars，這是在外觀上與人類原形幾乎沒有區(qū)別的數字化身。

在2021年Meta Connect大會上，Meta公司展示了第二代Codec Avatars，并演示了全身化身。今年，該技術又有了更新。

Codec Avatars 2.0現在可以在虛擬裝束之間切換，而且更有表現力。為了展示改進后的表現力，扎克伯格為自己制作了一個Codec Avatar。

Codec Avatars營銷和使用的問題之一是其復雜的創(chuàng)建過程，用戶必須在一個特殊的3D工作室里對自己進行掃描。

圖源：Meta

為了簡化個人虛擬化身的生成，Meta正在開發(fā)即時Codec Avatars。所需要的只是用智能手機對臉部進行兩分鐘的掃描。

這個過程的缺點是，完成的虛擬化身看起來并不像扎克伯格的那么逼真，而且化身的創(chuàng)建和準備使用仍然需要幾個小時。然而，Meta正在努力加快這一過程。

Meta公司強調，這些項目展示了研究成果，這些技術不一定要找到商業(yè)化的途徑。"不過，這仍然是對未來5到10年技術發(fā)展方向的一瞥，"Meta寫道。

來源：mixed-news