文/VR陀螺 ZJ

注：本文原作者系CNET編輯Scott Stein，“我”均為作者第一人稱自述

馬克·扎克伯格坐在我對面，用手指的小動作控制著屏幕上的物體。敲擊、滑動、輕捏，他的手腕上戴著一個厚厚的腕帶，看起來像一個實驗性的智能手表。這是Meta對我們未來與AR、VR、計算機和其他一切事物互動的設想。

圖源：Meta

"它能很好地適用于眼鏡......我認為它實際上能適用于一切。我認為在未來，人們會用它來控制手機和電腦，以及其他東西......你只需在手腕上戴上一個小帶子，"扎克伯格在演示神經(jīng)腕帶的時候說道。他的手和手指的動作似乎很微妙，看起來就像焦躁不安時的動作，有時的動作幾乎微不可查。

神經(jīng)輸入設備只是Meta公司VR戰(zhàn)略的一部分，這些腕帶是我首次訪問Meta公司位于華盛頓州雷德蒙的Reality Labs總部時看到和嘗試的技術之一。此行是Meta公司首次邀請記者參觀其未來的技術研究設施，該設施位于Facebook硅谷總部以北的幾座不起眼的辦公樓中。

我上次訪問雷德蒙時，正在試用微軟的HoloLens 2。我的Meta之行也是類似的經(jīng)歷，這一次，我是在體驗Meta Quest Pro，這是一款將VR和AR融合在一起的頭顯，旨在開啟扎克伯格的野心，實現(xiàn)更專注于工作的元宇宙戰(zhàn)略。

Meta公司不久前舉辦的Connect大會的重點主要集中在Quest Pro上，還有與微軟、Zoom、Autodesk和埃森哲等公司的新工作伙伴關系，目標是讓Meta公司與微軟的MR野心相吻合。

我還看到了一些實驗性研究項目，這些項目還沒有準備好用于人們的日常生活，但卻展示了Meta公司下一步計劃的確切目標。這些遙遠的項目和更昂貴的Quest Pro頭顯出現(xiàn)的時間點對Meta公司來說是一個微妙的時刻，這家公司已經(jīng)花費了數(shù)十億美元投資于元宇宙的未來，其最受歡迎的VR頭顯Quest 2的銷量還不到2000萬臺。感覺未來還沒有完全到來，但像Meta這樣的公司已經(jīng)為它的到來做好了準備。

我和其他幾位受邀嘉賓一起體驗了許多令人心動的演示，這感覺就像我在探索威利·旺卡的巧克力工廠。但我也得到一個信息：雖然Quest Pro看起來是Meta公司硬件新方向的開始，但它離最終目標還差得遠。

神經(jīng)輸入：適應你的腕帶

Meta公司Reality Labs的首席科學家Michael Abrash一遍又一遍地告訴我，"協(xié)同適應學習"。他在描述Meta在2019年收購CTRL-Lab后多次討論過的腕帶。這是一個很難完全吸收的概念，但Meta公司的演示由幾個受過訓練的研究人員展示，讓我對它有了一些了解。

佩戴著與電腦連接的笨重腕帶，只需移動手指，就能讓一個卡通人物在一個無休止的游戲中來回移動。然后，研究人員的動作似乎停止了。他們的動作變得如此微妙，以至于他們的手幾乎沒有抽動，卻仍然在玩游戲。腕帶使用EMG或肌電圖（肌肉的電測量）來測量微小的肌肉沖動。

Meta Reality Labs的研究人員正在用EMG 腕帶測量運動神經(jīng)元，圖源：Meta

Reality Labs的神經(jīng)運動接口總監(jiān)、CTRL-Lab公司前首席執(zhí)行官Thomas Reardon說，基于反饋的訓練過程逐漸讓佩戴者開始縮小他們的動作，最終可以只使用一個運動神經(jīng)元。這也讓最終的結(jié)果看起來有點像讀心術，但它是通過巧妙地測量顯示移動意圖的電脈沖來實現(xiàn)的。

當扎克伯格演示腕帶時，他使用了一套類似的微妙動作，盡管它們更加明顯。腕帶的控制感覺類似于基于觸摸的觸控板或空中鼠標，能夠識別基于壓力的捏合、滑動和手勢。

Abrash描述了EMG和神經(jīng)輸入技術的目標所在："從長遠來看，我們將希望擁有一個與物理世界交互起來自然又直觀的界面。"

打字還不在考慮之列。據(jù)扎克伯格說，這需要更多的帶寬來達到這種速度和保真度："現(xiàn)在的比特率低于你快速打字所需的水平，但第一件事是讓它正確工作。" 在某些時候，目標是讓控制裝置能做更多事。Meta認為這項技術也許在5到6年后才會真正到來，雖然還需要長遠的發(fā)展，但如果這個時間框架成立的話，這款腕帶很可能會與Meta公司認為的最終版AR眼鏡上市的時間一致。

扎克伯格說，腕帶是眼鏡的關鍵，因為我們不想隨身攜帶控制器，而且語音和手部追蹤也不夠好用。但最終他計劃讓這種類型的控制器適用于任何設備，無論是VR還是其他。

這些控制看起來將涉及一種完全不同的輸入語言，一種可能與手機或VR控制器的現(xiàn)有控制相似的語言，但它將隨著時間的推移適應一個人的行為。這似乎需要一段時間來學習使用。

"大多數(shù)人將會知道很多關于如何在這個世界上互動、如何移動他們的身體的方式，"Reardon對我說。"他們會理解像字母這樣的簡單系統(tǒng)。因此，讓我們在那里滿足他們，然后做這件事，這個相當深刻的想法叫做協(xié)同適應，讓一個人和一臺機器一起沿著這條道路學習，我們稱之為純粹的神經(jīng)接口和神經(jīng)運動接口，它融合了神經(jīng)解碼和運動解碼。與其說有一種新的語言，不如說這種語言在機器和人之間進化，但它始于人們今天所做的事情。"

"協(xié)同適應是一個非常深刻的觀點，"扎克伯格補充說。"你不會與你的物理鍵盤協(xié)同適應。在移動設備的鍵盤上有一點，你可以拼錯東西，它可以預測你想打出的單詞，但還有更多。"

我沒有親自佩戴或試用過神經(jīng)輸入腕帶，但我看到了其他人在使用它們。幾年前在CES上，我確實有機會為自己簡短地嘗試了一種不同類型的腕戴式神經(jīng)輸入設備，我感受到了像這樣的技術實際上是如何工作的。它與我一年前試用的Nextmind（后來被Snap收購）的頭戴式設備不同，后者利用大腦信號測量眼球運動。

使用Meta腕帶的人似乎很容易做出動作，但這些是基本的游戲滑動控制。在日常的AR眼鏡中，腕帶如何準確運作于更多關鍵任務的日常？Meta目前還沒有做到這一點。據(jù)扎克伯格說，目前Meta的目標只是讓技術發(fā)揮作用，并展示協(xié)同適應學習如何最終縮小反應動作。

我們可能還需要一段時間才能看到這項技術在任何日常設備上發(fā)揮作用，但我想知道Meta公司如何將這些原則應用于機器學習輔助的控制類型，而不是基于神經(jīng)輸入。我們能否在這之前看到精制的控制器或手部追蹤組合的出現(xiàn)？但這些腕帶目前是一個遙遠的賭注，而不是一個近在咫尺的技術。

真實的3D音頻

我嘗試的第二組演示，展示了下一代空間音頻，復制了Meta公司在2020年談到的研究，它原本計劃在COVID-19爆發(fā)之前親自展示。空間音頻已經(jīng)被廣泛用于VR頭顯、游戲機和PC，以及AirPods等各種日常耳機產(chǎn)品上。Meta公司想要做的不僅僅是讓音頻聽起來像來自不同的方向，而是要將音頻投射出來，讓它真的像來自用戶的物理空間。

在 Meta 的隔音室內(nèi)，一個巨大的揚聲器陣列用于幫助創(chuàng)建空間音頻配置文件，圖源：Scott Stein/CNET

我們參觀了實驗室的隔音室，這是一個用泡沫墻阻擋聲波反射的懸空房間，Meta在這里向我們展示了一系列的揚聲器，旨在幫助研究聲音如何傳播到個人的耳朵，并探索聲音如何在物理空間中移動。之后，我們嘗試的兩個演示顯示了聲音的真實感。

其中一次，我坐在一個擁擠的房間里，我的耳朵里戴著麥克風，而項目負責人在我周圍移動，在不同的距離上演奏樂器并發(fā)出聲音。錄音40秒后，項目負責人用罩耳式耳機向我回放音頻，其中有些部分聽起來就像有人在我身邊的房間里移動。我想，使這種效果令人信服的要素是音頻回聲，這種感覺是運動在房間空間中的回響。

第二個演示讓我在一個有4個揚聲器的房間里戴上一副3D空間追蹤耳機。我被要求識別我聽到的音樂是來自揚聲器，還是來自我的耳朵，而我失敗了。音樂播放似乎完美地投射出來，我不得不摘下耳機，在走動時確認聲音到底來源于哪里。

根據(jù)Michael Abrash在2020年的評論，這項技術離成為神經(jīng)腕帶這樣的現(xiàn)實產(chǎn)品并不遙遠。Meta公司的計劃是最終讓手機攝像頭來調(diào)整個人3D音頻，讓AR投影在任何空間都有令人信服的聲音。這是一個有意義的目標，這會為全息物體帶來更多真實感。但人們可能會變得很難區(qū)分真實和虛擬的聲音，這會帶來一大堆衍生問題。

如照片般真實的虛擬化身

我在一個黑暗的空間里，站在一張看似映照在燭光中、非常真實的人的對面，他在Meta的匹茲堡Reality Labs研究辦公室里，戴著一個特別制作的臉部追蹤VR頭顯。我正在體驗Codec Avatars 2.0，這是一個能讓元宇宙中虛擬化身變得更加真實的愿景。

虛擬化身帶來的真實感很不可思議，我站得很近，看著虛擬化身嘴唇的動作，他的眼睛，他的微笑和皺紋。這種感覺幾乎就像與一個超級真實的PlayStation 5游戲角色交談，然后一次又一次地意識到這是與一個真實的人以化身形式進行的實時對話。

Meta認為這項技術不會很快應用在日常的頭顯中。首先，一體式VR頭顯的處理能力是有限的，在一個房間里有越多的虛擬化身，圖形的負擔就越重。另外，追蹤技術也還不夠普及。

在我的第二個演示中，我體驗了一個縮小版的虛擬化身，該化身是通過手機攝像頭進行面部掃描而創(chuàng)建的，使用的是一種叫做Instant Codec Avatars的新技術。這張?zhí)摂M的臉看起來比我自己做的大多數(shù)掃描圖都要好。但我覺得我是在和一個凍結(jié)的、只能輕微移動的頭說話。最終的結(jié)果沒有Meta現(xiàn)在使用的卡通皮克斯式的化身那么流暢。

嘗試與使用手機制作的Instant Codec Avatars聊天，圖源：Meta

最后一個演示展示了一個帶有腿部的虛擬化身。這是一個預先制作好的非互動性化身，由演員在一個特殊房間里接受3D掃描生成。該演示的重點是可以真實地展示虛擬化身身上的數(shù)字服裝。結(jié)果近看不錯，但與現(xiàn)實的電子游戲相似。這似乎是對在元宇宙中出售數(shù)字財產(chǎn)的一種測試，但該技術目前尚不能用于任何頭顯。

最后我還被要求脫下一只鞋子進行3D掃描實驗。我的鞋子被放在一張桌子上，工作人員在那里用手機攝像頭進行掃描，該技術不需要激光雷達。大約半小時后，我在AR和VR中看到了自己的鞋子。3D掃描技術就像空間音頻一樣，已經(jīng)很普遍了，很多公司都專注于將3D資產(chǎn)導入VR和AR中。Meta公司的研究旨在通過使用一種叫做神經(jīng)輻射場的技術，在各種手機攝像頭上取得更好的效果。

3D掃描的鞋出現(xiàn)在AR中，圖源：Scott Stein/CNET

另一個演示則顯示了該技術的保真度水平。幾個預先掃描的物體捕捉到了復雜的3D物體的光線模式。結(jié)果顯示了毛茸茸的、帶刺的、精細的物體，包括一只泰迪熊和幾株仙人掌，在VR頭顯上看起來非常令人印象深刻。卷曲的毛發(fā)似乎不像大多數(shù)3D掃描那樣融化或消光。相反，它是蓬松的，似乎沒有棱角。而仙人掌的刺則以細小的刺狀線散開。

在Reality Labs嘗試的所有演示中，這可能是最不令人驚嘆的。但這只是因為在AR和VR中，通過各種程序已經(jīng)有很多令人印象深刻的3D掃描和渲染的體驗?，F(xiàn)在還不清楚Meta的研究實例在日常使用中能有多大的即時性或易用性，因此很難判斷該功能的效果如何。

可以肯定的是，如果將物體掃描成虛擬的、與文件兼容的版本會變得更容易，這將是任何公司實現(xiàn)自己的元宇宙雄心的關鍵。大量的企業(yè)已經(jīng)致力于在網(wǎng)上銷售虛擬商品，下一步就是讓任何人都能輕松地對自己的東西進行掃描。同樣，這在手機上已經(jīng)可以實現(xiàn)，但它看起來效果還沒有那么好。

這一切意味著什么？

Meta公司有一個全新的Quest Pro頭顯，它是將AR和VR混合在一起的尖端設備，它為面部追蹤的虛擬化身控制提供了新的可能性。其余研究的未來仍然是一系列的問號。Meta公司想在哪條賽道壯大其元宇宙的雄心，是神經(jīng)輸入、AR眼鏡，還是虛擬和現(xiàn)實聲音的混合？但這一系列技術就像是仍是未鋪設好的道路，可能還需要幾年時間的發(fā)展。

在這一年里，盡管有通貨膨脹和經(jīng)濟衰退的影響，Meta公司在對元宇宙進行大量押注的同時，其收入也有所下降，這些項目是否最終都能成為現(xiàn)實也還是一個問號。Meta公司的長線游戲元宇宙愿景還能維持多久？

首席科學家Michael Abrash在一堵VR 和 AR 頭顯原型設備墻前與我們交談，圖源：Meta

當我們在一天結(jié)束前聚集在一起的時候，Abrash再次與我們交談，帶我們回到了一個主題上，即沉浸式計算最終將成為一場真正的革命。早些時候，我們在一面掛滿了VR和AR頭顯的墻前停了下來，這是Meta公司所做的所有實驗性原型的展示墻。我們看到了MR頭顯，有的頭顯的顯示屏被設計成在眼睛外顯示，還有的頭顯小到可以成為夢想中的VR太陽鏡。

Meta 的VR 墨鏡原型，圖源：Scott Stein/CNET

這讓我想到了在智能手機成為主流之前，手機設計實驗的漫長道路。很明顯，元宇宙的未來仍然是一項正在進行的工作。雖然現(xiàn)在不時有大事件發(fā)生，但AR和VR真正的"智能手機"可能在未來很長一段時間內(nèi)都不會出現(xiàn)。

"我非?？隙ǖ氖?，如果我們再發(fā)展20年，這將是我們互動的方式，"Abrash站在頭顯墻前說道。"我們將以從前從未試過的方式來做事，而這其中的真正問題是，要做到這一點非常、非常困難。"

來源：CNET