文/VR陀螺 萬(wàn)里

近期蘋(píng)果舉辦了其秋季新品發(fā)布會(huì)，雖然會(huì)上沒(méi)怎么提及Vision Pro，但卻處處有Vision Pro的身影：

iPhone 15 Pro系列支持3D拍攝并可在Vision Pro回看、Apple Watch新增手勢(shì)操作、iPhone和Apple Watch升級(jí)U2芯片、AirPods Pro超低延遲無(wú)損音頻......盡管Vision Pro尚未發(fā)售，但卻不難發(fā)現(xiàn)它將與原有的一些主流計(jì)算設(shè)備緊密結(jié)合的痕跡。

Vision Pro的領(lǐng)先并不僅僅體現(xiàn)在屏幕等紙面參數(shù)，與蘋(píng)果全家桶的無(wú)縫互聯(lián)，同樣是Vision Pro的優(yōu)勢(shì)所在。

圖源：網(wǎng)絡(luò)

 除APP外，頭顯與手機(jī)、電腦更高效的連接方式是什么？

設(shè)備之間的無(wú)縫配合一直以來(lái)都是蘋(píng)果生態(tài)的強(qiáng)項(xiàng)所在，比如通過(guò)Mac可以查看iPhone的消息提示，在iPhone復(fù)制文本可以一鍵粘貼到電腦端、電腦編輯的備忘錄可以即刻同步到iPhone等。這些無(wú)縫操作極大提升了跨設(shè)備體驗(yàn)的便利性，設(shè)備之間可以優(yōu)勢(shì)互補(bǔ)，覆蓋更多使用場(chǎng)景。

不過(guò)到了VR/AR時(shí)代，卻鮮有廠商真正嚴(yán)肅考慮過(guò)解決VR設(shè)備活躍度提升所面臨的與當(dāng)前主流的計(jì)算設(shè)備的配合問(wèn)題。

iPhone：進(jìn)一步與頭顯實(shí)現(xiàn)互通，隨時(shí)隨地拍攝空間視頻

目前很多VR硬件廠商都開(kāi)發(fā)了手機(jī)APP，我們可以通過(guò)手機(jī)端實(shí)現(xiàn)對(duì)VR游戲的購(gòu)買(mǎi)、安裝、文件傳輸?shù)炔僮?，不過(guò)反過(guò)來(lái)，如果想要實(shí)現(xiàn)頭顯對(duì)手機(jī)的操作卻難得多。

由于頭顯的私密性與包裹感很強(qiáng)，它會(huì)天然地讓我們與外界形成一道屏障，在使用VR時(shí)如果想要查看手機(jī)等外界信息只能頻繁摘卸頭顯，頗為繁瑣。在這種情況下，不少人對(duì)于VST功能翹首以盼，他們的首要需求其實(shí)并非MR，只不過(guò)想更好看清手機(jī)屏幕罷了。

基于一些上手博主的體驗(yàn)，Vision Pro的VST在時(shí)延、畸變、分辨率等方面都較為不錯(cuò)，因而佩戴頭顯回復(fù)手機(jī)上的信息應(yīng)該不會(huì)造成太大的困擾。不過(guò)這只是開(kāi)始，iPhone與Vision Pro的配合將會(huì)體現(xiàn)在更多方面。

如蘋(píng)果一份名為“用于擴(kuò)展現(xiàn)實(shí) (XR) 系統(tǒng)的多設(shè)備 Continuity”的專(zhuān)利申請(qǐng)文件中提到這么一個(gè)用例：當(dāng)佩戴頭顯的用戶查看iPhone的郵件時(shí)，畫(huà)面會(huì)新增一個(gè)屏幕擴(kuò)展的按鈕，用戶可通過(guò)手勢(shì)把郵件拖拽到頭顯屏幕中并查看，并進(jìn)行回復(fù)等操作。

相關(guān)專(zhuān)利圖，圖源：蘋(píng)果

由于蘋(píng)果是目前在智能手機(jī)行業(yè)中積累最為深厚的頭顯廠商，因而它可以從底層入手對(duì)iPhone與Vision Pro進(jìn)行打通。參考iPhone與Mac的聯(lián)動(dòng)邏輯，我們可以設(shè)想：在同一賬戶下，Vision Pro可以直接接收iPhone的消息通知、3D虛擬空間中會(huì)專(zhuān)門(mén)為手機(jī)設(shè)置一個(gè)投屏窗口，設(shè)備之間的照片文件可以通過(guò)手勢(shì)拖拽的方式傳輸、iPhone可以化身為Vision Pro的實(shí)體觸摸板......

此外，在今年秋季新品發(fā)布會(huì)上，iPhone 15 Pro系列新增了空間視頻拍攝功能，這也是iPhone與Vision Pro聯(lián)動(dòng)的一大重要體現(xiàn)。

圖源：蘋(píng)果

根據(jù)發(fā)布會(huì)信息，空間視頻需要依賴于手機(jī)的主攝以及超廣角鏡頭以及LiDar傳感器。與普通基于雙眼視差原理拍攝的3D視頻不同，蘋(píng)果的空間視頻進(jìn)一步補(bǔ)充了景深信息。由于在拍攝時(shí)兩顆攝像頭需要同時(shí)工作，并且需要記錄景深像素，它對(duì)于算力以及算法都具有很高的要求。

Vision Pro配備了兩顆4000萬(wàn)像素?cái)z像頭，它同樣可以進(jìn)行3D拍攝，但是由于它體積較為龐大并且需要綁在頭上使用，這使得它靈活性相對(duì)較差。而iPhone比較小巧，拍攝也更為方便，適配3D拍攝功能后，它絕對(duì)有成為未來(lái)空間計(jì)算時(shí)代下的Vlog神器的潛力。

值得一提的是，iPhone的空間視頻采用了MV-HEVC格式，視頻內(nèi)容不僅支持在Vision Pro觀看，也能很好兼容其他VR/AR設(shè)備。隨著iPhone的發(fā)布，有利于進(jìn)一步降低3D的創(chuàng)作門(mén)檻，并進(jìn)一步擴(kuò)充XR內(nèi)容生態(tài)。

Mac：在頭顯上實(shí)現(xiàn)便捷投屏

把電腦屏幕投放到頭顯是VR的典型用例之一，目前市場(chǎng)上已經(jīng)存在不少解決方案，比如應(yīng)用端有《Virtual Desktop》、《Immersed》等，Meta也曾推出了自家的VR辦公應(yīng)用《Horizon Workrooms》，它支持在VR中擴(kuò)展出三塊電腦虛擬大屏。

不過(guò)這些VR投屏解決方案都頗為繁瑣，以《Immersed》為例，用戶使用時(shí)需要在頭顯以及電腦端分別安裝程序，然后進(jìn)行賬號(hào)登陸驗(yàn)證，為了能夠獲得更好的視覺(jué)體驗(yàn)，后續(xù)還需要進(jìn)一步對(duì)碼率、分辨率、屏幕大小、刷新率等參數(shù)進(jìn)行調(diào)節(jié)。

相比之下，蘋(píng)果的解決方案堪稱(chēng)優(yōu)雅。從演示視頻可以看到，頭顯用戶打開(kāi)MacBook，“只需要看一眼”，就能在VR中擴(kuò)展出一塊4K分辨率的大屏幕，屏幕的位置以及大小可以進(jìn)行自定義調(diào)節(jié)。

圖源：蘋(píng)果

據(jù)了解，Vision Pro與Mac的投屏基于AirPlay協(xié)議，受限于帶寬限制，目前只支持投放單個(gè)4K屏幕，這對(duì)于多屏用戶而言可能是一大遺憾。不過(guò)另一邊，Vision Pro可以在投屏過(guò)程中繼續(xù)在空間中打開(kāi)頭顯內(nèi)置的其他應(yīng)用，基于這一特性，未來(lái)可能會(huì)誕生出很多新奇的跨設(shè)備玩法。

 不僅是iPhone的Apple Watch，不僅是Mac的AirPods 

1976年成立至今，蘋(píng)果已經(jīng)由車(chē)庫(kù)里的小團(tuán)隊(duì)發(fā)展成為了萬(wàn)億美元市值的科技巨頭，除了手機(jī)電腦等產(chǎn)品外，蘋(píng)果還打造了瞄準(zhǔn)音樂(lè)市場(chǎng)的AirPods、運(yùn)動(dòng)健康的Apple Watch以及智能家居市場(chǎng)的HomeKit等眾多產(chǎn)品類(lèi)別。隨著空間計(jì)算設(shè)備Vision Pro的加入，它也將會(huì)與生態(tài)成員產(chǎn)生更為緊密的聯(lián)系。

Apple Watch：為頭顯補(bǔ)充交互以及全身追蹤數(shù)據(jù)

最近發(fā)布的Apple Watch Series 9一大亮點(diǎn)在于引入了雙指捏合手勢(shì)。當(dāng)用戶在騰不出手的情況下可以通過(guò)食指和拇指雙擊的方式實(shí)現(xiàn)接聽(tīng)電話、拍照、暫停音樂(lè)等操作。

圖源：蘋(píng)果

Apple Watch的這一套手勢(shì)很容易讓人聯(lián)想到Vision Pro備受好評(píng)的眼手交互方案，不過(guò)兩者在實(shí)現(xiàn)原理上有所不同：Vision Pro的手勢(shì)識(shí)別基于攝像頭模組以及紅外傳感器；而Apple Watch的手勢(shì)則依賴于加速傳感器、陀螺儀、光學(xué)心率傳感器以及機(jī)器學(xué)習(xí)算法，官方指出手表可檢測(cè)手指輕點(diǎn)兩下時(shí)微小動(dòng)作和血流變化特征進(jìn)而實(shí)現(xiàn)動(dòng)作判別。

目前蘋(píng)果并未正式透露過(guò)Vision Pro結(jié)合Apple Watch使用的應(yīng)用場(chǎng)景，不過(guò)這一點(diǎn)在它的一些專(zhuān)利文件中已有所呈現(xiàn)。如一份編號(hào)為20230171484的專(zhuān)利中指出，用戶可以通過(guò)手表背面的傳感器信號(hào)掃描拍攝自己的Face ID圖像，該圖像可以應(yīng)用于MR環(huán)境中。（Vision Pro所展示的Persona則是通過(guò)頭顯本體進(jìn)行掃描的。）

圖源：pantentlyapple

除拍攝虛擬化身外，我們還可以設(shè)想一番，未來(lái)Apple Watch完全可以作為Vision Pro交互的補(bǔ)充，這樣有利于進(jìn)一步降低手勢(shì)操作盲區(qū)以及識(shí)別準(zhǔn)確率。

關(guān)于手環(huán)交互，目前市場(chǎng)上已經(jīng)有不少探索先例，如Port 6開(kāi)發(fā)了一款智能手表，手表可以檢測(cè)用戶手勢(shì)進(jìn)而實(shí)現(xiàn)確認(rèn)、返回、滑動(dòng)等操作。除自家產(chǎn)品外，Port 6這套算法也適用于Apple Watch等產(chǎn)品中。

無(wú)獨(dú)有偶，Meta也在瞄準(zhǔn)手環(huán)交互領(lǐng)域。早在2019年，Meta便收購(gòu)了一家肌電手環(huán)交互技術(shù)開(kāi)發(fā)商CTRL-Labs，并在2021年公布了相應(yīng)的技術(shù)演示。在Meta看來(lái)，肌電手環(huán)交互具有操作自然、私密性強(qiáng)等優(yōu)點(diǎn)，會(huì)是未來(lái)AR的理想交互方案之一。

基于肌電手環(huán)實(shí)現(xiàn)文本輸入，圖源：Facebook

除用于交互外，Apple Watch的引入還能為Vision Pro帶來(lái)更多維度的追蹤數(shù)據(jù)。如PICO曾發(fā)布了一款售價(jià)199元的VR健身配件，它可用于實(shí)現(xiàn)更精準(zhǔn)的健身數(shù)據(jù)檢測(cè)以及部分全身追蹤效果，得益于Apple Watch強(qiáng)大的健康檢測(cè)能力，相信它未來(lái)也會(huì)在Vision Pro中發(fā)揮重要作用。

圖源：PICO

AirPods Pro：無(wú)損音頻傳輸

秋季發(fā)布會(huì)上，蘋(píng)果還悄然更新了配備USB-C接口的第二代AirPods Pro，這款產(chǎn)品其實(shí)也能與Vision Pro“打配合”。根據(jù)蘋(píng)果官網(wǎng)信息，新款A(yù)irPods Pro可實(shí)現(xiàn)“極低延遲的無(wú)損音頻，并為Vision Pro提供完美的無(wú)線解決方案。”此外，AirPods Pro與Vision Pro配合使用可以傳輸20位、48kHz的無(wú)損音頻。

Vision Pro采用了外置揚(yáng)聲器設(shè)計(jì)，其揚(yáng)聲器不僅配備了空間音頻，并且還搭載音頻光線追蹤技術(shù)可以分析房間的聲學(xué)特性并使聲音與空間相匹配。在Vision Pro基礎(chǔ)之上引入AirPods Pro，則是基于私密性考慮，方便用戶在旅途觀影等場(chǎng)合使用設(shè)備。

有消息指出，蘋(píng)果還在著手于開(kāi)發(fā)平價(jià)版的頭顯“Vision One”，這款產(chǎn)品會(huì)在傳感器、屏幕等方面進(jìn)行簡(jiǎn)配，并可能會(huì)取消揚(yáng)聲器，轉(zhuǎn)而全面使用AirPods代替。

圖源：蘋(píng)果

HomeKit：Vision Pro有望成為智能家居新中樞

今年年初發(fā)布的小米無(wú)線AR眼鏡探索版展示了眼鏡與米家家居生態(tài)聯(lián)動(dòng)的相關(guān)場(chǎng)景：當(dāng)用戶的目光看向臺(tái)燈，眼鏡的界面會(huì)出現(xiàn)臺(tái)燈開(kāi)關(guān)按鈕，用戶通過(guò)手勢(shì)即可實(shí)現(xiàn)隔空操作。而蘋(píng)果的專(zhuān)利中也曾提到了類(lèi)似用例：當(dāng)iPhone在播放音樂(lè)時(shí)，頭顯用戶可通過(guò)手勢(shì)或注視同一房間的HomePod等方式無(wú)縫切換聲音播放設(shè)備。

圖源：小米

實(shí)現(xiàn)這一功能的方式有兩種，一是基于計(jì)算機(jī)視覺(jué)通過(guò)攝像頭檢測(cè)環(huán)境存在的智能家居設(shè)備，進(jìn)而與設(shè)備建立握手，二是通過(guò)在智能家居產(chǎn)品內(nèi)置UWB等芯片以實(shí)現(xiàn)精準(zhǔn)定位以及高速數(shù)據(jù)傳輸。

陀螺君了解到，目前蘋(píng)果系列產(chǎn)品：iPhone 11及以上、Apple Watch S6及以上、HomePod Mini、HomePod、AirTag等均配備了UWB芯片，今年iPhone 15、Apple Watch系列新品則進(jìn)一步搭載了U2 UWB芯片。這為后續(xù)不同設(shè)備間的近場(chǎng)通信打下了良好的基礎(chǔ)?；氐紿omeKit生態(tài)來(lái)看，目前配備了UWB的產(chǎn)品仍不算多。

 寫(xiě)在最后 

Vision Pro出來(lái)后，蘋(píng)果在頭顯市場(chǎng)樹(shù)立了一個(gè)新標(biāo)桿。在技術(shù)方面，它具有很多先進(jìn)特性，如專(zhuān)門(mén)加入?yún)f(xié)處理芯片R1、圖像上屏?xí)r延低至12ms、減少用戶疏離感的EyeSight等。而在生態(tài)方面也同樣如此。

在前幾年，VR/AR其實(shí)很難找到真正屬于自己的位置：VR究竟應(yīng)該歸屬于3D生產(chǎn)力工具還是PC游戲外設(shè)？AR究竟應(yīng)該作為信息提醒工具還是另一塊便攜大屏？在這個(gè)過(guò)程中，VR/AR更多承擔(dān)的是配件、服務(wù)型角色，又或者與主流的PC手機(jī)漸行漸遠(yuǎn)，開(kāi)辟了游戲等其他場(chǎng)景。

而Vision Pro發(fā)布之后，它并不急于與PC、移動(dòng)互聯(lián)網(wǎng)生態(tài)進(jìn)行切割，反而是在不同生態(tài)間建立了良好的關(guān)系。比如Vision Pro UI中再讓人熟悉不過(guò)的2D操作界面、又比如對(duì)iOS、iPadOS應(yīng)用的兼容等。而另一方面，Vision Pro定義為空間計(jì)算設(shè)備，并且配備了電腦級(jí)處理器M2，它并不需要依賴于原有的硬件產(chǎn)品而存在，潛在應(yīng)用場(chǎng)景以及用例要比其他產(chǎn)品廣泛得多。

無(wú)可否認(rèn)，VR/AR又或者空間計(jì)算會(huì)成為下一代計(jì)算平臺(tái)，但如何實(shí)現(xiàn)在不同生態(tài)間的無(wú)縫過(guò)渡卻鮮有人考慮，而為不同硬件建立聯(lián)系則是蘋(píng)果試圖給出的答案之一。由此可見(jiàn)，XR時(shí)代的蘋(píng)果，它不僅出發(fā)得要比別人早，也已經(jīng)走得要比別人遠(yuǎn)得多。