文/VR陀螺

在Meta Connect 2023大會上，伴隨著Meta Quest 3和Meta與雷朋聯(lián)合打造的Ray-Ban Meta智能眼鏡正式亮相，高通也正式發(fā)布了最新的驍龍XR專用平臺：第二代驍龍XR2和第一代驍龍AR1。這兩款平臺也借由Meta的硬件新品實(shí)現(xiàn)商業(yè)化落地，正式走向消費(fèi)者。

芯片作為XR設(shè)備的核心，相關(guān)技術(shù)飛速發(fā)展，如今XR設(shè)備已不再需要依賴手機(jī)處理器。面向虛擬現(xiàn)實(shí)（VR）、混合現(xiàn)實(shí)（MR）和增強(qiáng)現(xiàn)實(shí)（AR）三大領(lǐng)域，高通現(xiàn)已擁有完整的XR專用平臺產(chǎn)品組合。

自2018年高通發(fā)布首款XR專用平臺第一代驍龍XR1以來，陸續(xù)推出第一代驍龍XR2、第一代驍龍XR2+、第一代驍龍AR2平臺，獲得了全球多家XR品牌的認(rèn)可，目前已有80+款XR設(shè)備采用了驍龍平臺。第二代驍龍XR2和第一代驍龍AR1的問世，將會對行業(yè)帶來哪些影響？本文將探究高通在XR領(lǐng)域的最新布局。

 第二代驍龍XR2功能性升級：能效、交互、顯示、AI、連接 

第二代驍龍XR2是高通進(jìn)一步推動VR/MR設(shè)備普及而打造的全新XR專用平臺，尤其為MR部分提供了更加穩(wěn)定的技術(shù)支撐。

Quest 3在發(fā)布之前，行業(yè)內(nèi)已流傳了不少曝光信息，隨著設(shè)備的正式發(fā)布，才得以一窺高通在其中發(fā)揮的底層技術(shù)實(shí)力。Quest 3售價(jià)499美元，現(xiàn)已接受預(yù)定，于10月10日發(fā)售。（詳細(xì)內(nèi)容可參照VR陀螺文章：《混合現(xiàn)實(shí)+AI+智能眼鏡！Meta Connect大會打出組合拳》）

1、游戲性能加倍：GPU性能提升2.5倍，功耗降低50%

在能效和性能方面，根據(jù)高通官方提供的相關(guān)參數(shù)，第二代驍龍XR2針對單芯片架構(gòu)進(jìn)行了大幅優(yōu)化，其與第一代驍龍XR2相比，GPU性能提升了2.5倍，GPU能效提升了50%，相當(dāng)于延長VR/MR設(shè)備電池續(xù)航時(shí)間，且不再需要外置電池組，以便幫助OEM廠商打造高性能且價(jià)格合理的設(shè)備。

在顯示方面，第二代驍龍XR2可支持3K×3K顯示，游戲超級分辨率、視覺聚焦渲染、空間扭曲。此處提到三項(xiàng)技術(shù)均與游戲顯示性能優(yōu)化有關(guān)：

• 驍龍游戲超級分辨率，是一項(xiàng)單一通道空間感知超分技術(shù)，實(shí)現(xiàn)高性能、高質(zhì)量、低功耗。能夠?qū)?080P的游戲畫質(zhì)提升至4K水準(zhǔn)，30FPS的畫面更是能夠呈現(xiàn)出60FPS的效果。

• 視覺聚焦渲染，結(jié)合攝像頭和傳感器數(shù)據(jù)，該技術(shù)可支持眼球追蹤和虹膜認(rèn)證，對用戶注視的內(nèi)容進(jìn)行工作負(fù)載優(yōu)化，以幫助降低功耗。

• 空間扭曲，可以即時(shí)補(bǔ)充缺失幀以提高畫面幀率以及流暢性，即便用戶的設(shè)備性能較低，也可以通過該技術(shù)降低渲染的計(jì)算量，并獲得較高的分辨率。

Meta Connect會上還以即將發(fā)售的《阿斯加德之怒2》為例，展示了Quest 3一體機(jī)以第二代驍龍XR2為支撐的強(qiáng)大游戲性能。

以上技術(shù)能進(jìn)一步提升VR/MR內(nèi)容的色彩和細(xì)節(jié)，在保持同樣的視覺效果的情況下降低功耗，這對開發(fā)者來說無疑是一大利好消息。

2、VST視頻透視線程優(yōu)化，時(shí)延降至12ms

高通認(rèn)為，從能夠?qū)崿F(xiàn)完全沉浸式和數(shù)字化的虛擬現(xiàn)實(shí)，到物理世界和數(shù)字世界無縫融合的混合現(xiàn)實(shí)，以及能夠在物理空間中疊加虛擬內(nèi)容的增強(qiáng)現(xiàn)實(shí)。這三大XR場景應(yīng)該是相互連通的，但以現(xiàn)有的XR設(shè)備如何讓人從感官上獲取更真實(shí)的虛實(shí)融合體驗(yàn)，MR或許是最好的方法。

如果要在VR/MR頭顯中體驗(yàn)虛實(shí)融合的內(nèi)容，主要依托VST技術(shù)將頭顯攝像頭拍攝到的畫面實(shí)時(shí)傳輸?shù)狡聊簧稀?/p>

早期的VST主要使用單色攝像頭，完成空間定位和物理識別，主要用于安全邊界定位和手部追蹤，如今在MR領(lǐng)域得到了更出彩的應(yīng)用，例如剛發(fā)布的Quest 3，已發(fā)布的Quest Pro、PICO 4，以及未上市的蘋果Vision Pro均搭載了全彩攝像頭，以盡可能地將現(xiàn)實(shí)世界的全貌反映到頭顯屏幕中。

Quest 3 MR場景演示（圖源：Meta）

從Meta的演示來看，Quest 3的高保真全彩Passthrough可以讓用戶的物理環(huán)境清晰可見，效果更佳，與前代產(chǎn)品不同，Quest 3支持房間掃描，可自動創(chuàng)建安全邊界。Meta還表示，Quest 3的像素比Quest 2高出10倍以上。

高通優(yōu)化了整個(gè)視頻透視線程，第二代驍龍XR2可以實(shí)現(xiàn)低至12ms的視頻透視時(shí)延。另外，還將通過幾何校正、降噪、動態(tài)亮度調(diào)整等技術(shù)，提升視頻透視的圖像質(zhì)量。

3、感知交互精細(xì)度提升，AI引擎性能提升8倍

在交互方面，高通將并發(fā)感知技術(shù)分為兩個(gè)部分，一是環(huán)境理解，二是用戶理解。

要實(shí)現(xiàn)MR效果，環(huán)境理解算法是關(guān)鍵。第二代驍龍XR2最高支持10路并發(fā)攝像頭和傳感器，可準(zhǔn)確地完成平面檢測、深度估計(jì)、3D重建、語義理解、物體識別和追蹤，定位墻壁、家具以及其他物品的現(xiàn)實(shí)位置。由此開發(fā)者可以將虛擬內(nèi)容放置在用戶當(dāng)前的現(xiàn)實(shí)場景，例如用戶在MR場景中拋出一個(gè)虛擬球，球的運(yùn)動軌跡能與現(xiàn)實(shí)場景進(jìn)行相應(yīng)的物理碰撞反饋。

針對用戶理解，第二代驍龍XR2能夠同時(shí)處理用戶頭部追蹤、眼球追蹤、面部表情、手勢追蹤的運(yùn)動輸入數(shù)據(jù)，同時(shí)對全身運(yùn)動的感知能力也擴(kuò)展了手柄追蹤、動作追蹤的精細(xì)程度，甚至支持虛擬形象的編/解碼。

Quest 3還官宣了明年將推出的“Augments”新功能，這是一種能夠識別空間的交互式虛擬對象，它可固定于現(xiàn)實(shí)環(huán)境中。如用戶可以在墻上掛上包含F(xiàn)acebook和Instagram照片/視頻的電子相框等。

但要做到實(shí)時(shí)檢測空間，錨定虛擬3D內(nèi)容并長期存儲，將產(chǎn)生十分龐大的數(shù)據(jù)量，同時(shí)需要消耗大量算力，為此高通提升了XR平臺所搭載的高通AI引擎能力，每瓦特性能可提升8倍。

在高通AI引擎方面，第二代驍龍XR2支持INT8，大大提高了運(yùn)算效率，同時(shí)優(yōu)化了不同AI模塊之間的連接，以實(shí)現(xiàn)緊密的協(xié)同處理。高通還針對計(jì)算機(jī)視覺模塊做了改進(jìn)，為第二代驍龍XR2打造了專用模塊視覺分析引擎（Engine for Visual Analytics）,其中的“Feature detection and tracking”（特征探測和追蹤），這項(xiàng)功能會直接在硬件上運(yùn)行，大幅提升6DoF追蹤效果。

具體來說，在第一代驍龍XR2中是通過軟件實(shí)時(shí)運(yùn)作來實(shí)現(xiàn)特征探測和追蹤，而在第二代驍龍XR2，這項(xiàng)功能則是在芯片層面通過視覺分析引擎實(shí)現(xiàn)，關(guān)鍵點(diǎn)檢測數(shù)量將大幅提升，功耗和時(shí)延降低。隨著訓(xùn)練AI模型的參數(shù)逐步增加，對內(nèi)存容量的挑戰(zhàn)難度在增大，高通也一并擴(kuò)展了終端側(cè)的內(nèi)存。

4、支持Wi-Fi 7 / Wi-Fi 6E，實(shí)現(xiàn)無界XR連接

在連接傳輸方面，高通在通訊領(lǐng)域的技術(shù)積累也在XR中的流暢交互得以體現(xiàn)。

VR/MR設(shè)備的數(shù)據(jù)傳輸需要保持始終在線的狀態(tài)，而且還要滿足與游戲PC相連的需求， 第二代驍龍XR2支持新一代的Wi-Fi 7和Wi-Fi 6E技術(shù)，對用戶體驗(yàn)有著極大改善，對設(shè)備之間互聯(lián)互通、XR內(nèi)容傳輸、手機(jī)無線連接、實(shí)時(shí)多頻互動、高速上傳下載等應(yīng)用場景帶來了直觀的效率和穩(wěn)定性提升。

高通面向XR推出的高通FastConnect軟件套件也融合到了第二代驍龍XR2中，使Wi-Fi連接功耗降低25%，峰值速度可達(dá)5.8Gbps，時(shí)延降低80%。通過FastConnect軟件套件的支持，還可讓用戶“即連即用”，保證在使用XR設(shè)備時(shí)的穩(wěn)定性，也能在VR/MR場景中改善時(shí)延、抖動性等問題。

 第一代驍龍AR1：眼鏡側(cè)AI輔助日常使用“解放雙手” 

高通近年來在AR方面持續(xù)投入，三年內(nèi)陸續(xù)推出兩款A(yù)R眼鏡參考設(shè)計(jì)以及AR專用平臺第一代驍龍AR2，并構(gòu)想了理想化的AR智能眼鏡的多個(gè)特性：分布式處理、輕便日常、無線連接、智能交互等等。

現(xiàn)在，搭載第一代驍龍AR1的Ray-Ban Meta智能眼鏡已正式發(fā)布，對于這類智能眼鏡，扎克伯格表示：“我認(rèn)為智能眼鏡將成為未來的一個(gè)重要平臺......之前團(tuán)隊(duì)不少人認(rèn)為智能眼鏡只有真正實(shí)現(xiàn)3D全息圖、內(nèi)置顯示器等才會真正普及，但是這需要很長的時(shí)間。如今得益于AI的進(jìn)步，內(nèi)置的AI助手將能看到你所看到的，聽到你所聽到的，AI將與其他AR功能同樣重要。”

第一代驍龍AR1將著重圍繞日常生活中的場景帶來沉浸式互動體驗(yàn)支持，主要集中在以下幾點(diǎn)：即時(shí)拍攝、AI能力、可拓展平臺、虛擬助手、視覺搜索等。

1、解放雙手、快速連接，即時(shí)拍攝改變智能眼鏡影像記錄方式

第一代驍龍AR1通過拍攝、眼鏡側(cè)AI等功能來突出智能眼鏡的“解放雙手”能力，用戶能直接與智能眼鏡交互，降低智能眼鏡對手機(jī)、電腦等終端的操作“依賴”。

例如拍攝方面，第一代驍龍AR1采用14-bit雙ISP（圖像信號處理器），14-bit ISP能夠?qū)崿F(xiàn)每秒捕捉27億像素能力，能滿足大部分拍攝需求，支持即時(shí)拍攝。且智能手機(jī)上常見的功能：自動曝光、自動人臉檢測、計(jì)算HDR和人像模式，均可在驍龍AR1的智能眼鏡中得以體驗(yàn)。

驍龍AR1有望改變智能眼鏡拍攝照片和視頻的方式，用戶無需舉起手機(jī)操作，只要抬手就能一鍵拍出高清照片和視頻。FastConnect軟件套件也在第一代驍龍AR1得以應(yīng)用，且支持藍(lán)牙5.2和5.3，實(shí)時(shí)視頻直播、照片快速分享以及音樂串流功能均可實(shí)現(xiàn)。

2、眼鏡側(cè)AI：語音指令、視覺搜索，適用更多日常場景

AI能力在驍龍AR1同樣發(fā)揮著重要作用，通過計(jì)算機(jī)視覺輔助提高拍攝照片/視頻質(zhì)量，支持AI輔助的回聲消除和降噪，實(shí)現(xiàn)更清晰的語音通話。

驍龍AR1支持語音指令，可以通過AI將信息具現(xiàn)化，讓用戶在智能眼鏡上看到結(jié)合現(xiàn)實(shí)情景的信息，隨時(shí)啟用視覺搜索、實(shí)時(shí)文本翻譯以及導(dǎo)航功能，還集成健康傳感器，可實(shí)時(shí)監(jiān)測和追蹤健康及運(yùn)動數(shù)據(jù)。利用眼鏡側(cè)的AI能力，用戶能夠獲得解放雙手的完美虛擬助手，這在滑板、騎自行車、做飯等日常生活場景中十分有用。

3、支持AR單目/雙目配置的可擴(kuò)展平臺

驍龍AR1是一款可擴(kuò)展平臺，支持三種不同配置，為OEM廠商帶來更多選擇：一是以拍攝和音樂功能為核心的智能眼鏡；二是以通知提醒和導(dǎo)航功能為核心的單目顯示智能眼鏡；三是具有豐富的視覺效果和更多功能的雙目顯示智能眼鏡。

Ray-Ban Meta智能眼鏡（圖源：Meta）

Meta展示的Ray-Ban Meta智能眼鏡，搭載驍龍AR1。整體外形輕巧精致時(shí)尚，與普通的墨鏡并無太大差異，可滿足全天候佩戴的需求，售價(jià)299美元，于10月17日發(fā)售。

此前有數(shù)據(jù)指出，初代Ray-Ban Stories共計(jì)銷售了超過30萬臺，但是設(shè)備活躍度一般?？梢娙藗儗χ悄苎坨R的需求并不低，將AI+AR結(jié)合起來，讓智能眼鏡滲透生活中的各個(gè)角落，便是高通為賦能下一代智能眼鏡打造的首個(gè)專用平臺驍龍AR1的目的。

 解決XR普及路上“看得見”的技術(shù)難點(diǎn)：交互與顯示 

從游戲、社交、辦公到企業(yè)應(yīng)用，XR技術(shù)已滲透到工作生活等各大場景，作為沉浸式體驗(yàn)的重要硬件組成部分，XR設(shè)備能在顯示和交互方面帶來最直接的感官體驗(yàn)，相關(guān)技術(shù)的快速發(fā)展以及用戶需求的多樣化催生了更個(gè)性化的垂直場景探索。

盡管蘋果強(qiáng)調(diào)的空間計(jì)算概念讓更多人看到了XR的可能性和應(yīng)用前景。但目前XR的普及度并不算高。對普通用戶來說，更關(guān)注能通過XR看到什么內(nèi)容，能在虛擬世界做什么。但畫質(zhì)不清晰、流暢度低、眩暈感、交互響應(yīng)慢和定位不準(zhǔn)確等這些“看得見”的顯示和交互問題還未解決。

要實(shí)現(xiàn)理想化的XR顯示和交互體驗(yàn)還有一段距離，高通作為XR底層供應(yīng)鏈上的龍頭企業(yè)，正積極布局XR專用芯片、AR專用芯片以及相關(guān)底層技術(shù)，并尋求與更多企業(yè)合作推動XR生態(tài)搭建來彌補(bǔ)物理世界和虛擬世界的差距。

目前高通已經(jīng)有了明確的方向，隨著XR對感知交互技術(shù)、高清顯示、健康監(jiān)測以及高速網(wǎng)絡(luò)等功能的需求提升，AI的作用愈發(fā)凸顯。AI的研發(fā)已成為主流趨勢，高通也加大了在AI領(lǐng)域的投資，面向邊緣終端推動混合AI規(guī)?；瘮U(kuò)展。

有了AI在性能方面的優(yōu)化支持，高通改善顯示難點(diǎn)的第一步就是通過算法提升幀率，將游戲超級分辨率、視覺聚焦渲染、空間扭曲這些圖像技術(shù)應(yīng)用到XR平臺，從而改善XR畫面清晰度，提高顯示質(zhì)量和視覺效果。

另外，VST的顯示效果也通過第二代驍龍XR2的幾何校正、降噪、動態(tài)亮度調(diào)整等技術(shù)得到改進(jìn)，全彩視頻透視的圖像質(zhì)量得到提升的同時(shí)，時(shí)延降至12ms（一般來說，時(shí)延要在20ms以內(nèi)才能有效緩解VR眩暈感）。

在XR領(lǐng)域，人機(jī)交互主要依靠各種輸出/輸入硬件和技術(shù)來實(shí)現(xiàn)：XR設(shè)備通過各種傳感器和攝像頭捕捉運(yùn)動數(shù)據(jù)和空間數(shù)據(jù)，再將數(shù)據(jù)轉(zhuǎn)化成代碼并以此構(gòu)建3D資產(chǎn)疊加到虛擬世界中。

相應(yīng)的數(shù)據(jù)量也在成倍增大，對網(wǎng)絡(luò)連接和感知技術(shù)來說是巨大的挑戰(zhàn)。高通的第二步就是提升圖像處理能力，第二代驍龍XR2的并發(fā)感知技術(shù)同時(shí)支持高達(dá)10路并行攝像頭和傳感器，相比上一代XR2平臺（7路）可提供更加細(xì)致精確的運(yùn)動追蹤、面部追蹤以及房間映射效果。

AR交互也是高通正在努力的方向，高通的驍龍AR1智能眼鏡方案強(qiáng)調(diào)“所見即所得”拍攝能力的同時(shí)還強(qiáng)調(diào)了“解放雙手”這一特性，除了減少在手機(jī)端的操作，將無界交互的語音指令、AI助手應(yīng)用到更具體的場景，使其更加易用、常用。

憑借高通強(qiáng)大的集成能力，第二代驍龍XR2和第一大驍龍AR1兩大平臺，結(jié)合AI技術(shù)進(jìn)一步提升了XR設(shè)備的性能、功耗、視覺效果、交互能力等，并率先成功應(yīng)用到Quest 3和Ray-Ban智能眼鏡。

空間計(jì)算仍在發(fā)展初期階段，高通對現(xiàn)階段的XR市場需求有著怎樣的認(rèn)知？

高通技術(shù)公司副總裁兼XR業(yè)務(wù)總經(jīng)理司宏國（Hugo Swart）表示：“目前，VR和MR行業(yè)的發(fā)展勢頭非常強(qiáng)勁，游戲、健身、娛樂等消費(fèi)級應(yīng)用正在不斷發(fā)展，此外在企業(yè)市場也出現(xiàn)了培訓(xùn)、教育、醫(yī)療等應(yīng)用。在AR領(lǐng)域，面向消費(fèi)者的沉浸式體驗(yàn)剛剛起步，但我們看到已經(jīng)有大量的企業(yè)正在使用豐富的AR應(yīng)用，包括遠(yuǎn)程協(xié)助、說明/指導(dǎo)、以及通過AR智能眼鏡賦能的生產(chǎn)力工具。”

在沉浸式交互方面，實(shí)際上Meta在大會上展示的部分交互功能或與蘋果Vision Pro有相似之處，高通是如何看待這兩個(gè)不同的XR平臺？

司宏國肯定了蘋果對XR行業(yè)的積極作用，并表示：“高通和蘋果的策略不同，他們產(chǎn)品的價(jià)格較為昂貴，并且需要采用多個(gè)芯片以及外置電池來支持。但是對于廣大用戶來說這可能并不是他們所期待的，而且這樣的架構(gòu)很難確保終端價(jià)格是大多數(shù)用戶可以負(fù)擔(dān)的。相似的手勢識別和追蹤功能，高通選擇采用更加實(shí)用的思路，以將VR和MR體驗(yàn)帶到更廣闊的市場當(dāng)中。”

在高清顯示方面，為何高通仍主推3K×3K分辨率的解決方案，是否符合用戶的體驗(yàn)和市場需求？

司宏國認(rèn)為：“目前，4K顯示仍然是非常昂貴的解決方案，還并不具備足以實(shí)現(xiàn)規(guī)模化擴(kuò)展的供應(yīng)能力。而3K×3K分辨率已經(jīng)能夠帶來出色的視覺效果，相比市場上已有的解決方案有著很大的優(yōu)勢，我認(rèn)為3K×3K能夠在用戶負(fù)擔(dān)的起的價(jià)位上打造滿意的用戶體驗(yàn)，對于下一代VR/MR設(shè)備是最理想的選擇。”

為什么之前推出了驍龍AR2，如今又“反向”推出驍龍AR1？

高通認(rèn)為，實(shí)際上智能眼鏡品類的發(fā)展?jié)摿薮?。其外形可以像傳統(tǒng)的墨鏡一樣輕巧時(shí)尚，可以全天佩戴，而且通過AI技術(shù)可實(shí)現(xiàn)更多智能化體驗(yàn)，還支持許多便捷功能，比如實(shí)時(shí)拍攝照片和視頻，不需要再從口袋中掏出手機(jī)。

驍龍AR2采用多芯片架構(gòu)，在AR眼鏡上可以實(shí)現(xiàn)空間定位Slam（6DoF）等功能，這一平臺的設(shè)計(jì)采用了分布式處理架構(gòu)，支持將小部分工作負(fù)載直接在眼鏡端進(jìn)行處理，然后將大部分工作負(fù)載放在手機(jī)或其他主機(jī)終端上處理。

而新發(fā)布的驍龍AR1特別針對輕薄智能眼鏡用例在影像拍攝、音樂串流等功能進(jìn)行了優(yōu)化，其支持的功能也相對簡單，因此所有的處理可以在眼鏡端完成，不需要借助手機(jī)。傳輸信息也只需要進(jìn)行簡單的Wi-Fi連接，使智能眼鏡和智能手機(jī)相連即可。至此，高通的AR生態(tài)將更加豐滿。

隨著XR在技術(shù)方面的改進(jìn)與發(fā)展，高通離自己期盼的XR未來越來越近，第二代驍龍XR2和第一代驍龍AR1有望加速空間計(jì)算的變革。