文/VR陀螺

2023年，VR/AR市場依舊值得期待。

蘋果Vision Pro引領(lǐng)行業(yè)風(fēng)向，產(chǎn)業(yè)鏈新技術(shù)突破紛至沓來，頭部廠商持續(xù)發(fā)布新品，內(nèi)容生態(tài)建設(shè)日趨完善，整個(gè)VR/AR產(chǎn)業(yè)都在快速進(jìn)行技術(shù)迭代。

在VR/AR的硬件生態(tài)中，顯示技術(shù)和芯片技術(shù)領(lǐng)域的創(chuàng)新尤為引人關(guān)注。顯示領(lǐng)域，京東方、視涯、JBD等知名企業(yè)以及湖畔光電、宏禧科技等眾多創(chuàng)業(yè)企業(yè)都在加速研發(fā)；在芯片領(lǐng)域，國外的高通、三星，國內(nèi)的耀宇視芯、萬有引力等都在積極推進(jìn)產(chǎn)品落地。

今年10月，耀宇視芯率先推出自主研發(fā)的協(xié)處理芯片“啟明”，打響了國產(chǎn)芯片進(jìn)軍VR/AR協(xié)處理芯片市場的第一槍。

作為國內(nèi)首顆成功流片的空間定位協(xié)處理芯片，“啟明”的出現(xiàn)意味著耀宇視芯正式以“國產(chǎn)協(xié)處理芯片方案商”身份開始在VR/AR行業(yè)展露頭角。那么，在國產(chǎn)化的標(biāo)簽之下，“啟明”相比此前的芯片方案究竟取得了多少技術(shù)進(jìn)步？能夠?yàn)樾袠I(yè)帶來怎樣的影響？關(guān)于這些問題，還是得通過對(duì)“啟明”的剖析找到答案。

自然交互、極低延遲，VR/AR協(xié)處理芯片已成大勢

2023年6月，蘋果發(fā)布其初代MR頭顯，采用了以語音+手勢+面部/眼動(dòng)追蹤為主的更加自然的交互方式。從Vision Pro公布的信息和目前媒體評(píng)測的反饋看，Vision Pro相比于近年來的VR頭顯以及AR眼鏡，實(shí)現(xiàn)了突破性的創(chuàng)新，在交互方面把用戶視角下的VR/AR體驗(yàn)帶到了一個(gè)新的高度。

這些令人驚嘆的交互升級(jí)背后，都離不開蘋果為MR量身定制的R1芯片。

在蘋果Vision Pro中，R1作為協(xié)處理芯片，獨(dú)立于主控芯片，運(yùn)行更為高效，負(fù)責(zé)處理來自12個(gè)視覺攝像頭，5個(gè)傳感器，6個(gè)麥克風(fēng)輸入信號(hào)的數(shù)據(jù)處理工作，實(shí)現(xiàn)空間計(jì)算所需的姿態(tài)追蹤、眼動(dòng)追蹤、3D環(huán)境感知以及手勢識(shí)別等核心功能，動(dòng)態(tài)延遲僅有12毫秒。

圖源：網(wǎng)絡(luò)

如果說蘋果的R1芯片屬于集大成者，那么如今的創(chuàng)業(yè)公司所選擇的方向則更針對(duì)行業(yè)痛點(diǎn)：耀宇視芯將最常用、占用資源多、開發(fā)難度大、功耗高的6DoF空間定位、低延遲渲染和手柄交互追蹤等部分作為其協(xié)處理芯片的核心功能，為VR/AR行業(yè)率先造出易用好用的通用“輪子”。

在蘋果Vision Pro發(fā)布之前，幾乎所有的國產(chǎn)VR或者AR終端均采用單主芯片架構(gòu)，主芯片不僅需要處理空間交互、VST、手勢交互，同時(shí)還需要處理畫面圖像渲染補(bǔ)償?shù)人惴?。以目前移?dòng)端性能最高的高通XR2 Gen2芯片來看，其性能實(shí)際上已經(jīng)足以媲美高端的手機(jī)芯片。并且與上一代驍龍XR2相比，CPU的性能提高了33%以上，GPU性能提升了2.5倍，GPU能效提升了50%，可以處理多達(dá)10個(gè)攝像頭的數(shù)據(jù)，可實(shí)現(xiàn)12毫秒的超低延遲直通……

但由于VR/AR內(nèi)容大部分為3D，畫面渲染工作量比平面2D高出數(shù)倍，加上還需要實(shí)時(shí)處理交互數(shù)據(jù)，所以現(xiàn)有的移動(dòng)端XR芯片處理能力實(shí)際上對(duì)于VR/AR來說遠(yuǎn)遠(yuǎn)不夠，更不用說再加上VST、空間拍攝等新功能之后的負(fù)擔(dān)更是巨大。

所以當(dāng)PC端的VR內(nèi)容移植到一體機(jī)時(shí)，需要對(duì)內(nèi)容畫面大幅減面，或者直接開發(fā)Low-poly風(fēng)格，以減輕對(duì)畫面渲染的壓力。

如今單眼4K分辨率、VST、手勢追蹤以及空間拍攝逐漸成為VR終端標(biāo)配功能，對(duì)于產(chǎn)品性能要求直線上升。這也直接促使蘋果Vision Pro在采用Mac處理器芯片M2的同時(shí)還必須要增加一片性能強(qiáng)大的R1協(xié)處理芯片，以使Vision Pro達(dá)到極致的用戶體驗(yàn)。

趨勢與需求逐漸清晰，但需要面對(duì)的現(xiàn)實(shí)是，此前VR/AR行業(yè)很長一段時(shí)間都沒有類似于R1的協(xié)處理芯片，用主控芯片在處理低延遲6DoF數(shù)據(jù)以及視覺渲染補(bǔ)償方面不僅功耗偏高同時(shí)還存在不少問題，且能運(yùn)行SLAM的DSP 僅由極少數(shù)芯片大廠壟斷，國內(nèi)自給率較低，導(dǎo)致VR/AR方案單一、價(jià)格昂貴。如何讓整個(gè)行業(yè)能夠出現(xiàn)更多的差異化產(chǎn)品，如何在更低的功耗下獲得低延遲高精度的空間定位及優(yōu)秀的顯示效果是擺在所有VR/AR廠商面前的一道難題。

 從單目到多目SLAM全面支持，“啟明”為VR/AR帶來選擇自由

經(jīng)過多年發(fā)展，VR/AR的空間定位已經(jīng)經(jīng)歷了激光、光學(xué)、紅外、超聲波、電磁等眾多技術(shù)路徑，最終統(tǒng)一到以視覺為主的inside-out技術(shù)方案。

而在視覺定位的范疇內(nèi)，也發(fā)展出兩條不同的路徑，如VR從最開始的雙目發(fā)展到四目、五目，直到如今蘋果搭載外部12顆攝像頭+傳感器，極限堆料來實(shí)現(xiàn)高精度空間定位和MR交互、手勢交互等；另一方面，AR設(shè)備則為了更貼近輕薄的眼鏡形態(tài)和更低功耗，選擇了簡化攝像頭傳感器數(shù)量，形態(tài)從最開始的HoloLens、Magic Leap之類的頭盔式，逐漸變成現(xiàn)在以Birdbath、光波導(dǎo)為主的眼鏡形態(tài)產(chǎn)品。而為了使其在輕薄形態(tài)下還能實(shí)現(xiàn)SLAM定位、手勢識(shí)別，攝像頭傳感器的數(shù)量卻在不斷被減少，如今已經(jīng)出現(xiàn)用單目實(shí)現(xiàn)SLAM定位的AR眼鏡技術(shù)方案。

SLAM是實(shí)現(xiàn)6DoF空間定位的核心技術(shù)，也是實(shí)現(xiàn)虛實(shí)融合的核心，直接決定用戶體驗(yàn)。在此之前市場上一直沒有用于SLAM定位的國產(chǎn)專用芯片，直到今年10月耀宇視芯推出“啟明”，并宣布該芯片已經(jīng)完成所有測試，成功流片。

這是一款基于自研算法推出的協(xié)處理芯片。通過接收攝像頭、IMU等傳感器的數(shù)據(jù)，經(jīng)過計(jì)算和處理后輸出6DoF Pose，用以確定設(shè)備的定位和姿態(tài)。該款芯片不僅可以用于VR/AR頭顯、眼鏡設(shè)備的空間定位，同時(shí)還能用于自追蹤手柄和機(jī)器人視覺定位系統(tǒng)。

芯片小尺寸設(shè)計(jì)更貼合智能眼鏡輕薄化趨勢（圖源：耀宇視芯）

從性能上看，“啟明”可以提供高精度和極低延遲的6DoF Pose及優(yōu)秀的顯示渲染補(bǔ)償。其支持30-120FPS視覺定位特征提取，1000Hz 6DoF姿態(tài)的輸出，追蹤延遲小于1ms，并且不論是單目還是多目SLAM都能實(shí)現(xiàn)空間定位。

特別是在功耗控制方面，“啟明”表現(xiàn)極其優(yōu)秀。在多種典型場景測試中，“啟明”的功耗表現(xiàn)（以下功耗已包含MIPI和USB接口傳輸功耗）數(shù)據(jù)都遠(yuǎn)優(yōu)于其他方案。

在雙目定位（30FPS+1000Hz IMU）測試環(huán)境下，“啟明”的功耗約170-180mW，而作為對(duì)比，目前市場上在主控芯片DSP中跑軟件算法功耗普遍會(huì)達(dá)到600-800mW，CPU中跑軟件算法通常會(huì)達(dá)到2-3W，功耗高會(huì)帶來一連串續(xù)航、發(fā)熱問題影響實(shí)際體驗(yàn)，這也是困擾產(chǎn)品開發(fā)的重要指標(biāo)。

此外，在單目定位（30FPS+1000Hz IMU）的測試環(huán)境下，“啟明”的功耗能進(jìn)一步降低至130mW；甚至在極限低功耗單目定位（15FPS+1000Hz IMU）測試環(huán)境下，功耗僅僅100mW。

可見，相比采用CPU或DSP，使用“啟明”進(jìn)行空間定位運(yùn)算不僅能提升整個(gè)VR/AR系統(tǒng)的定位及顯示效果，還能夠極大降低VR/AR系統(tǒng)對(duì)核心處理器的資源占用及功耗。此外，一體式AR眼鏡相比VR頭顯對(duì)重量體積控制要求更高，“啟明”6.5mm×6.5mm的小封裝設(shè)計(jì)顯然也更加適應(yīng)AR眼鏡輕量化的發(fā)展趨勢。

對(duì)于VR/AR設(shè)備來說，更強(qiáng)的GPU性能、更高的能效比、更佳的6DoF追蹤水平，都有利于產(chǎn)品適應(yīng)未來AI技術(shù)不斷進(jìn)步下的大型沉浸式游戲、工業(yè)3D設(shè)計(jì)、VR教育醫(yī)療等元宇宙應(yīng)用，擺脫對(duì)外部算力終端的依賴。

而“啟明”的加入不僅提供了優(yōu)秀的6DoF技術(shù)，同時(shí)解放了VR/AR系統(tǒng)在主處理器選擇上的自由度，降低了設(shè)備品牌廠商在研發(fā)上的投入及產(chǎn)品迭代周期。用耀宇視芯的話說，“啟明”芯片“不僅可以搭配穿戴芯片實(shí)現(xiàn)極低成本，同樣也可以搭配PC芯片實(shí)現(xiàn)極致性能”。

自追蹤手柄的強(qiáng)力支撐，VR/AR交互更進(jìn)一步

除了能夠作為頭顯/眼鏡的SLAM定位重要支撐外，“啟明”也可用于自追蹤手柄定位。

Quest Pro的發(fā)布讓手柄自追蹤技術(shù)來到臺(tái)前，以往頭顯的手柄需要依靠頭顯上的攝像頭來進(jìn)行追蹤，由于容易出現(xiàn)視覺定位遮擋或者光線影響導(dǎo)致手柄漂移、丟失等不穩(wěn)定情況，所以在視覺之外往往都會(huì)配合IMU來進(jìn)行補(bǔ)償計(jì)算。手柄自追蹤通過在手柄上加入攝像頭來使其實(shí)現(xiàn)其獨(dú)立追蹤，以擺脫對(duì)頭顯的依賴。

Quest Pro每個(gè)手柄上都裝有3個(gè)攝像頭進(jìn)行追蹤

作為一種成熟且被廣泛接受的交互工具，手柄能為用戶提供精確輸入或復(fù)雜操作下的更好體驗(yàn)。不過，VR/AR廠商在手柄研發(fā)上常常面臨雙重困境。

一方面，傳統(tǒng)的手柄由于需要盡可能地增加被頭顯攝像頭捕捉的面積，所以往往體積較大，重量較重，不便于攜帶的同時(shí)長時(shí)間使用也可能會(huì)讓用戶產(chǎn)生疲勞。所以，自追蹤一方面為了提升追蹤精度，同時(shí)也承載著為用戶帶來更好的使用體驗(yàn)的設(shè)計(jì)初衷。

但另一方面，體積小、輕量化手柄相比傳統(tǒng)手柄又受到高精度追蹤的困擾。特別是當(dāng)用戶體驗(yàn)一些重交互內(nèi)容的時(shí)候，對(duì)追蹤系統(tǒng)的穩(wěn)定性和準(zhǔn)確性提出了更高的要求。其次，由于高精度的追蹤通常需要進(jìn)行更多的計(jì)算，但小型輕量化手柄往往需要通過限制傳感器的大小和數(shù)量減小體積，使得芯片選擇以及功耗管理成為輕量化手柄研發(fā)中的一個(gè)重要挑戰(zhàn)。

圖源：Meta

對(duì)于這一難題，“啟明”作為一款可以在手柄上搭載的復(fù)雜算法和高算力芯片，同樣通過高性能、低功耗的SLAM算法，減小手柄端攝像頭數(shù)量與性能負(fù)擔(dān)、大幅降低自追蹤手柄的成本，從而輕松在手柄上實(shí)現(xiàn)自定位追蹤。

據(jù)了解，“啟明”最低可以實(shí)現(xiàn)手柄上僅用1顆攝像頭來實(shí)現(xiàn)自追蹤，定位精度達(dá)到毫米級(jí)。

補(bǔ)齊安卓市場“短板”，耀宇視芯已支持?jǐn)?shù)十家VR/AR企業(yè)

蘋果Vision Pro的發(fā)布常被視為市場的一大風(fēng)向標(biāo)，可以預(yù)見的是未來眾多VR/AR終端都將朝著這個(gè)風(fēng)向標(biāo)看齊，協(xié)處理芯片也將成為其中重要的一環(huán)。

在智能手機(jī)領(lǐng)域，雖然前面經(jīng)歷了眾多系統(tǒng)百花齊放的亂戰(zhàn)時(shí)期，但最后形成的安卓與蘋果雙分天下的格局至今未變。相對(duì)于智能手機(jī)，VR/AR雖然有一部分可延續(xù)智能手機(jī)的供應(yīng)鏈和技術(shù)，但其涉及到的技術(shù)面更廣。同時(shí)，作為可穿戴產(chǎn)品，產(chǎn)品需要考量的點(diǎn)包括光學(xué)、顯示、功耗、散熱、延遲、重量、佩戴人體工學(xué)等，每一個(gè)項(xiàng)目都是技術(shù)進(jìn)步需要攻克的難關(guān)。

如今，蘋果在VR/AR領(lǐng)域以“頂配”一鳴驚人，我們也不得不承認(rèn)其與市場上現(xiàn)有產(chǎn)品拉開的技術(shù)差距。詳情參考：《蘋果MR設(shè)備Vision Pro技術(shù)解析：極限堆料下，空間計(jì)算新時(shí)代開啟》

雖然鴻溝依然存在，但令人欣慰的是，每一個(gè)底層技術(shù)板塊都在不斷往前邁進(jìn)，如單眼4K Micro-OLED顯示除了索尼之外，京東方、視涯等知名企業(yè)以及湖畔光電、宏禧科技等眾多創(chuàng)業(yè)企業(yè)都在加速研發(fā)；高性能主芯片板塊高通持續(xù)發(fā)力；SLAM、VST協(xié)處理芯片則出現(xiàn)了如耀宇視芯、萬有引力等備受期待的新星；此外，手勢識(shí)別和眼動(dòng)追蹤等其他板塊也有巨頭和創(chuàng)業(yè)企業(yè)共同在推進(jìn)。

安卓系與蘋果系取得平衡，形成良性競爭，最大化覆蓋消費(fèi)用戶，產(chǎn)業(yè)才能健康發(fā)展。

據(jù)了解，目前耀宇視芯“啟明”芯片已經(jīng)開始支持?jǐn)?shù)十家廠商進(jìn)行VR/AR眼鏡及自追蹤手柄的開發(fā)，取得了核心客戶二十萬片的意向訂單，并將于2024年2月份正式開啟批量供貨。

此外，耀宇視芯在兩年內(nèi)已經(jīng)完成了三輪融資，最近一輪于今年7月份由星納赫聯(lián)合敦鴻資產(chǎn)、弘博資本、伯藜資本等投資了數(shù)千萬元。

隨著人工智能等各領(lǐng)域技術(shù)的持續(xù)突破，將二維信息重構(gòu)遷移為空間三維信息將是未來數(shù)字化時(shí)代的核心。SLAM作為VR/AR領(lǐng)域的底層技術(shù)，其門檻降低將讓VR/AR虛實(shí)融合的體驗(yàn)加速進(jìn)入到人們的生產(chǎn)生活中。

作為國內(nèi)空間定位協(xié)處理芯片先行者的耀宇視芯，也將以“啟明”為開端，從芯片級(jí)空間計(jì)算技術(shù)出發(fā)，貼合VR/AR不同需求打造包括8K級(jí)VST、無線云分布式方案等在內(nèi)的完善芯片級(jí)方案矩陣，支持更多VR/AR設(shè)備廠商快速開發(fā)產(chǎn)品并將主要精力聚焦到產(chǎn)品的場景化、差異化、商業(yè)化，助力虛擬現(xiàn)實(shí)行業(yè)快速高效發(fā)展。