FBEC2023未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來(lái)登酒店6樓盛大召開(kāi)，本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo)，陀螺科技主辦，中國(guó)光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競(jìng)聯(lián)合主辦。

大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競(jìng)、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時(shí)代與商業(yè)熱點(diǎn)議題，探討新科技、新商業(yè)、新模式的未來(lái)價(jià)值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

主會(huì)場(chǎng)C：元生未來(lái)，共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請(qǐng)到耀宇視芯 CEO 杜逢博帶來(lái)主題為“協(xié)處理器對(duì)于AR頭顯的必要性”的精彩演講。杜逢博認(rèn)為，從交互算法到數(shù)據(jù)傳輸再到顯示渲染，協(xié)處理器將會(huì)顯著改善VR/AR設(shè)備的延遲與功耗。

以下為演講實(shí)錄：

大家，下午好！今天主要想和大家探討的是協(xié)處理器對(duì)于AR所帶來(lái)的改進(jìn)和提升。

目前XR領(lǐng)域頭部?jī)蓚€(gè)大廠，蘋果與微軟都在其產(chǎn)品中使用了協(xié)處理器。其實(shí)，微軟2016年推出的第一代HoloLens便使用了協(xié)處理器HPU，蘋果今年發(fā)布的Vision Pro則自帶了R1協(xié)處理器。兩家廠商不約而同地都將XR設(shè)備區(qū)別于傳統(tǒng)消費(fèi)電子產(chǎn)品的功能承載在協(xié)處理器上，同時(shí)也都明確提出了延遲這一參數(shù)指標(biāo)，其中微軟HoloLens的MTP可以實(shí)現(xiàn)小于1毫秒的延遲，而Vision Pro的VST則做到了小于12毫秒的延遲。

在我們看來(lái)，延遲這一參數(shù)主要取決于3個(gè)因素，一是交互算法，其中頭部空間定位主要取決于SLAM技術(shù)；二是數(shù)據(jù)傳輸；三是顯示渲染。

首先在交互算法上，對(duì)于傳統(tǒng)VR/AR一體機(jī)，尤其是AR的Expose（曝光時(shí)間）一般是3毫秒，之后圖像便會(huì)向外輸出，Readout時(shí)間約為6-7毫秒。而對(duì)于一體機(jī)來(lái)說(shuō)，圖像輸出完會(huì)進(jìn)入主芯片，在主芯片里面花費(fèi)15毫秒左右的時(shí)間，利用CPU或者是DSP處理特征提取、匹配相關(guān)的算法。最后在10毫秒左右時(shí)間內(nèi)，基于滑窗的非線性優(yōu)化或者濾波器方式解算6Dof的空間定位結(jié)果。以上整個(gè)視覺(jué)處理的延遲基本會(huì)控制在35毫秒左右。

值得注意的是，如果采用分體積方式，處理延遲還會(huì)進(jìn)一步增加至38-55毫秒左右，這取決于中間傳輸?shù)膫鬏敺绞?。在如此明顯的延遲之下，協(xié)處理器的加入將有效降低交互算法的延遲。

在協(xié)處理器輔助下，雖然曝光時(shí)間依然是3毫秒，但到了Readout階段，由于操作都是在協(xié)處理器里面的，無(wú)需緩存所有的圖像，因此只要十幾行圖像就可以進(jìn)行特征提取和匹配計(jì)算，約等于整個(gè)Readout時(shí)間結(jié)束后，SLAM算法中的特征提取和匹配算法已經(jīng)結(jié)束，特征提取和匹配操作隱藏在Readout時(shí)間內(nèi)。之后再花費(fèi)額外3毫秒時(shí)間處理基于滑窗的非線性優(yōu)化模塊解算6Dof空間定位后，便可以傳輸處理完成的空間定位結(jié)果。相比圖像數(shù)據(jù)量大幅減少，完成傳輸僅需1-2毫秒。

在有協(xié)處理器的情況下，SLAM視覺(jué)鏈路延遲會(huì)降低至13-14毫秒，這帶來(lái)最大的好處是IMU積分的時(shí)間大幅縮短，對(duì)于諸如加速度器這樣需要二次積分的傳感器來(lái)說(shuō)，不僅能提升傳輸精度，還能有效降低抖動(dòng)。

其次，顯示渲染。在一個(gè)4幀圖像的時(shí)間序列中，傳統(tǒng)的方式在Vsync 0時(shí)刻獲得最新定位結(jié)果并傳輸給GPU進(jìn)行渲染，渲染完1幀以后，經(jīng)常會(huì)用雙緩沖的方式對(duì)屏幕進(jìn)行刷新，在傳統(tǒng)的雙緩沖模式下，信息在Vsync 2時(shí)刻才能完成圖像刷新，整個(gè)過(guò)程延遲非常大，如果不做任何處理的話，幾乎無(wú)法獲得很好的效果。

因此，在渲染階段我們一般都會(huì)使用單緩沖方式，即在渲染完成后直接上屏處理，通過(guò)控制上屏?xí)r間避免畫面撕裂。但即便如此，整個(gè)延遲還是處在接近30毫秒的程度。此時(shí)，我們一般還會(huì)通過(guò)PW或者是ATW進(jìn)行補(bǔ)償，在屏幕刷新之前再次獲取最新的定位的結(jié)果，利用該結(jié)果對(duì)已經(jīng)渲染完成的圖像做一次延遲補(bǔ)償，重新輸出到屏幕。

該方式可以將延遲壓縮至十幾毫秒，卻仍舊無(wú)法達(dá)到理想的效果。因此一般我們還會(huì)在最新的Get Pose基礎(chǔ)下加入往前的位姿預(yù)測(cè)，基于IMU數(shù)據(jù)擬合往前積分，獲得未來(lái)的定位結(jié)果。

此外，還可以選擇根據(jù)歷史的運(yùn)動(dòng)數(shù)據(jù)構(gòu)建一個(gè)復(fù)雜的運(yùn)動(dòng)模型，用該模型預(yù)測(cè)未來(lái)十幾毫秒之后可能存在的定位結(jié)果，對(duì)圖像進(jìn)行補(bǔ)償。

但不可否認(rèn)的是即使預(yù)測(cè)算法再好，預(yù)測(cè)總歸是預(yù)測(cè)，總有預(yù)測(cè)不準(zhǔn)的時(shí)候。此時(shí)，協(xié)處理器的優(yōu)勢(shì)就得到了體現(xiàn)，其可以大幅降低甚至完全消除預(yù)測(cè)時(shí)間，讓整個(gè)渲染過(guò)程不需要進(jìn)行任何的預(yù)測(cè)，而是直接將實(shí)時(shí)結(jié)果傳輸至屏幕。

基于以上對(duì)延遲的考量，耀宇視芯推出了第一代協(xié)處理器“啟明”，并在典型場(chǎng)景下取得了不錯(cuò)的功耗表現(xiàn)。在視覺(jué)雙目30fps，1000Hz IMU條件下，協(xié)處理器“啟明”功耗維持在164mw左右；在雙目100fps+1000Hz IMU條件下，功耗維持在193mw左右；在VR典型場(chǎng)景下，四目30fps條件下功耗維持在200mw以內(nèi)。

總的來(lái)看，耀宇視芯第一代協(xié)處理器“啟明”會(huì)給VR/AR設(shè)備在空間定位上帶來(lái)大幅功耗及延遲的降低。歡迎各位到現(xiàn)場(chǎng)體驗(yàn)，謝謝大家！