FBEC2023未來商業(yè)生態(tài)鏈接大會暨第八屆金陀螺獎于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會由廣東省游戲產(chǎn)業(yè)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導(dǎo)，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競聯(lián)合主辦。

大會以“合力共生·韌者行遠(yuǎn)”為大會主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時(shí)代與商業(yè)熱點(diǎn)議題，探討新科技、新商業(yè)、新模式的未來價(jià)值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

主會場C：元生未來，共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請到耀宇視芯 CEO 杜逢博帶來主題為“協(xié)處理器對于AR頭顯的必要性”的精彩演講。杜逢博認(rèn)為，從交互算法到數(shù)據(jù)傳輸再到顯示渲染，協(xié)處理器將會顯著改善VR/AR設(shè)備的延遲與功耗。

以下為演講實(shí)錄：

大家，下午好！今天主要想和大家探討的是協(xié)處理器對于AR所帶來的改進(jìn)和提升。

目前XR領(lǐng)域頭部兩個大廠，蘋果與微軟都在其產(chǎn)品中使用了協(xié)處理器。其實(shí)，微軟2016年推出的第一代HoloLens便使用了協(xié)處理器HPU，蘋果今年發(fā)布的Vision Pro則自帶了R1協(xié)處理器。兩家廠商不約而同地都將XR設(shè)備區(qū)別于傳統(tǒng)消費(fèi)電子產(chǎn)品的功能承載在協(xié)處理器上，同時(shí)也都明確提出了延遲這一參數(shù)指標(biāo)，其中微軟HoloLens的MTP可以實(shí)現(xiàn)小于1毫秒的延遲，而Vision Pro的VST則做到了小于12毫秒的延遲。

在我們看來，延遲這一參數(shù)主要取決于3個因素，一是交互算法，其中頭部空間定位主要取決于SLAM技術(shù)；二是數(shù)據(jù)傳輸；三是顯示渲染。

首先在交互算法上，對于傳統(tǒng)VR/AR一體機(jī)，尤其是AR的Expose（曝光時(shí)間）一般是3毫秒，之后圖像便會向外輸出，Readout時(shí)間約為6-7毫秒。而對于一體機(jī)來說，圖像輸出完會進(jìn)入主芯片，在主芯片里面花費(fèi)15毫秒左右的時(shí)間，利用CPU或者是DSP處理特征提取、匹配相關(guān)的算法。最后在10毫秒左右時(shí)間內(nèi)，基于滑窗的非線性優(yōu)化或者濾波器方式解算6Dof的空間定位結(jié)果。以上整個視覺處理的延遲基本會控制在35毫秒左右。

值得注意的是，如果采用分體積方式，處理延遲還會進(jìn)一步增加至38-55毫秒左右，這取決于中間傳輸?shù)膫鬏敺绞?。在如此明顯的延遲之下，協(xié)處理器的加入將有效降低交互算法的延遲。

在協(xié)處理器輔助下，雖然曝光時(shí)間依然是3毫秒，但到了Readout階段，由于操作都是在協(xié)處理器里面的，無需緩存所有的圖像，因此只要十幾行圖像就可以進(jìn)行特征提取和匹配計(jì)算，約等于整個Readout時(shí)間結(jié)束后，SLAM算法中的特征提取和匹配算法已經(jīng)結(jié)束，特征提取和匹配操作隱藏在Readout時(shí)間內(nèi)。之后再花費(fèi)額外3毫秒時(shí)間處理基于滑窗的非線性優(yōu)化模塊解算6Dof空間定位后，便可以傳輸處理完成的空間定位結(jié)果。相比圖像數(shù)據(jù)量大幅減少，完成傳輸僅需1-2毫秒。

在有協(xié)處理器的情況下，SLAM視覺鏈路延遲會降低至13-14毫秒，這帶來最大的好處是IMU積分的時(shí)間大幅縮短，對于諸如加速度器這樣需要二次積分的傳感器來說，不僅能提升傳輸精度，還能有效降低抖動。

其次，顯示渲染。在一個4幀圖像的時(shí)間序列中，傳統(tǒng)的方式在Vsync 0時(shí)刻獲得最新定位結(jié)果并傳輸給GPU進(jìn)行渲染，渲染完1幀以后，經(jīng)常會用雙緩沖的方式對屏幕進(jìn)行刷新，在傳統(tǒng)的雙緩沖模式下，信息在Vsync 2時(shí)刻才能完成圖像刷新，整個過程延遲非常大，如果不做任何處理的話，幾乎無法獲得很好的效果。

因此，在渲染階段我們一般都會使用單緩沖方式，即在渲染完成后直接上屏處理，通過控制上屏?xí)r間避免畫面撕裂。但即便如此，整個延遲還是處在接近30毫秒的程度。此時(shí)，我們一般還會通過PW或者是ATW進(jìn)行補(bǔ)償，在屏幕刷新之前再次獲取最新的定位的結(jié)果，利用該結(jié)果對已經(jīng)渲染完成的圖像做一次延遲補(bǔ)償，重新輸出到屏幕。

該方式可以將延遲壓縮至十幾毫秒，卻仍舊無法達(dá)到理想的效果。因此一般我們還會在最新的Get Pose基礎(chǔ)下加入往前的位姿預(yù)測，基于IMU數(shù)據(jù)擬合往前積分，獲得未來的定位結(jié)果。

此外，還可以選擇根據(jù)歷史的運(yùn)動數(shù)據(jù)構(gòu)建一個復(fù)雜的運(yùn)動模型，用該模型預(yù)測未來十幾毫秒之后可能存在的定位結(jié)果，對圖像進(jìn)行補(bǔ)償。

但不可否認(rèn)的是即使預(yù)測算法再好，預(yù)測總歸是預(yù)測，總有預(yù)測不準(zhǔn)的時(shí)候。此時(shí)，協(xié)處理器的優(yōu)勢就得到了體現(xiàn)，其可以大幅降低甚至完全消除預(yù)測時(shí)間，讓整個渲染過程不需要進(jìn)行任何的預(yù)測，而是直接將實(shí)時(shí)結(jié)果傳輸至屏幕。

基于以上對延遲的考量，耀宇視芯推出了第一代協(xié)處理器“啟明”，并在典型場景下取得了不錯的功耗表現(xiàn)。在視覺雙目30fps，1000Hz IMU條件下，協(xié)處理器“啟明”功耗維持在164mw左右；在雙目100fps+1000Hz IMU條件下，功耗維持在193mw左右；在VR典型場景下，四目30fps條件下功耗維持在200mw以內(nèi)。

總的來看，耀宇視芯第一代協(xié)處理器“啟明”會給VR/AR設(shè)備在空間定位上帶來大幅功耗及延遲的降低。歡迎各位到現(xiàn)場體驗(yàn)，謝謝大家！