今日,國內(nèi)VR品牌廠商NOLO發(fā)布了其最新定位技術(shù)StarTraq+ NOLO M2交互手柄方案。據(jù)悉,StarTraq是由NOLO自主研發(fā),采用高精度4目視覺追蹤+高精度慣性測量方案,可實現(xiàn)房間級/線下大空間6DoF的Inside-out空間定位技術(shù)。通過AI算法模塊加持和機器深度學(xué)習(xí),StarTraq在追蹤精度上可達到定位準(zhǔn)確度1mm,定位延時<5ms。同時NOLO M2手柄可廣泛適配于VR一體機、VR分體機、AR眼鏡等多種XR產(chǎn)品形態(tài)。
交互手柄參數(shù)列表
高環(huán)境適應(yīng)性,高魯棒性,抗強光
眾所周知,VR 行業(yè)核心技術(shù)之一便是頭部與手部的 6DoF追蹤定位。關(guān)于StarTraq方案攻克的難點,NOLO的技術(shù)負責(zé)人表示,隨著VR設(shè)備的越來越輕便,大量用戶愿意將其攜帶到室外使用,但目前市面上多數(shù)計算機視覺定位的VR設(shè)備在強光環(huán)境下都會遇到定位失效的問題,用戶使用效果大打折扣。
為了解決強光直射定位丟失的問題,NOLO采用高精度4目視覺追蹤+高精度慣性測量方案,通過AI算法模塊加持突破了強太陽光照射場景下的視覺追蹤難題。同時利用深度學(xué)習(xí)技術(shù)識別圖像中特定的物體,結(jié)合運動物體的先驗知識,可更好的去除潛在的動態(tài)區(qū)域,以保障用戶即使在強光照射環(huán)境下也可正常使用設(shè)備。
水平250°,豎直210°超大FOV,快速初始化
日常用戶使用中,另一個常見問題為:當(dāng)手柄移出定位范圍后很容易丟失,一旦丟失回正的速度慢會導(dǎo)致延遲明顯。
針對這個問題,NOLO技術(shù)負責(zé)人表示:定位追蹤從技術(shù)上分為定位初始化階段和追蹤維持階段。目前雙目完成定位初始化,單目維持追蹤是主流的視覺定位方案。NOLO突破了單目視覺定位即可完成初始化的瓶頸,四顆Camera使手柄被定位FOV達到了水平250°,豎直210°。當(dāng)手柄完全超出視覺傳感器的覆蓋范圍時,NOLO充分利用慣性測量+基于人體臂肘關(guān)節(jié)追蹤的運動預(yù)測,以保證手柄定位的長時穩(wěn)定流暢追蹤。
如果用戶在手柄超出定位FOV后,再次重新進入,得益于視覺和慣導(dǎo)定位以及NOLO對用戶使用行為習(xí)慣進行了大量的建模分析,可保證回正時間在毫秒級,即用戶基本無法感知到該部分的延遲。
多平臺兼容、多產(chǎn)品適配、支持大空間定位
經(jīng)深度優(yōu)化,StarTraq具有良好的跨平臺可移植性,除了支持傳統(tǒng)的Qualcomm平臺外,還可應(yīng)用于Rockchip等算力平臺,適配Android、Windows、Linux等各種操作系統(tǒng)。交互手柄NOLO M2可適配VR一體機、VR分體機、AR眼鏡等各種XR產(chǎn)品形態(tài)。同時,通過對無線通信進行了深度定制優(yōu)化,自動感知WiFi干擾自適應(yīng)跳頻,NOLO M2手柄支持大空間多人同時使用6DoF交互。
多平臺、多產(chǎn)品適配
與StarTraq同步推出的 NOLO M2手柄除了搭載StarTraq定位技術(shù),擁有出色的定位精度和極低的延遲外,手柄還可實現(xiàn)五指識別功能,即通過壓力傳感器識別手指運動,AI算法可在VR中準(zhǔn)確模擬手部動作,為用戶提供完整的五指識別體驗。作為NOLO推出的手柄方案,NOLO M2交互手柄擁有更廣的有效頻寬,振感更加細膩逼真。自研的音頻轉(zhuǎn)震動算法,可以使開發(fā)者更方便地在游戲中調(diào)校觸覺反饋的功能,讓用戶可以享受到更多場景更豐富的振感效果。
方案展示
得益于NOLO多年在XR交互領(lǐng)域的積累,StarTraq+NOLO M2手柄還開放支持對頭顯攝像頭布局SDK的調(diào)整,以便于更好的滿足客戶的功能定制和工業(yè)設(shè)計需求,幫助客戶快速推出整機產(chǎn)品。
作為以XR交互核心技術(shù)起家的NOLO,一直將給用戶提供多樣化的交互方案作為研究重點,從外向內(nèi)的PolarTraq到內(nèi)向外的 SodarTraq,到裸手自然交互,再到今天推出的StarTraq技術(shù)。無一不見證了NOLO持續(xù)以用戶需求為準(zhǔn)則,不斷為客戶帶來更沉浸逼真VR體驗的初心。
*聲明:企業(yè)通稿非VR陀螺官方稿,法律問題一切與VR陀螺無關(guān)。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息