“Rokid目前能為開發(fā)者提供哪些技術(shù)支持？”

“Rokid Air為什么能做到這么輕？采用的光學(xué)方案是什么？”

“用一顆RGB攝像頭實(shí)現(xiàn)SLAM+手勢交互，如何解決識別深度問題？”

“Rokid的空間定位技術(shù)能支持做3D導(dǎo)航嗎？”

……?

圖：開發(fā)者們在體驗(yàn)區(qū)流連忘返

 打破開發(fā)者創(chuàng)作“瓶頸”

XR內(nèi)容編輯器發(fā)布 

隨著XR行業(yè)逐漸進(jìn)入爆發(fā)期，應(yīng)用場景不斷深入，市場也需要進(jìn)一步提升內(nèi)容開發(fā)效率，降低開發(fā)門檻。Cocos XR技術(shù)總監(jiān)王慶利向大家介紹了目前XR行業(yè)所普遍面臨的痛點(diǎn)，如高分辨率帶來的高運(yùn)行壓力、透鏡畸變、眩暈問題、定位的穩(wěn)定性與實(shí)時(shí)性等。針對這些痛點(diǎn)， Cocos率先推出了XR內(nèi)容一站式解決方案，即基于Creator編輯器的XR拓展套件，旨在降低XR開發(fā)技術(shù)門檻，并通過自身的高兼容性抹平不同設(shè)備與平臺之間的差異，助力優(yōu)秀內(nèi)容的多平臺分發(fā)與成長。

圖：Cocos XR技術(shù)總監(jiān)王慶利

Cocos XR產(chǎn)品經(jīng)理翟昊宸認(rèn)為：“存量項(xiàng)目快速轉(zhuǎn)化、多平臺適配、網(wǎng)頁端快速預(yù)覽、圖形后端智能化是 Cocos CreatorXR的四大特性優(yōu)勢。”

圖：Cocos XR產(chǎn)品經(jīng)理翟昊宸

值得一提的是，Cocos CreatorXR還全面集成了Rokid Air的內(nèi)容開發(fā)環(huán)境，即 Cocos開發(fā)者無需其它SDK，就能將構(gòu)建好的數(shù)字內(nèi)容輕松發(fā)布到Rokid Air上運(yùn)行。目前，基于 Cocos CreatorXR的開發(fā)AR游戲《幽靈射手》XR版已經(jīng)正式登陸Rokid Air應(yīng)用商店，全新的游戲界面和交互體驗(yàn)受到了眾多用戶的歡迎，一度霸榜Rokid Air應(yīng)用商店。

開放硬核視聽和交互技術(shù)

助開發(fā)者“躍升”

當(dāng)下的XR生態(tài)內(nèi)容仍然以輕量應(yīng)用為主，但能夠支持更自然的交互體驗(yàn)，更具開放性、社交屬性，能提供更多價(jià)值的XR應(yīng)用將是必然發(fā)展趨勢。

開發(fā)者如何從輕量應(yīng)用實(shí)現(xiàn)躍升，打造出更加精品的應(yīng)用？Rokid AR軟件研發(fā)負(fù)責(zé)人楊劍、應(yīng)用平臺產(chǎn)品負(fù)責(zé)人朱雷分享了Rokid在數(shù)字人、3D內(nèi)容創(chuàng)作、空間協(xié)同、視聽交互、手勢交互等方面為開發(fā)者帶來的硬核技術(shù)支持。

在朱雷看來，Rokid更關(guān)注的是如何將真實(shí)世界與虛擬世界融合,因此在底層技術(shù)上，也更關(guān)注感知、理解、協(xié)同、展現(xiàn)、數(shù)字資產(chǎn)五個(gè)方面的能力。圍繞這五個(gè)層面，Rokid有著自己的思考和探索。其中，在XR互動(dòng)技術(shù)方面，Rokid就通過6DoF空間聲場、視覺感知算法、實(shí)時(shí)音視頻等方面的技術(shù)能力，助力XR開發(fā)者打造全新的視聽體驗(yàn)。

圖：Rokid應(yīng)用平臺產(chǎn)品負(fù)責(zé)人朱雷

在視覺方面，Rokid推出了包括物體識別、手勢交互、視覺定位等技術(shù)的視覺感知端云一體的PaaS平臺?？梢酝ㄟ^“視覺定位+語音+手勢交互”的強(qiáng)強(qiáng)組合，支持開發(fā)者在文旅展陳、數(shù)字展廳、娛樂等方面突破物理空間限制，打造出能夠?qū)崿F(xiàn)移步換景等更具互動(dòng)體驗(yàn)的應(yīng)用。“目前，這一能力已被運(yùn)用到釘釘在2022秋季釘峰會上發(fā)布的AR數(shù)字展廳解決方案中，并且首個(gè)企業(yè)AR數(shù)字展廳也已在釘釘園區(qū)展廳落地。”

在聽覺方面，“Rokid自研6DoF空間聲場技術(shù)，采用了 HRTF和 3D空間處理技術(shù)，以及針對距離的EQ補(bǔ)償技術(shù)，渲染出因空間位置變化和遮擋帶來的聲音空間感的變化，為人耳帶來更真實(shí)的聽覺體驗(yàn)。這一能力已集成SDK對外開放，支持開發(fā)者在游戲、娛樂影音等應(yīng)用中打造更具沉浸感的聲音體驗(yàn)。”

楊劍則分享了Rokid自研的YodaOS-XR操作系統(tǒng)、基于Air/Air Pro眼鏡的UXR SDK，以及全新升級的Rokid自研多人在線協(xié)同應(yīng)用MSpace，并正式對外發(fā)布3D內(nèi)容創(chuàng)作平臺 -MStudio，邀請開發(fā)者一同共建MSpace生態(tài)。

“Rokid自研的YodaOS-XR操作系統(tǒng)，涵蓋了Rokid硬件和軟件的能力。系統(tǒng)基于傳統(tǒng)的OS作為底層，在這之上構(gòu)建了較為完善的感知系統(tǒng)、理解系統(tǒng)和展現(xiàn)系統(tǒng)，包含了對應(yīng)的AI和AR能力、XR云服務(wù)以及多個(gè)服務(wù)和引擎，如百靈鳥語音服務(wù)，空間引擎和數(shù)字人引擎。同時(shí)，也為開發(fā)者提供了大量平臺SDK和基礎(chǔ)SDK，并支持OpenXR標(biāo)準(zhǔn)，可以進(jìn)一步降低開發(fā)者開發(fā)門檻。”

圖：Rokid AR軟件研發(fā)負(fù)責(zé)人楊劍

除了系統(tǒng)層的支持，楊劍表示，基于Rokid Air/Air Pro眼鏡等硬件設(shè)備，Rokid還為開發(fā)者提供了UXR SDK，支持雙目立體渲染、3DoF的頭部追蹤，以及多模態(tài)的交互。其中，交互方式可使用按鍵觸屏、頭控、手勢、語音、鼠標(biāo)、游戲手柄、虛擬手柄等；離線語音識別則支持中/英文指令；手勢識別支持4種2D手勢類型，以及21個(gè)關(guān)鍵點(diǎn)信息，支持左右手識別，并且內(nèi)置了三種虛擬手柄類型可控切換。

“MSpace集成了數(shù)字人、空間協(xié)同等技術(shù)能力，其中數(shù)字人采用實(shí)時(shí)音頻驅(qū)動(dòng)，可以支持捏臉換裝；空間協(xié)同則實(shí)現(xiàn)了低延時(shí)多人同步，支持模型互動(dòng)、數(shù)字人表情和動(dòng)作與真人實(shí)時(shí)同步等，這些能力都將通過SDK的方式提供給行業(yè)開發(fā)者，助力開發(fā)者突破行業(yè)技術(shù)難題，快速構(gòu)建AR空間協(xié)同應(yīng)用。MStudio作為3D內(nèi)容創(chuàng)作平臺，可以為開發(fā)者提供在線3D模型。”

空間站計(jì)劃+開發(fā)大賽雙重賦能

打造開發(fā)者的“高光時(shí)刻”

XR 生態(tài)的構(gòu)建還離不開工具方、設(shè)備方、內(nèi)容平臺方以及各位開發(fā)者的共同努力，Rokid與Cocos也正在通過各種方式降低開發(fā)者的開發(fā)成本、獲得更高回報(bào)。Cocos生態(tài)總監(jiān)大表姐介紹道，在打造XR開發(fā)工具鏈之外，Cocos還為開發(fā)者準(zhǔn)備了大量教程和演示項(xiàng)目：“比如由我們XR團(tuán)隊(duì)基于 Cocos CreatorXR開發(fā)的《幽靈射手》XR版，后期也將開源給大家。”

圖：Cocos生態(tài)總監(jiān)大表姐

同時(shí)，網(wǎng)易智企CEO助理、游戲解決方案架構(gòu)負(fù)責(zé)人沈喬治還從扶持政策、運(yùn)營策略方面進(jìn)行了分享。

圖：網(wǎng)易智企CEO助理、游戲解決方案架構(gòu)負(fù)責(zé)人沈喬治

Rokid生態(tài)拓展負(fù)責(zé)人冉旭則表示：“Rokid為開發(fā)者們量身打造的‘若琪空間站‘開發(fā)者助力計(jì)劃，我們將在硬件設(shè)備、算法能力、開發(fā)支持、市場推廣等方面為開發(fā)者提供助力，同時(shí)聯(lián)合多個(gè)行業(yè)頭部企業(yè)與VC成立10億人民幣規(guī)模的生態(tài)智投聯(lián)盟，對優(yōu)秀的開發(fā)者直接投資，極大推動(dòng)了XR生態(tài)發(fā)展。”

圖：Rokid生態(tài)拓展負(fù)責(zé)人冉旭

在大力扶持開發(fā)者的同時(shí)，Rokid還在前不久正式啟動(dòng)首屆全球 AR 應(yīng)用開發(fā)大賽。大賽將通過豐富的獎(jiǎng)項(xiàng)設(shè)置、資源和商機(jī)支持等，鼓勵(lì)更多開發(fā)者基于 Rokid 的開放能力與平臺服務(wù)、Cocos 3D 引擎和聲網(wǎng) RTE 服務(wù)，創(chuàng)造更多優(yōu)秀的 XR 應(yīng)用與游戲，實(shí)現(xiàn)技術(shù)、產(chǎn)品與商業(yè)創(chuàng)新，為全球用戶帶來更豐富、優(yōu)質(zhì)、新奇的 XR 體驗(yàn)，進(jìn)一步加速 XR 行業(yè)生態(tài)繁榮。

繁榮的XR 生態(tài)不僅需要優(yōu)秀的硬件和底層技術(shù)支持，更需要豐富多彩的內(nèi)容和應(yīng)用。而與行業(yè)對內(nèi)容和應(yīng)用強(qiáng)需求相對應(yīng)的是開發(fā)者仍然屬于“少數(shù)派”，巨大的“供需差”讓開發(fā)者們迎來了“黃金時(shí)期”。如何讓開發(fā)者低門檻地加入到XR生態(tài)構(gòu)建中，抓住“黃金時(shí)期”的機(jī)遇，不僅是Rokid目標(biāo)所在，更是行業(yè)發(fā)展的必然之路！

*聲明：企業(yè)通稿非VR陀螺官方稿，法律問題一切與VR陀螺無關(guān)。