近日，計算機(jī)視覺（手勢識別+slam）開發(fā)公司杭州凌感科技宣布和ARVR視覺模組硬件初創(chuàng)公司詮視科技進(jìn)行戰(zhàn)略合作。

凌感科技此次和詮視科技的戰(zhàn)略合作著力于VR/AR領(lǐng)域的手勢追蹤技術(shù)的結(jié)合，由凌感科技提供手勢識別的軟件算法，基于此算法，搭載了詮視視覺模組的VR/AR設(shè)備可以實現(xiàn)手部的3D骨骼識別和跟蹤。

凌感和詮視都是專攻VR/AR領(lǐng)域的技術(shù)公司，但是在技術(shù)層面上，雙方研究的方向并不相同。凌感科技專攻手勢識別/骨骼識別以及6DoF Slam技術(shù)、物體識別等。而詮視科技的優(yōu)勢在于視覺模組和頭顯頭顯設(shè)計并且已應(yīng)用于諸多VR/AR設(shè)備上。因此雙方合作后，未來采用了詮視模組的VR/AR頭顯能夠在不增加任何傳感器的前提下具有高精度手識別能力，實現(xiàn)自然、高效的交互體驗。

如今VR、AR在全球興起，初創(chuàng)公司爭相涌入市場，相比很多廠商選擇從VR/AR硬件整機(jī)入局，凌感和詮視反而都選擇了各自的垂直賽道，而這兩條賽道也在時代的大潮下出現(xiàn)了必然的交集。

“凌感將提供手勢識別軟件算法，實現(xiàn)手部的3D骨骼跟蹤和手勢識別，結(jié)合到詮視的多款硬件模組中，該模組帶有Movidius計算芯片、雙魚相機(jī)、RGB相機(jī)或TOF相機(jī)，可用于VR/AR頭顯。雙方戰(zhàn)略合作后，采用了詮視相機(jī)模組的頭顯，可以在不增加任何硬件的基礎(chǔ)上，還能獲得專業(yè)精準(zhǔn)的手勢交互能力。” uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士介紹了此次合作的細(xì)節(jié)。

凌感自2014年在硅谷成立以來，主要在視覺三維人機(jī)交互解決方案開發(fā)中進(jìn)行深入探索。同時它也是全球第一個在有線設(shè)備以及移動端中基于inside-out實現(xiàn)26自由度手勢追蹤和6DoF Slam定位的公司。

目前凌感的手勢識別算法，幾乎能夠適配所有的相機(jī)，包括深度相機(jī)、彩色相機(jī)、紅外相機(jī)、雙目相機(jī)，并且能夠?qū)崿F(xiàn)靜態(tài)和動態(tài)兩種不同的手勢識別。

在靜態(tài)手勢識別中，能實現(xiàn)超過10種以上的手勢動作，包括指向、抓取、握拳、OK、剪刀手等手勢，并且可擴(kuò)展定制，準(zhǔn)確率達(dá)到98%。 

而動態(tài)識別中，能夠?qū)崿F(xiàn)5種以上的3D動態(tài)動作，同樣支持?jǐn)U展定制，準(zhǔn)確率達(dá)到95%。 

在計算機(jī)視覺領(lǐng)域，實現(xiàn)手的三維骨骼跟蹤識別具有深遠(yuǎn)意義。早前手勢識別需要依靠TOF、結(jié)構(gòu)光等深度相機(jī)完成，對于VR/AR頭顯來說增加新的模塊，不僅意味著成本提升，也會帶來頭顯重量、體積加大，反而得不償失。

然而隨著計算機(jī)視覺算法的進(jìn)步，凌感已經(jīng)實現(xiàn)了最簡單的單目RGB相機(jī)和3D手勢骨骼識別技術(shù)，并且將這項技術(shù)應(yīng)用于多個場景，從智能手機(jī)到工業(yè)級設(shè)備。同時該技術(shù)也被推向VR/AR頭顯領(lǐng)域。例如凌感早在2016年與戴姆勒合作，基于自然手勢交互，6DOF SLAM跟蹤的Mixed Reality頭顯來實現(xiàn)新的購車體驗。凌感的手部追蹤解決方案Fingo也已經(jīng)與國內(nèi)外AR/VR類頭顯廠商進(jìn)行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，而這也是為什么凌感選擇與詮視科技合作，目的是為了加速手勢識別更快地應(yīng)用到VR/AR頭顯中。

 另一方面，詮視作為一家從事空間感知與認(rèn)知(VSLAM+AI)底層技術(shù)開發(fā)的計算機(jī)視覺公司，主要專注于向AR/VR/MR、機(jī)器人、掃地機(jī)、無人機(jī)等領(lǐng)域提供高精度位置追蹤、導(dǎo)航、避障及物體識別等高速（100fps）端處理VSLAM+AI的視覺邊緣計算平臺解決方案。

據(jù)了解，詮視科技服務(wù)的企業(yè)品牌客戶超過60家，多款品牌VR/AR設(shè)備均采用了詮視的視覺模組。去年詮視與南京睿悅Nibiru合作，嵌入Nibiru的系統(tǒng)底層中，將視覺模組融入到更多OEM/ODM的VR/AR終端中。

此次合作的考量并不只是單純的技術(shù)和算法上的結(jié)合，同時還是因為整個行業(yè)未來前景的影響。如今VR/AR頭顯都在追求更舒適的互動體驗以及精簡自由的移動設(shè)備，而手勢追蹤和SLAM定位系統(tǒng)算法明顯是會直接影響到未來VR/AR硬件產(chǎn)品的走向。 

為了保證更舒適的交互體驗，手勢追蹤最開始被應(yīng)用到了許多VR、AR設(shè)備上。盡管當(dāng)下很多硬件設(shè)備依然會配備手柄控制器，但是手勢識別將逐漸成為VR/AR設(shè)備的“基本”功能。

就VR頭顯來看，早在2014年底，F(xiàn)acebook就已經(jīng)首次表達(dá)了對VR手勢追蹤技術(shù)的興趣。此后，公司收購了Nimble VR初創(chuàng)公司，并將其四名手控跟蹤技術(shù)的資深研究員納入麾下。2019年年底，F(xiàn)acebook旗下的Oculus Quest宣布將在其硬件上開放手勢追蹤功能。在Oculus Quest之前，手勢識別實際上已經(jīng)成為了AR眼鏡中最基本的交互方式，而VR上Vive Focus等設(shè)備也都開啟了嘗試。

除此之外，2017年谷歌也發(fā)布了手勢識別芯片Project Soli。無論是HoloLens、谷歌還是蘋果和Facebook，都在這一技術(shù)領(lǐng)域著重開發(fā)?？梢钥闯觯謩葑粉櫴切袠I(yè)大頭目光所指，也意味著未來硬件迭代的方向。

無論是從PC VR和連接手機(jī)的AR眼鏡到VR、AR一體機(jī)，去繁就簡是VR/AR硬件設(shè)備的大勢所趨。因此，在提高VR設(shè)備便捷度的同時，無疑要思考去掉冗雜的部分，精簡整個硬件交互流程。而手勢識別最大的優(yōu)勢給用戶提供了一種最自然的交互方式。因此，在硬件迭代的角度來看，手勢追蹤無疑是所有廠商都在思考的一個技術(shù)迭代方向。

VR/AR設(shè)備是極其追求用戶體驗的產(chǎn)品。相比手柄，當(dāng)自己的雙手能夠在虛擬世界實現(xiàn)即時互動反饋，在游戲、工業(yè)、醫(yī)療等場景中，交互會更加自然以及更加真實。因此，手勢追蹤除了在硬件迭代精簡道路上必不可少，在升級虛擬現(xiàn)實體驗的過程中也是重要的一環(huán)。

凌感和詮視強(qiáng)強(qiáng)合作，將手勢識別技術(shù)融合到視覺模組中，不僅能加速手勢識別技術(shù)在VR/AR頭顯中的應(yīng)用，同時能為硬件公司降低研發(fā)成本。

目前inside-out定位已經(jīng)成為VR/AR硬件最主流的技術(shù)方案，不論是Oculus Quest、Vive Focus、Vive Cosmos等VR設(shè)備，還是微軟、聯(lián)想、Magic Leap等AR設(shè)備，都采用了inside-out追蹤，并且成為其中標(biāo)配功能，而這也將成為手勢識別功能實現(xiàn)的硬件條件。

不過目前手勢識別功能在VR、AR上并未普及，雖然實現(xiàn)簡單的手勢識別并不難，但如果要在普通的2D灰度或者RGB攝像頭上實現(xiàn)高精度的3D手勢識別和骨骼識別，對于許多硬件團(tuán)隊來說，需要投入非常多的人力進(jìn)行研發(fā)。即便是科技巨頭，很多技術(shù)也并不會親力親為，反而會選擇收購專業(yè)的技術(shù)團(tuán)隊或者外部團(tuán)隊合作，抱團(tuán)趨勢非常明顯。 

擁有雄厚資金和龐大技術(shù)實力的巨頭尚且如此，對于創(chuàng)業(yè)企業(yè)來說，所有VR、AR硬件中涉及的技術(shù)全部自行研發(fā)幾乎不可能，所以整合市場已有技術(shù)，在自己擅長的領(lǐng)域深耕是更明智的方式。

凌感與詮視合作，不僅能夠降低硬件企業(yè)的研發(fā)成本，同時，也將有效推動手勢識別技術(shù)在VR/AR設(shè)備上的應(yīng)用，為開發(fā)團(tuán)隊和用戶提供更多的交互選擇。

  第一時間了解XR資訊  

  關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）