隨著VR行業(yè)技術(shù)升級(jí)，更自然的交互方式也隨之而來，自然手勢(shì)識(shí)別追蹤技術(shù)憑借更符合人真實(shí)操作習(xí)慣受到ToB和ToC的關(guān)注。而手勢(shì)識(shí)別技術(shù)的升級(jí)也能方便打通上下游關(guān)系，加大內(nèi)容開發(fā)者創(chuàng)作空間，增加游戲趣味性使其交互方式得到更大提升。

由趣立研發(fā)的6DoF一體機(jī)解決方案“騏驥”中已經(jīng)搭載最新的自然手勢(shì)識(shí)別系統(tǒng)，合作方可在系統(tǒng)中直接去調(diào)用此模塊最終完成自然手勢(shì)的識(shí)別任務(wù)。趣立科技也成為國(guó)內(nèi)VR行業(yè)少有擁有自然手勢(shì)識(shí)別產(chǎn)品化方案的公司，而全球目前也僅有Quest擁有該項(xiàng)技術(shù)。

圖1:騏驥設(shè)備下的自然手勢(shì)玩音游

基礎(chǔ)技術(shù)原理

【自然手勢(shì)識(shí)別】是基于計(jì)算機(jī)視覺和人工智能算法，對(duì)攝像機(jī)采集到的圖像中用戶手部區(qū)域進(jìn)行檢測(cè)和對(duì)其姿態(tài)進(jìn)行估計(jì)，從而得到全自由度自然手勢(shì)跟蹤的技術(shù)。 通俗地可對(duì)其拆分為3個(gè)步驟：第一要解決手在什么位置；第二、解決手是何種姿態(tài)；第三、識(shí)別手在做什么？前面兩項(xiàng)很多時(shí)候是放在一起做姿態(tài)預(yù)估，最后對(duì)動(dòng)、靜態(tài)手勢(shì)做時(shí)間序列劃分，并完成最終的指令實(shí)現(xiàn)。

圖2:“騏驥”-靜態(tài)手勢(shì)

從硬件來說，目前市面上常見的手勢(shì)識(shí)別方案中所采用的檢測(cè)設(shè)備大致分為四類：純紅外攝像機(jī)、灰度攝像機(jī)、RGB攝像機(jī)及深度攝像機(jī)。

各方案都有比較明顯的優(yōu)劣勢(shì)，比如深度攝像機(jī)雖然可以根據(jù)深度信息較其他方法更簡(jiǎn)單的獲取手部區(qū)域的位置和形狀，但FOV很小、幀率很低、成本高、功耗較大，而且目前VR一體機(jī)的現(xiàn)狀，手勢(shì)識(shí)別與SLAM的攝像頭需要做復(fù)用，而深度攝像頭很難拿來做SLAM算法，所以目前在XR的領(lǐng)域應(yīng)用場(chǎng)景中會(huì)有局限性。

紅外攝像機(jī)的原理是將模塊內(nèi)置紅外LED光源，光線反射回手勢(shì)識(shí)別模塊的紅外攝像頭中，實(shí)現(xiàn)基于光學(xué)數(shù)據(jù)的手勢(shì)識(shí)別。由于使用主動(dòng)光源，所以它的環(huán)境適應(yīng)性好，也比較容易能檢測(cè)到手部區(qū)域，但是它同時(shí)會(huì)加大功耗，尤其是伴隨對(duì)手部使用范圍的增大，需要更多數(shù)量和更大功耗的紅外光，這對(duì)整體的ID設(shè)計(jì)以及成本都是非常大的挑戰(zhàn)。此方案比較知名的則是Leap Motion。

針對(duì)灰度相機(jī)與RGB相機(jī)的方案，RGB相機(jī)由于能更好地將手和環(huán)境用顏色進(jìn)行區(qū)分所以具備較好的識(shí)別作用，但同樣也有FOV較小、幀率較低的問題。而灰度相機(jī)優(yōu)勢(shì)是FOV比較大、幀率高、覆蓋范圍大、適應(yīng)性強(qiáng)、且成本相對(duì)可控，缺點(diǎn)則是難度系數(shù)較高，因?yàn)樵诤诎谆业氖澜缰?，將手和?fù)雜的環(huán)境背景準(zhǔn)確快地剝離開，需要在算法方面下足功夫。

而趣立科技新的6DoF解決方案“騏驥”中，融合的則是根據(jù)現(xiàn)有一體機(jī)的灰度攝像頭進(jìn)行復(fù)用的方式。趣立科技依附集團(tuán)影創(chuàng)科技大背景，在算法實(shí)現(xiàn)上具有多年的經(jīng)驗(yàn)積累和沉淀。

圖3騏驥設(shè)備的自然手勢(shì)識(shí)別操作

此項(xiàng)手勢(shì)識(shí)別技術(shù)算法經(jīng)多期打磨調(diào)整，目前已達(dá)到通用狀態(tài)，算法框架可適用于任何的攝像機(jī)設(shè)備中，在未來產(chǎn)品中，新一代的VR一體機(jī)解決方案可能采用彩色RGB攝像機(jī)和灰度攝像機(jī)的搭配（彩色負(fù)責(zé)透視、灰度負(fù)責(zé)6DoF追蹤）。而自然手勢(shì)識(shí)別本質(zhì)依舊會(huì)采用基于6DoF的灰度攝像頭為主，彩色攝像頭作為輔助在識(shí)別過程中對(duì)手在與環(huán)境剝離時(shí)的精度進(jìn)行補(bǔ)充。

整個(gè)手勢(shì)識(shí)別技術(shù)比較難的是，手與面部、人體的識(shí)別不同，因?yàn)槭植繌?fù)雜度相對(duì)比較高、自遮擋嚴(yán)重，手部可以非?？斓囊苿?dòng)并且外觀可以在幾幀內(nèi)大幅變化。而目前“騏驥”解決方案中能做到準(zhǔn)確性高、低延遲是因?yàn)橐揽考瘓F(tuán)所屬搭建自研的數(shù)據(jù)深層采集和標(biāo)注平臺(tái)，基于平臺(tái)有非常多的參考數(shù)據(jù)，同時(shí)在深度模型的序列方面有自研成果，并沉淀了6年多的技術(shù)積累及龐大的數(shù)據(jù)參考值。

未來應(yīng)用場(chǎng)景

【C端互動(dòng)娛樂】

手勢(shì)識(shí)別技術(shù)的發(fā)展能夠更好地拓寬內(nèi)容開發(fā)者的想象空間，在內(nèi)容創(chuàng)作時(shí)增加多重玩法及交互體驗(yàn)，比如在玩音游的時(shí)候可以直接用手來操作，或是在RPG游戲中一個(gè)特定手勢(shì)就可以實(shí)現(xiàn)魔法攻擊，甚至在未來一組手勢(shì)也能夠完成“火影忍者”里的結(jié)印。

【B端教育辦公】

B端的應(yīng)用場(chǎng)景則更廣泛。在智能辦公方面，隨著VR設(shè)備逐漸向辦公工具靠攏，自然手勢(shì)識(shí)別能更好地通過特定的放大縮小拖拽等手勢(shì)，完成匯報(bào)方案演講的展示，實(shí)現(xiàn)真正意義上的便攜式辦公環(huán)境；而教育教學(xué)中，也可更好的直接用手部識(shí)別技術(shù)完成教學(xué)課件的拆裝、組合等要求，更便捷有效地完成操作互動(dòng)，相信未來隨著自然手勢(shì)識(shí)別的更進(jìn)一步發(fā)展，定能催生更多的應(yīng)用場(chǎng)景，同時(shí)還可以根據(jù)不同需求，量身定制專屬的解決方案。

未來趣立科技將融合影創(chuàng)總部多方資源，逐漸在其原有解決方案中集成更多的前驅(qū)技術(shù)，更好地服務(wù)上下游合作方，為其提供全方位綜合技術(shù)支持。

*聲明：企業(yè)通稿非VR陀螺官方稿，法律問題一律與VR陀螺無關(guān)。