都說(shuō)手勢(shì)和語(yǔ)音識(shí)別是最自然的交互方式，未來(lái)將成為主流。 且不說(shuō)語(yǔ)音識(shí)別，至少在手勢(shì)交互這一塊，目前還存在比較大的局限性。而很多人對(duì)于這一技術(shù)的應(yīng)用場(chǎng)景也比較迷茫。 近日，uSens凌感發(fā)布了新的Fingo SDK，可以實(shí)現(xiàn)一系列雙手交互動(dòng)作，如握拳、手心寫字、十指交叉等，為手勢(shì)識(shí)別的應(yīng)用帶來(lái)了新的可能。借此機(jī)會(huì)，我們和凌感聊了一下這項(xiàng)技術(shù)的應(yīng)用場(chǎng)景。 進(jìn)化的手勢(shì)識(shí)別：支持雙手交疊 26DOF、60幀，幾乎成為了手勢(shì)識(shí)別技術(shù)的標(biāo)配，要實(shí)現(xiàn)已經(jīng)不是難題。而更難的是，如何在虛擬世界中完全重現(xiàn)現(xiàn)實(shí)中雙手的動(dòng)作。由于手勢(shì)識(shí)別使用紅外方案居多，在雙手重疊、被遮擋或者使用復(fù)雜的手勢(shì)的情況下，往往不能通過(guò)攝像頭準(zhǔn)確識(shí)別出來(lái)，需要算法來(lái)彌補(bǔ)。 人的手部動(dòng)作靈活復(fù)雜，不僅有直接可見(jiàn)的清晰手型，也有握拳、手指交叉、左右手交疊等等對(duì)關(guān)節(jié)點(diǎn)有大幅遮擋的動(dòng)作，這些遮擋的部分如何精準(zhǔn)識(shí)別成為判斷手部追蹤技術(shù)的一個(gè)關(guān)鍵指標(biāo)。 uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士介紹：“我們的手部追蹤指的是實(shí)現(xiàn)雙手的自然交互，不是識(shí)別幾種固定的手勢(shì)，也不是跟蹤五個(gè)指尖，而是通過(guò)對(duì)手部26個(gè)自由度的追蹤，通過(guò)深度學(xué)習(xí)等算法，對(duì)手部骨骼進(jìn)行識(shí)別。人是主動(dòng)性的，不是被動(dòng)的受限交互，這就不可避免的出現(xiàn)大家生活中常用的雙手交互的動(dòng)作，比如鼓掌、握手、雙手交叉換位等。為了給用戶創(chuàng)造自然沉浸的三維交互體驗(yàn)，我們認(rèn)為這部分雖然難度高，但有必要突破，其他方案目前還沒(méi)有涉及這部分，或者效果不佳。我們先行啟動(dòng)了在這個(gè)方向的研發(fā)和嘗試?！?

凌感最新Fingo SDK演示視頻：

我們?cè)诂F(xiàn)場(chǎng)體驗(yàn)了凌感Fingo以及另一款手勢(shì)識(shí)別模塊產(chǎn)品，用握拳、拍掌、翻轉(zhuǎn)、疊加、交叉、在手掌上寫字等各種姿勢(shì)進(jìn)行了對(duì)比，雖然都存在一些抖動(dòng)的問(wèn)題，但很明顯，在雙手的識(shí)別上，F(xiàn)ingo比另一款的識(shí)別率高很多，特別是在雙手疊加的情況下，另一款基本上只能識(shí)別出一只手，而且偶爾會(huì)判別不出來(lái)手的正反面。 VR/AR上的手勢(shì)識(shí)別應(yīng)用場(chǎng)景 目前來(lái)看，幾乎各個(gè)手勢(shì)識(shí)別的廠商都會(huì)選擇將VR/AR作為首選的應(yīng)用領(lǐng)域。 比如uSens凌感的手部追蹤解決方案Fingo自今年年初推出后，已經(jīng)與國(guó)內(nèi)外AR/VR類頭顯廠商進(jìn)行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，預(yù)計(jì)今年底或明年初將有產(chǎn)品面世?；贔ingo的注冊(cè)開(kāi)發(fā)者不斷增加，行業(yè)覆蓋游戲、房地產(chǎn)、教育、汽車、展覽展示等。 凌感uSens的商務(wù)副總裁陳佳敬提到，和硬件廠商的合作主要分為三種，如果對(duì)方硬件準(zhǔn)備好了，可以適配軟件；第二種是提供軟件和硬件做嵌入集成；最后一種是提供配件，給對(duì)方直接上架銷售。 在手勢(shì)識(shí)別的應(yīng)用上，并不適用于所有的場(chǎng)景，而更多是一些特定的場(chǎng)景，和人在真實(shí)生活中的動(dòng)作一樣的交互。比如看到一些虛擬的茶杯，就不會(huì)想到用語(yǔ)音去操控茶杯，而是更自然的直接用手去拿。而特定的應(yīng)用場(chǎng)景，比較明確的是AR方面，因?yàn)槲④浀腍oloLens有基本的手勢(shì)交互，讓開(kāi)發(fā)者們對(duì)其有了一定的認(rèn)識(shí)，相對(duì)來(lái)說(shuō)VR還屬于觀望的階段。 uSens凌感高級(jí)技術(shù)總監(jiān)毛文濤提到，就是發(fā)現(xiàn)在行業(yè)實(shí)際應(yīng)用中，手勢(shì)操作有些痛點(diǎn)問(wèn)題一直沒(méi)得到很好地解決，如：聾啞人溝通用的手語(yǔ)中有大量雙手交叉或交疊在一起的動(dòng)作，這類動(dòng)作目前市面上產(chǎn)品無(wú)法做到或表現(xiàn)不佳。VR社交、VR課程中，希望有一些類似小鍵盤的操作，學(xué)生或用戶長(zhǎng)時(shí)間手勢(shì)懸空操作會(huì)比較辛苦。針對(duì)這些應(yīng)用場(chǎng)景，此次凌感才會(huì)推出雙手交互，實(shí)現(xiàn)了在手心上寫字、左右手交叉等一系列雙手觸碰的動(dòng)作，這樣既有力反饋又無(wú)需懸空操作，對(duì)于提升用戶體驗(yàn)有很大作用。 另一方面，手勢(shì)識(shí)別在游戲上的應(yīng)用也在提高。比如萌果游戲、哈士奇等多家廠商已經(jīng)開(kāi)發(fā)了游戲的手勢(shì)識(shí)別版本。 VR/AR之外的需求——車載系統(tǒng) 除了以上VR/AR的應(yīng)用場(chǎng)景之外，手勢(shì)識(shí)別融入車載系統(tǒng)中其實(shí)早就已經(jīng)有廠商開(kāi)始實(shí)施。比如微動(dòng)就是專門針對(duì)車載市場(chǎng)的一家手勢(shì)識(shí)別技術(shù)開(kāi)發(fā)商。凌感也經(jīng)常收到來(lái)自汽車廠商的需求，并且曾經(jīng)在2016年初的時(shí)候，跟戴姆勒做過(guò)一些Demo?！爱?dāng)時(shí)他們希望在4S店中把VR/AR和手勢(shì)識(shí)別的場(chǎng)景加入進(jìn)去，包括奧迪也在考慮跟我們合作?！? 陳佳敬提到，車載相對(duì)來(lái)說(shuō)對(duì)手勢(shì)識(shí)別的復(fù)雜度要求不那么高，甚至只需要一些簡(jiǎn)單的識(shí)別手部輪廓的也可以用，5種之內(nèi)的手勢(shì)基本方案就可以滿足需求。所以簡(jiǎn)單的方案用在車載上，復(fù)雜的則使用在VR和AR上，是凌感的基本策略。 雖然這是一個(gè)很有潛力的市場(chǎng)，不過(guò)和汽車企業(yè)合作也會(huì)產(chǎn)生一些問(wèn)題，因?yàn)橐谄嚿鲜兄凹尤氲杰囕d系統(tǒng)中，就意味著參與環(huán)節(jié)是汽車的設(shè)計(jì)過(guò)程，通常一款汽車設(shè)計(jì)耗時(shí)3年左右，周期特別長(zhǎng)，一般創(chuàng)業(yè)公司很難耗得起。 后記 對(duì)于手勢(shì)識(shí)別的未來(lái)，凌感方面還是非常有自信的?！澳壳皝?lái)說(shuō)，中國(guó)市場(chǎng)的發(fā)展空間是很大的，不論是硬件迭代速度，還是C端用戶量，中國(guó)在全球都很靠前。美國(guó)雖然有一部分核心用戶，但是在大眾市場(chǎng)上，中國(guó)在線下體驗(yàn)店、行業(yè)應(yīng)用發(fā)展都要更快。而開(kāi)發(fā)者對(duì)于手勢(shì)識(shí)別有也有了更為明確的需求，這些會(huì)讓我們想要花更多的精力來(lái)滿足他們需要的東西?！? “雖然現(xiàn)在還屬于投入期，不過(guò)在今年下半年到明年上半年有一波小浪潮的話，是可以給我們帶來(lái)一定的營(yíng)收的?！? 關(guān)注微信公眾號(hào)：VR陀螺（vrtuoluo）,定時(shí)推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。