交互一直是VR/AR體驗(yàn)中最為重要也是最難實(shí)現(xiàn)的一塊，手柄、力反饋、能模擬冷熱痛感的裝置、體感、手勢(shì)……交互的紛繁復(fù)雜也給內(nèi)容開發(fā)者增添了更多的工作量和開發(fā)難度。

其中手勢(shì)被稱為最自然的交互方式，但截止到目前，幾乎所有的手勢(shì)都是依靠雙目紅外和深度相機(jī)實(shí)現(xiàn)的三維骨骼識(shí)別，成本相對(duì)較高，對(duì)性能要求也更高。

如何基于單目RGB攝像頭實(shí)現(xiàn)更精準(zhǔn)的手勢(shì)識(shí)別，成為了諸多企業(yè)努力的方向。

總部位于杭州的uSens凌感科技一直致力于手勢(shì)識(shí)別的研發(fā)和迭代，其提供的手勢(shì)識(shí)別技術(shù)在AR、VR業(yè)界已經(jīng)有一定知名度。但前幾年凌感的手勢(shì)識(shí)別主要是使用雙目紅外和深度相機(jī)上實(shí)現(xiàn)的三維骨骼識(shí)別，應(yīng)用在頭顯和汽車等一些智能硬件上。

最近凌感公司發(fā)布了可以運(yùn)行在單目彩色攝像頭上的三維骨骼手勢(shì)跟蹤識(shí)別，可識(shí)別手部全部22個(gè)關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。 

這一技術(shù)的亮點(diǎn)在哪里呢？本文將對(duì)此一一介紹。

相機(jī)（攝像頭模組）的種類很多， 雙目紅外相機(jī)(uSens Fingo, Leap Motion)、雙目彩色、TOF相機(jī)（廠家很多）、結(jié)構(gòu)光相機(jī)、單目紅外相機(jī)、普通RGB彩色相機(jī)等。其中，普通彩色相機(jī)是成本最低、使用最廣泛的一種，已經(jīng)內(nèi)置于所有的手機(jī)、絕大部分AR&MR Glass里以及一部分VR HMD中。

可惜彩色相機(jī)的手勢(shì)算法最難實(shí)現(xiàn)，因?yàn)閺?fù)雜的背景混淆，各種光照條件，不同的膚色等等，單個(gè)彩色RGB相機(jī)只獲取2D圖像，提取3D信息非常困難，無法直接提供深度信息，所以很難做出三維的識(shí)別和跟蹤。  

目前有些手機(jī)上不是已經(jīng)有了簡(jiǎn)單手勢(shì)的自拍功能嗎？是的。目前市場(chǎng)上有的，被部分手機(jī)和AR眼鏡使用的只是基于單目RGB相機(jī)的簡(jiǎn)單二維手型，簡(jiǎn)單固定手勢(shì)識(shí)別。 

用戶做一個(gè)大概的手型，像一個(gè)Yes或握拳等，通過一個(gè)簡(jiǎn)單形狀來表示某個(gè)意思。但不能用手在游戲或其他APP里做任何帶深度的、自然的操作，不能做到和物體交互，因?yàn)槎S的手型識(shí)別沒有骨骼跟蹤，更沒有深度信息。

為什么需要手的骨骼跟蹤識(shí)別呢？因?yàn)槿梭w最靈活的就是雙手了。我們的手因?yàn)橛惺种负完P(guān)節(jié)，可以做各種自由度的運(yùn)動(dòng)，所以手上可以做出千變?nèi)f化的動(dòng)作，讓我們有可能去操作各種儀器，以及用各種手勢(shì)來表達(dá)自己。手的動(dòng)作很多，很復(fù)雜、很快。如果不是跟蹤每一個(gè)關(guān)節(jié)，所有自由度的運(yùn)動(dòng)，就無法真的跟蹤識(shí)別出所有手的動(dòng)作，也很容易丟失。

所以在計(jì)算機(jī)視覺領(lǐng)域，最好最有意義的就是手的三維骨骼跟蹤識(shí)別。能做到這個(gè)層次的只有Leap Motion 和uSens 凌感，但以前只能在雙目和深度相機(jī)上實(shí)現(xiàn)，且成本一直比較高。

最近幾年來，uSens 凌感在不斷研發(fā)的過程中，結(jié)合領(lǐng)先的深度學(xué)習(xí)技術(shù)，取得了突破性的進(jìn)展，實(shí)現(xiàn)了在最簡(jiǎn)單的單目RGB相機(jī)的3D手勢(shì)骨骼識(shí)別技術(shù)。 

這個(gè)技術(shù)可以用于各種帶有普通RGB相機(jī)的場(chǎng)景，從所有智能手機(jī)內(nèi)置的相機(jī)，到AR、MR、VR HMD到工業(yè)控制、IOT等多個(gè)領(lǐng)域，已經(jīng)達(dá)到了產(chǎn)品級(jí)的性能，并應(yīng)用在多個(gè)工業(yè)客戶的產(chǎn)品里。

凌感基于RGB相機(jī)的3D手勢(shì)骨骼技術(shù)可識(shí)別手部全部22個(gè)關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。  

26個(gè)自由度，對(duì)手部3D狀態(tài)實(shí)現(xiàn)最全面的解析，對(duì)用戶所有自然手部運(yùn)動(dòng)都有良好識(shí)別，對(duì)上百萬個(gè)連續(xù)交互狀態(tài)進(jìn)行跟蹤。從簡(jiǎn)單固定的幾個(gè)手勢(shì)，到連續(xù)自然狀態(tài)的全面識(shí)別跟蹤，該技術(shù)的實(shí)現(xiàn)是一個(gè)巨大飛躍。

凌感的手勢(shì)算法適應(yīng)日常各種光照、環(huán)境、各類人群和所有的自然手部運(yùn)動(dòng)，無需初始化，只要有一個(gè)攝像頭，任何人立刻上手使用，系統(tǒng)立刻開始識(shí)別，可以跟蹤快速運(yùn)動(dòng)，包括移動(dòng)、轉(zhuǎn)動(dòng)、各種快速手指狀態(tài)變化。

另外手勢(shì)識(shí)別領(lǐng)域的另一個(gè)難點(diǎn)，對(duì)遮擋部分的跟蹤識(shí)別也通過最先進(jìn)的人工智能算法得到突破。

視覺算法會(huì)需要很高的芯片計(jì)算能力，以前對(duì)運(yùn)行平臺(tái)要求較高，uSens凌感公司在性能上做了大量?jī)?yōu)化，適配于各種中、高、低端移動(dòng)平臺(tái)，即便在中低端手機(jī)也能運(yùn)行良好。

對(duì)于我們今年最關(guān)注的AR Glass來說，用自帶的RGB相機(jī)，加上自然的3D手勢(shì)骨骼交互，可以實(shí)現(xiàn)最好的交互體驗(yàn)，隨心所欲得用雙手操作。

當(dāng)然，如果大家都愿意多花成本，用深度相機(jī)或雙目的話，凌感的手勢(shì)識(shí)別效果會(huì)更震撼哦。