文/VR陀螺 小鉆風(fēng)

VR/AR交互工具形態(tài)目前依然延用主機(jī)時(shí)代的手柄，手勢(shì)識(shí)別作為更適合VR/AR的自然交互方式雖被應(yīng)用多時(shí)，但單純依靠算法與深度攝像頭感知實(shí)現(xiàn)的6DoF交互體驗(yàn)卻始終未能取代手柄，也因此，肌電交互成為了VR/AR的下一個(gè)聚焦點(diǎn)。

Facebook自今年初曝光肌電手環(huán)視頻后，前不久其Oculus高管再次在Twitter粉絲問答活動(dòng)中表示未來手勢(shì)識(shí)別或替代VR手柄，成為新一代人機(jī)交互接口。

圖源：Oculus

不僅僅是Facebook，蘋果也相繼公布用于手勢(shì)識(shí)別的肌電指環(huán)相關(guān)專利。巧合的是，兩者展示的可識(shí)別手勢(shì)動(dòng)作基本相同，說明這類設(shè)備從底層交互邏輯上可以認(rèn)為兩家一線大廠對(duì)手勢(shì)識(shí)別的表達(dá)方式近乎達(dá)成共識(shí)。

然而，現(xiàn)階段蘋果的肌電指環(huán)還處于專利階段，以Facebook為代表的肌電手環(huán)也僅僅是對(duì)外公布了一段概念視頻。但兩家都明確表示，肌電技術(shù)的發(fā)展已經(jīng)足以為下一代VR/AR設(shè)備帶來顛覆性的交互體驗(yàn)，而無需將其寄希望于更加飄渺的侵入式腦機(jī)接口技術(shù)。

肌電手環(huán)、指環(huán)的落地，會(huì)是VR/AR交互繼6DoF手柄之后再一次顛覆性創(chuàng)新嗎？亦或仍僅是長(zhǎng)期交互技術(shù)迭代步伐中的曇花一現(xiàn)？國(guó)內(nèi)、外面向VR/AR開發(fā)的肌電交互設(shè)備此時(shí)又發(fā)展到哪一步？

技術(shù)不輸海外

國(guó)內(nèi)肌電手環(huán)2017年便可實(shí)施量產(chǎn)

肌電手環(huán)并非新鮮事物，肌電技術(shù)也早在上個(gè)世紀(jì)70年代便應(yīng)用于醫(yī)學(xué)領(lǐng)域，之后又向航天航空領(lǐng)域擴(kuò)展。醫(yī)學(xué)領(lǐng)域，肌電技術(shù)多應(yīng)用于康復(fù)、義肢等；航天航空領(lǐng)域則主要用于交互系統(tǒng)。

2013年左右，肌電技術(shù)作為交互技術(shù)開始向互聯(lián)網(wǎng)產(chǎn)品比如智能電視等引入。當(dāng)時(shí)正值智能電視產(chǎn)業(yè)爆發(fā)。然而，智能電視與智能手機(jī)不同，并不太適用于觸屏交互，于是市場(chǎng)開始進(jìn)行其他交互方式的探索。

圖源：網(wǎng)絡(luò)

語音識(shí)別與手勢(shì)識(shí)別，是其中較為推崇的交互方式。手勢(shì)識(shí)別主要利用兩種技術(shù)，一種依靠圖像傳感，以Kinect和Leap Motion為代表；另一種依靠肌電技術(shù)，以Thalmic Labs和OYMotion為代表，主要形態(tài)為手環(huán)。

2015年、2016年左右，VR/AR市場(chǎng)爆發(fā)，手勢(shì)識(shí)別被引入VR/AR產(chǎn)品的交互系統(tǒng)，但基于肌電技術(shù)的手勢(shì)識(shí)別并未獲得蓬勃發(fā)展。

一方面，基于深度攝像頭的圖像傳感隨智能手機(jī)發(fā)展多年，已經(jīng)較為成熟，肌電技術(shù)相比之下成熟度不夠高；另一方面，VR/AR市場(chǎng)在經(jīng)歷了熱潮之后，整個(gè)產(chǎn)業(yè)迅速遇冷。

然而近幾年隨著VR/AR市場(chǎng)的發(fā)展，以Facebook、蘋果為代表的大廠開始重新將目光投向肌電手環(huán)（指環(huán)）。Facebook還于2019年底收購(gòu)了一家鉆研VR/AR交互的肌電手環(huán)公司CTRL-Labs，F(xiàn)acebook前段時(shí)間公開的肌電手環(huán)技術(shù)便是來源于此。

圖源：Tech@facebook

在VR/AR交互的肌電手環(huán)領(lǐng)域，CTRL-Labs只能稱得上后起之秀，前面提到的Thalmic Labs和OYMotion成立于2013年左右，才是真正的前輩。

Thalmic Labs其實(shí)對(duì)我們而言并不陌生，它就是加拿大知名AR眼鏡廠商N(yùn)orth的前身，去年7月被谷歌以1.8億美元的價(jià)格收購(gòu)。當(dāng)時(shí)引發(fā)了市場(chǎng)大量關(guān)注，紛紛猜測(cè)谷歌眼鏡要重生。

OYMotion則是一家中國(guó)廠商，全名叫上海傲意信息科技有限公司（后文簡(jiǎn)稱：傲意科技）。傲意科技創(chuàng)始人叫倪華良，畢業(yè)于復(fù)旦大學(xué)，他在美國(guó)高通從事集成電路設(shè)計(jì)相關(guān)工作7年，擁有將近20年的工程開發(fā)經(jīng)驗(yàn)。

圖源：傲意科技

2013年他在多倫多自家地下室開始從事肌電手環(huán)項(xiàng)目的研究，在與幾個(gè)小伙伴在地下室默默研發(fā)一年多時(shí)間后，終于在2014年推出肌電手環(huán)gForce的第一版原型。

眾所周知，2014年3月，以Facebook 20億美元收購(gòu)Oculus為契機(jī)，國(guó)內(nèi)圍繞VR、AR的創(chuàng)業(yè)和投資潮拉開帷幕。憑借這款原型，倪華良的團(tuán)隊(duì)也被國(guó)內(nèi)挖掘，在2014年年底被蘇州作為園區(qū)的“科技領(lǐng)軍人才”引入國(guó)內(nèi)。

圖源：傲意科技

2016年，在被稱為“VR元年”的這一年，傲意的第一款產(chǎn)品發(fā)布——gForce EMG肌電手環(huán)的Beta版。倪華良透露，從2013年研究至2016年產(chǎn)品落地花了2000萬人民幣。相比之下，F(xiàn)acebook收購(gòu)的CTRL-Labs前前后后融資達(dá)五千多萬美元，至今未有肌電手環(huán)成品面市。

倪華良透露，國(guó)內(nèi)很多肌電專利是傲意申請(qǐng)的，智能手表中使用肌電控制實(shí)現(xiàn)手勢(shì)識(shí)別也是他們的發(fā)明專利。

圖源：傲意科技

在以深度攝像頭作為手勢(shì)識(shí)別方式的主流下，從傲意選擇研發(fā)肌電手環(huán)的原因可以看出現(xiàn)有手勢(shì)識(shí)別技術(shù)的局限之處。

在傲意科技看來，基于攝像頭的手勢(shì)識(shí)別，有著幾大難以克服的缺點(diǎn)。

首先是對(duì)環(huán)境要求高，光線強(qiáng)弱、遮擋等都會(huì)對(duì)識(shí)別效果產(chǎn)生影響，其次是手勢(shì)必須處于攝像頭的視場(chǎng)角范圍內(nèi)，因此始終有局限性。面對(duì)這兩大問題，目前VR/AR廠商所采取的方式多是通過算法進(jìn)行補(bǔ)償。

除了這兩點(diǎn)外，基于攝像頭的手勢(shì)識(shí)別需要對(duì)圖像進(jìn)行處理，所需功耗大，也是一大難題。

圖源：網(wǎng)絡(luò)

基于此，傲意團(tuán)隊(duì)開始思考其他方式并最終選擇了肌電技術(shù)。肌電手環(huán)無需考慮遮擋問題，而且對(duì)手勢(shì)識(shí)別的處理是基于對(duì)所獲得信號(hào)進(jìn)行的解析，因此數(shù)據(jù)量更小，功耗與攝像頭相比，要低幾十、甚至是上百倍。

圖源：傲意科技

這也是Facebook、蘋果等一線大廠對(duì)肌電技術(shù)看好的重要原因——肌電手環(huán)有潛力幫助手勢(shì)識(shí)別取代手柄，成為下一代交互方式。

“實(shí)際上，肌電手環(huán)在VR/AR領(lǐng)域的應(yīng)用遠(yuǎn)不及攝像頭，除去攝像頭隨手機(jī)的發(fā)展擁有幾十年技術(shù)積累外，本身也有一些技術(shù)問題需要解決。”對(duì)于肌電手環(huán)的現(xiàn)狀，倪華良給出了這樣的答案。

作為肌電廠商，倪華良認(rèn)為，手勢(shì)識(shí)別是VR/AR交互未來的發(fā)展方向，這項(xiàng)技術(shù)未來一定會(huì)得到發(fā)展，只是目前階段，存在的一些缺點(diǎn)、技術(shù)難點(diǎn)尚未完全解決，這是所有行業(yè)發(fā)展、技術(shù)發(fā)展一定會(huì)面臨的問題。

針對(duì)國(guó)內(nèi)、外技術(shù)水平，倪華良則表示國(guó)內(nèi)的肌電技術(shù)并不亞于海外團(tuán)隊(duì)。近幾年，全球許多科研院校采購(gòu)傲意的機(jī)電手環(huán)，主要涉及神經(jīng)接口、人工智能、機(jī)器人、醫(yī)療康復(fù)等方面，向其采購(gòu)傳感器。

圖源：傲意科技

到現(xiàn)在為止，倪華良認(rèn)為從算法層面，海外團(tuán)隊(duì)的解析能力比如對(duì)信號(hào)的解析等方面比較，與國(guó)內(nèi)外并無太大差距。

那肌電手環(huán)的技術(shù)難點(diǎn)到底在哪兒呢？倪華良結(jié)合多年從業(yè)經(jīng)驗(yàn)，從他的角度對(duì)其進(jìn)行了解讀。

數(shù)據(jù)量+算法先進(jìn)

肌電技術(shù)可解鎖手勢(shì)識(shí)別下的VR交互

肌電手環(huán)如何工作？當(dāng)我們腦中想要肢體進(jìn)行某個(gè)動(dòng)作時(shí)，神經(jīng)信號(hào)一定會(huì)傳達(dá)至肢體具體部位，比如手、腳，肌電裝置會(huì)對(duì)這些信號(hào)進(jìn)行讀取。

不同的動(dòng)作所傳達(dá)的神經(jīng)信號(hào)并不相同，肌電裝置便是通過對(duì)神經(jīng)信號(hào)的識(shí)別進(jìn)行動(dòng)作的推測(cè)，再將這個(gè)動(dòng)作復(fù)現(xiàn)出來。在VR中，復(fù)現(xiàn)出來的是虛擬手部的動(dòng)作。

圖源：傲意科技

總的來講，肌電手環(huán)涉及三個(gè)步驟：感知信號(hào)、識(shí)別信號(hào)、復(fù)現(xiàn)動(dòng)作。

倪華良表示：“信號(hào)識(shí)別是肌電傳感器面臨的挑戰(zhàn)之一，由于人體之間有差異性，而且這個(gè)差異性有時(shí)會(huì)較大，皮膚的干燥程度、毛發(fā)、機(jī)械設(shè)計(jì)所帶來的傳感器脫落等等問題都會(huì)對(duì)肌電傳感信號(hào)造成干擾。這些干擾會(huì)降低肌電傳感器對(duì)信號(hào)進(jìn)行準(zhǔn)確識(shí)別的穩(wěn)定性。”

如果想要在人體差異性的基礎(chǔ)上做出普適的產(chǎn)品，倪華良表示，需要比較大的訓(xùn)練集，將這些數(shù)據(jù)整理出來變成數(shù)據(jù)庫，再引入AI，通過AI訓(xùn)練生成模型，再利用這些模型對(duì)現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行識(shí)別。在數(shù)據(jù)量大、算法先進(jìn)的情況下，識(shí)別準(zhǔn)確率會(huì)很高。

圖源：傲意科技

當(dāng)識(shí)別出不同結(jié)果時(shí)，會(huì)引入模糊算法，對(duì)識(shí)別結(jié)果的準(zhǔn)確率進(jìn)行一個(gè)推測(cè)，再選出相對(duì)最為匹配的結(jié)果。倪華良說：“目前沒有人能做到100%的準(zhǔn)確，所有的AI都是在告訴你相似性，在不同概率之間去做衡量，然后讓機(jī)器去做判斷哪個(gè)最可能接近正確答案。”

那在基本原理比較類似的情況下，如何對(duì)一家公司的手勢(shì)識(shí)別技術(shù)的壁壘進(jìn)行判斷？

倪華良表示：“對(duì)一家公司的手勢(shì)識(shí)別技術(shù)壁壘進(jìn)行判斷，主要看兩點(diǎn)：動(dòng)作的解析數(shù)量與延時(shí)情況。動(dòng)作的解析是指所能準(zhǔn)確解析的動(dòng)作數(shù)量；延時(shí)，是指信號(hào)解析與反饋的速度，延時(shí)長(zhǎng)，比如需要等待１秒鐘才能解析出動(dòng)作，實(shí)時(shí)性會(huì)被破壞掉。因此，在做算法的過程當(dāng)中要進(jìn)行一些參數(shù)的調(diào)節(jié)，在這個(gè)過程當(dāng)中，有很多限制條件，比如需要滿足延時(shí)、數(shù)量、成本等各個(gè)條件。”

圖源：傲意科技

早在2016年，傲意科技的gForce肌電手環(huán)便可實(shí)現(xiàn)量產(chǎn)，以下為2016年傲意gForce肌電手環(huán)交互演示視頻。

gForce的VR交互演示視頻

（來源：傲意科技）

視頻中，倪華良手臂上戴著黑色gForce肌電手環(huán)，就5個(gè)不同場(chǎng)景（主要是游戲）進(jìn)行了操作演示：頁面的切換、爆炸、擲飛鏢、拉弓射箭、刀劍搏斗，抓握以及抓握程度是其中主要應(yīng)用的手勢(shì)。

可以看到，當(dāng)倪華良做出輕輕抓握的手勢(shì)時(shí)VR頁面會(huì)進(jìn)行切換，在進(jìn)行以爆炸為攻擊手段的游戲時(shí)，則需緊緊握住拳頭，緊握的時(shí)長(zhǎng)代表了持續(xù)爆炸的時(shí)間，在這個(gè)游戲中，玩家通過移動(dòng)頭顯視線鎖定目標(biāo)。

圖源：傲意科技

在后面擲飛鏢、拉弓射箭，以及刀劍搏斗的游戲當(dāng)中，手勢(shì)均與真實(shí)動(dòng)作保持一致。整體來講，手勢(shì)動(dòng)作與VR中的動(dòng)作基本保持一致，很流暢，無明顯延遲，只是在最后一款游戲的演示中當(dāng)，由于揮動(dòng)較為頻繁，似乎出現(xiàn)了一定的延時(shí)。據(jù)了解，該延時(shí)是由于VR頭顯通過USB線投影造成的。

圖源：傲意科技

在肌電手環(huán)的幫助下，用戶沒有了抓握手柄的必要，雙手能夠更加自然的交互，完成真實(shí)場(chǎng)景中動(dòng)作的模擬，可見肌電手環(huán)在手勢(shì)識(shí)別上具有可實(shí)施性。

未來，當(dāng)頭顯成為生活的一部分，縮小至理想中普通眼鏡的大小時(shí)，我們不可能人人握著手柄上路，手柄最終會(huì)被其他形態(tài)的交互所替代，徹底解放雙手。特別是占據(jù)手腕位置的智能手表，已有藍(lán)牙，算力，電池，顯示等基礎(chǔ)單元，足夠用于處理肌電手勢(shì)識(shí)別，兩者結(jié)合將有很好的用戶體驗(yàn)的應(yīng)用前景。

手勢(shì)識(shí)別作為非常接近自然狀態(tài)的交互，便是目前已知較符合條件的方向之一。

目前手勢(shì)識(shí)別僅依靠攝像頭達(dá)不到理想效果，但有了肌電手環(huán)彌補(bǔ)受環(huán)境、視場(chǎng)角限制、缺乏觸覺反饋等缺陷，擁有了讓用戶擺脫手柄獲得全新體驗(yàn)的潛力。

未來的交互形式：

多種技術(shù)相結(jié)合，手柄將成為過去式

“無論是3DoF還是6DoF手柄，只要是手柄，我都認(rèn)為不應(yīng)該是在VR中存在的東西，因?yàn)樗环铣两校瑫?huì)破壞掉沉浸感。”

圖源：網(wǎng)絡(luò)

倪華良說：“目前，手柄方案是最便宜，生產(chǎn)成本最低，也是最穩(wěn)定的方式，綜合成本、功耗以及效果來看，這是使用攝像頭或其他方案都達(dá)不到的平衡結(jié)果。因此只能退而求其次選擇手柄。但是，手柄的形態(tài)未來一定會(huì)被淘汰。”

“我個(gè)人覺得有可能是技術(shù)的融合，而不是單一某項(xiàng)技術(shù)。6DoF只是一個(gè)階段性方案，他最終會(huì)被其他方式所取代。”

雖然以Facebook為首的廠商看好手勢(shì)識(shí)別，并表示未來或用手勢(shì)替代VR手柄，但目前基于肌電手環(huán)的手勢(shì)識(shí)別在VR/AR交互當(dāng)中尚屬新秀，應(yīng)用不及攝像頭成熟。而且肌電技術(shù)之前多應(yīng)用于醫(yī)療等細(xì)分領(lǐng)域，從細(xì)分領(lǐng)域向更為普適的大眾領(lǐng)域擴(kuò)展，對(duì)技術(shù)的進(jìn)一步發(fā)展提出了要求。

除了前文提過的針對(duì)VR/AR在技術(shù)層面進(jìn)行肌電信號(hào)的獲取，數(shù)據(jù)的采集、手勢(shì)動(dòng)作的解析、算法的進(jìn)一步調(diào)適外，還需要考慮肌電手環(huán)的成本與市場(chǎng)推廣等問題。

倪華良表示，手環(huán)的生產(chǎn)成本并不高，往往在幾百塊左右，這樣的成本在肌電手環(huán)市場(chǎng)起量之后會(huì)進(jìn)一步得到下調(diào)。但肌電手環(huán)真正在VR/AR市場(chǎng)鋪開，單依靠傲意這樣的公司體量難以推動(dòng)，最終還是需要依靠大體量的廠商去推動(dòng)。

結(jié)語

在陀螺君看來，肌電手環(huán)并不僅僅意味著解放雙手，而是更高意義上的存在。肌電手環(huán)可與智能手表相集成，完成與手機(jī)生態(tài)的互聯(lián)。

從現(xiàn)有的種種消息來看，包括SideQuest推出安卓版應(yīng)用，Oculus也將支持訪問安卓應(yīng)用，并且在Quest v29版本系統(tǒng)軟件的更新中進(jìn)一步增加與手機(jī)的聯(lián)系，比如在VR中顯示手機(jī)通知、支持iOS系統(tǒng)手機(jī)進(jìn)行MR捕獲等。

未來，VR/AR頭顯有可能與手機(jī)生態(tài)相互通，當(dāng)手環(huán)成為新一代計(jì)算機(jī)平臺(tái)交互設(shè)備的工具時(shí)，它的交互對(duì)象將不會(huì)止步于VR/AR設(shè)備，而是包括手機(jī)在內(nèi)的整個(gè)計(jì)算機(jī)平臺(tái)。