文/VR陀螺 小鉆風

Facebook近日分享了自己在手部追蹤、觸覺反饋方向的研究成果——能讀取手腕神經信號的EMG（肌電圖）手環(huán)，EMG手環(huán)從人機交互模式來看可被視為腦機接口設備的一種。

Facebook EMG手環(huán)（源圖：Tech@facebook）

事實上，這款EMG手環(huán)的原型正是來自于2019年底被Facebook收購的腦機接口公司CTRL-Labs。

Facebook研究這款手環(huán)用來干啥？簡單點說，是為了實現更好的觸覺反饋與手部追蹤效果，也就是更好的手部交互。

手部交互作為更自然的交互選擇，在AR/VR中并不新鮮，支持手勢識別的頭顯也不在少數。

但就效果而言，即使是做到個中翹楚的Facebook，其Quest 2頭顯的交互設計仍然以手柄為第一交互方式，手勢識別為次一級選擇。

就現階段來看，VR的人機交互模式已經出現，下一步朝哪個方向發(fā)展卻并不明確，而AR的交互模式尚未定義出。

延用手柄，下一代計算機平臺交互模式尚未定義

諾亦騰CTO戴若犂此前曾表示VR的C端交互形態(tài)可能不會再有革命性變化。從目前情況來看，頭顯視聽從1968年到現在完全沒有變過，人機交互一直在變，但已趨于穩(wěn)定，手柄依然是第一選擇。

回顧移動VR人機交互的演變史，VR最開始的交互形式是定時瞄點，或者說凝視操作，最早出現在Google Cardboard上。

用戶戴上VR頭顯后，眼睛的正前方會出現一個瞄點，它會隨著用戶頭部同步移動。當用戶的注視點，或者說瞄點停留在某個區(qū)域時，過了倒計時時間，會激發(fā)點擊操作。

圖源：網絡

而后在瞄點的基礎上添加了觸控板和返回按鍵，用戶通過在觸控板進行滑動進行菜單的選擇、翻頁等操作，通過按鍵時間的長短進行功能或動作選擇。

圖源：網絡

以上兩種方式局限于頭顯操作，用戶的交互選擇非常不便，直至外置藍牙手柄出現才改變這一現狀，當時的藍牙手柄主要針對游戲設計，并非針對VR設備，因此適用性并不夠好。

之后才有針對VR設備的手柄控制器，新的手柄還含有IMU能進行姿態(tài)識別，讓交互方式變得豐富，玩家可實現推動、擊打、投擲等動作模擬，但只有3DoF自由度，以小米VR、Oculus Go、Pico小怪獸為代表。

3DoF后來升級為6DoF，在Facebook推出VR一體機Quest后開始大幅度普及，以Quest系列、Pico Neo 2為代表。

Quest 2手柄（圖源：VR陀螺）

除了手柄外，語音控制作為一種自然的人機交互形態(tài)后也被納入，2020年中旬Facebook便在Quest頭顯推出，上個月在此基礎做出升級在Quest 2上線語音喚醒功能。

但現在的手勢識別功能基于頭顯的攝像頭，受光線、攝像頭追蹤范圍等限制，而且有一定程度的延遲，達不到理想狀態(tài)下的手部交互效果，因此依然無法替代手柄。

為了追求自然的交互效果，眼動追蹤功能正在成為倍受追捧的對象，但目前還沒有正式搭載眼動追蹤的消費級頭顯設備面市，今年或許有機會體驗。

圖源：網絡

回顧VR頭顯的人機交互演變史可以看到，當交互過渡到藍牙手柄后形態(tài)基本保持穩(wěn)定，即使是有了手勢識別，依然停留在手柄階段。

與VR頭顯相比，AR眼鏡的交互演變更像是靜態(tài)的，Google最早一代AR眼鏡Google Glass，依靠眼鏡一側的觸控板支持用戶進行輸入，演化至今，盡管已有設備融入基于SLAM的手勢識別操作，但更為成熟的落地方案依舊還是以控制器、手機、PC等外設實現操作最為常見，代表產品有Dream Glass等。

在具備手勢識別的AR交互設備當中，HoloLens憑借著多種深度傳感器組合，用于精確感知環(huán)境與用戶的手勢，但售價過高難以進行普及；而眼球追蹤、體感手套等交互方案因為目前技術瓶頸、成本并未趨于成熟，并不具備面向市場鋪開量產的特性。

總的來說，今天的VR交互更像是專門為VR游戲（或是全封閉式體驗）而打造的妥協方案；而AR交互更慘，消費端的人們依舊停留在上個時代的鼠標、鍵盤乃至遙控器的交互時代，AR交互究竟該長成啥樣，甚至都不得而知。

距離VR/AR的下一步發(fā)展，如今的設備與人們料想中的形態(tài)之間似乎總是缺點什么。

針對這個問題，Facebook曾對此做出了自己的分析，認為手環(huán)會是補足這一缺失的最佳選擇，并最終成為下一代計算機平臺的交互形態(tài)。

Facebook此前在手環(huán)的研究上主要落在觸覺反饋，在收購腦機接口公司CTRL-Labs后開始進行EMG手環(huán)的研究，并于近日公開了這款EMG手環(huán)的相關研究成果。

Facebook EMG手環(huán)到底是什么？

CTRL-Labs被Facebook收入后加入FRL，CTRL-Labs創(chuàng)始人托馬斯·雷登擔任FRL神經運動接口總監(jiān)。

他表示“正在嘗試使用神經接口讓用戶使用周圍神經系統(tǒng)的輸出直接控制機器，尤其是讓手和手指肌肉動起來的大腦外部神經。

EMG手環(huán)與之前陀螺君介紹過的腦機神經接口設備NextMind類似，都是通過對電信號的獲取與轉化進行設備的功能控制，而且都只會有選擇性地針對經過訓練后的信號，轉化為數字命令。

第一步，EMG只提供一兩個控制位，與“單擊”類似，等效于點擊按鈕。用戶可以進行拇指與食指的基本操作，比如通過捏、放操縱物體。

EMG Demo：控制虛擬物體（圖源：Tech@facebook）

之后擴展至對虛擬物體進行遠距離操作、在桌子等平面上打字等等。由于EMG可針對不同用戶擁有個性化模型，能夠進行適應與優(yōu)化，因此EMG條件下打字會比現在使用鍵盤打字速度快得多。據了解，CTRL-Labs團隊已在個性化模型方面取得重要進展。

Neural Interfaces:  打字演示（圖源：Tech@facebook）

單純的手環(huán)可穿戴設備并不是完整的解決方案，就好像鼠標只是交互的一部分，因此AI也是EMG手環(huán)重要組成，AI會根據理解提供自適應界面，通過智能點擊的方式讓用戶以低摩擦的方式執(zhí)行高度上下文相關的動作。

比如用戶在進行慢跑時，AR系統(tǒng)會根據您過去在該行為中存在聽歌習慣，會在顯示屏上顯示該選項：“播放正在運行的播放列表？”，用戶做簡單的手勢進行智能點擊確認即可。

這種自適應界面無需用戶在自然環(huán)境與設備之間進行注意力的轉移。

圖源：Tech@facebook

除了低摩擦的手勢輸入與基于AI系統(tǒng)的自適應界面外，還需要一種閉合反饋回路的方法，也就是如何讓系統(tǒng)與用戶進行通信——通過觸覺反饋。FRL認為，人類從出生開始便進行非常豐富的觸覺反饋循環(huán)，我們已經演化為利用觸覺信號來了解世界。

為了進行手環(huán)觸覺研究，FRL還在構建了兩種原型：Belloband與Tabsi。

Belloband柔軟輕巧，手環(huán)一圈設有八個氣動風箱，通過控制風箱內的氣體產生不同類型的壓力與振動，該模型屬FRL早期研究；相較之下，Tabsi觸覺反饋原理不則不同，它采用六個觸覺致動器與一個較新穎的手腕擠壓機制。

Tabsi（圖源：Facebook）

FRL表示這些研究還處于早期階段，但是很有前景。那Facebook如何看待EMG手環(huán)？

Facebook：EMG手環(huán)會是下一代計算機平臺交互形態(tài)

Facebook首席科學家Abrash說：“為使AR真正普及，需要低摩擦、始終可用的技術。該技術必須直觀易用，成為身體延展的一部分。這與今天的人機交互相距甚遠，因此我們需要像恩格巴特一樣，發(fā)明一種全新界面——一種將我們置于計算體驗中心的界面。”

Abrash提到的恩格巴特，其團隊于1960年代發(fā)明了鼠標，從根本上改善了人機交互。

圖源：Tech@facebook

因此，六年前在FRL Rearch（那時還叫Oculus Reseach）剛成立時Facebook便開始為AR眼鏡設想理想的輸入設備。

FRL Research聚集了一支由研究科學家，工程師，神經科學家等組成的高度跨學科的團隊，由研究科學總監(jiān)Sean Keller領導，全力解決AR交互問題以及期實現新計算形態(tài)的下一個重大范式轉變。

Sean Keller（圖源：Tech@facebook）

在他們心目中，AR界面可在任何情況下使用，能將隱私、安全放在第一位遵循以人為本的原則，讓用戶能在自己控制下進行個性化的AR體驗。

從形態(tài)上看，屬于合適全天侯佩戴且續(xù)航時間足夠長的可穿戴設備，又需要做到不引人注目，易于學習使用。

這樣一個始終可用而且擁有超低摩擦的AR界面，據Abrash解釋，需建立在兩大技術支柱：超低摩擦的輸入與功能強大擁有上下文感知的AI模型。

超低摩擦輸入，意味著當用戶需要采取行動時，從思想到行動的路徑能做到盡可能短而且直觀，比如手勢、語音等等直至找到更為自然、輕松的方式來控制AR眼鏡。該團隊還對一系列神經輸入選項進行了探索，其中基于手腕的肌電圖（EMG）最有前景。

功能強大擁有上下文感知的AI模型意味著能在各種情況下對周圍的環(huán)境、可能需要的信息或是想要做的事情進行深層次的推斷。理想狀態(tài)下，用戶只需單擊一次即可完成操作。

最終，他們選擇手環(huán)作為全天候可穿戴設備。

圖源：Tech@facebook

為什么是手腕？其他能進行自然交互的輸入設備，比如語音輸入，直觀但在公共領域并不私密，而且嘈雜的背景會對輸入造成影響。像手機這樣可放置在口袋的產品會在用戶和環(huán)境間產生摩擦，也就是需要在現實與屏幕間進行切換。

從形態(tài)上看，手環(huán)形態(tài)的手表存在多年，可以適應無論是日常生活還是社交環(huán)境，且與手這個人類與世界發(fā)生交互最為直接的身體部位，能將手豐富的控制功能帶入AR。

智能手表也已成為非常普遍的可穿戴設備，它能承載計算、電池、天線等器件用于支持大范圍的傳感器。對手環(huán)形態(tài)而言，唯一缺的是輸入方式，而EMG就是其中較為理想的潛在解決方案。

EMG通過傳感器將從手腕傳輸到手的神經信號轉為數字命令，對設備的功能進行控制，EMG通過手腕信號能檢測精度達到毫米級的手指運動，甚至能在手指進行真實運動前預測其運動。

但Facebook的手環(huán)并非一開始便采用EMG，真正采用EMG，是在2019年底收購腦機接口公司CTRL-Labs之后，EMG手環(huán)實際是基于CTRL-Labs的研究成果。

為什么是EMG手環(huán)？陀螺君認為CTRL-Labs能更好地回答這個問題。

托馬斯·雷登（圖源：CTRL-Labs）

據CTRL-Labs創(chuàng)始人托馬斯·雷登觀察，從生理上來講，人類之間所有的信息傳遞都是通過精細的運動控制來進行的，無論是肢體動作、面部表情，還是舌頭、喉嚨。

那么如果大腦與世界互動所要做的一切都涉及肌肉，為什么不使用運動系統(tǒng)更直接地與人腦和機器進行交互呢？

但與我們所見的絕對大多數直接通過某種電極，與大腦進行連接從皮質讀取信號的腦機接口設備不同，CTRL-Labs選擇對通過脊柱傳輸的大量信號進行檢測，這是一種更易獲得神經系統(tǒng)信息的方式。

通過電極直接從大腦獲取頭部神經信號，不同的人會產生不同的檢測結果，因為在大腦皮層中，大腦中的神經元彼此相鄰，在對不同事物發(fā)出信號時有時會造成分辨上的干擾。

而控制手部肌肉的神經元按區(qū)域進行劃分，而且內部組織緊密，按CTRL-Labs的聯合創(chuàng)始人帕特里克·凱福什的說法：“由于肌肉的布局，人與人之間具有一致性。”

帕特里克與CTRL-Labs手環(huán)（圖源：CTRL-Labs）

帕特里克還表示：“最終，我們認為這已成為您與技術互動的通用控制器。”

而這個“通用控制器”連產品帶團隊率先被Facebook收入FRL，被作為AR接口繼續(xù)研發(fā)。以網絡世界的共通性，今天是AR接口，之后則有可能成為無論是AR、VR還是手機、電腦的通用型接口。

總結

Facebook在去年的Facebook Connect大會發(fā)布Infinite Office虛擬工作區(qū)，在演示中可以看到Facebook對未來的憧憬，隨時隨地辦公。虛擬世界的作用并不再以游戲為主，而是向辦公領域擴展，場景更加生活化，能與真實世界自如切換。

而手環(huán)形態(tài)成為手勢識別的進化選擇，將可能代替手柄，解放人類的雙手，而基于人類本身的EMG以及各種觸覺反饋將讓虛擬場景更加真實。

對于手部交互的認可并不只有Facebook，蘋果近日也曝光類似于手環(huán)形態(tài)的MR智能指環(huán)，配備SMI傳感器的智能指環(huán)既可單獨使用，也可與Apple Pencil等搭配使用。

圍繞手部追蹤、觸覺反饋的研究越來越豐富，這一新的交互模式越來越成為共識，手環(huán)或許真的有可能成為替代手柄，成為新一代計算機平臺交互設備的標配。而當這一時刻來臨時，手環(huán)的交互對象將不止步于VR、AR，而是所有計算機平臺。

此時，計算機平臺的交互模式將迎來真正的范式改變。

參考鏈接：

https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/

https://tech.fb.com/inside-facebook-reality-labs-the-next-era-of-human-computer-interaction/