文/VR陀螺 小鉆風

腦機接口、AR眼鏡、肌電手環(huán)，在探索人機交互革命這條道路上，Meta（Facebook）給出的每個方案都賺足眼球，并且都能讓用戶從手柄中解脫出來。

11月16日，Meta又公布了另一種形式的人機互動研究成果：觸覺手套，用戶戴上觸覺手套在接觸虛擬物體時會擁有真實的觸感，至此，Meta人機交互探索“三件套”告一段落。

圖源：Tech.fb


Meta的三種人機交互探索：
AR眼鏡、肌電手環(huán)、觸覺手套

在Meta的Facebook Reality Labs（RL）實驗室，設有專門負責VR/AR交互探索的團隊，這個由研究員、工程師、設計師們所組成的團隊，從事的都是長期性的研究，他們的目標是為未來10~15年的數(shù)字世界創(chuàng)造新的“無摩擦”交互技術。

在他們進行VR/AR交互技術探索的過程中，所產(chǎn)生的科技成果不僅有可能從根本上改變VR/AR的發(fā)展進程，還有可能影響醫(yī)學、太空旅行等各個行業(yè)。為此，F(xiàn)RL進行了一系列人機交互（HCI）研究。

這一系列研究共為三個方向：

圖源：Tech.fb

第一，AR眼鏡，這是Meta設定的10年愿景。AR眼鏡的交互由AI驅動，擁有上下文感知能力，它可利用用戶選擇共享的信息來主動提供幫助，用戶抬頭即可查看這些信息；

第二，肌電手環(huán)，這是一項相對更為短期的研究，輸入方式基于手腕，并且結合了一定的AI，能動態(tài)適應用戶及用戶周圍的環(huán)境；

第三，則是現(xiàn)在提到的觸覺手套，這項研究結合了軟體機器人、微流體、手部追蹤、觸覺渲染與感知科學等多方面知識。

腦機接口原本也是Meta研究的人機交互方案之一，后因實現(xiàn)度等問題，今年早些時候Meta表示暫時性放棄。

在剩余的三項交互方案當中，觸覺手套作為VR體感設備并不新鮮，起碼從形態(tài)上并沒人讓人眼前一亮，而且相比于VR/AR場景下手部追蹤的裸手體驗，觸覺手套似乎作為外設更為合理。

但若論起真實感，在Meta所給出的人機交互方案中，也唯有觸覺手套可以做到讓用戶在虛擬世界與虛擬物理互動時獲得真實的觸感。

Meta在發(fā)布的文章中寫到，這一人機交互方式的研究項目旨在解決元宇宙的核心挑戰(zhàn)之一：如何接觸虛擬世界。那觸摸虛擬世界是一種什么樣的體驗？

觸摸虛擬世界是一種什么樣的體驗？

從Meta公布的演示視頻中，我們能夠看到觸覺手套上布滿了可伸縮、活動的黑色裝置，即使是指尖也可以移動變化。

從游戲互動來看，戴上手套后，手勢識別十分準確而靈活，玩家可以對不同的物體進行抓握和操控，推倒多米諾牌，白色的球體在手中隨手部移動而滾動，均十分自然。

用戶與用戶之間可以進行真實的互動，比如握手、擊拳、手指間的互動等等。手勢識別非常準確、細致，可惜的是，我們作為觀看者無法親身體會手部與虛擬物體交互時的模擬觸感。

根據(jù)演示視頻，距離我們想象中在虛擬世界模擬真實世界豐富的觸感，比如流水、玻璃、金屬、木材、毛衣......仍有一段距離，即便如此，到達現(xiàn)階段的效果也是一次困難重重的人機交互探索。

耗時七年，Meta人機交互方案觸覺手套的攻艱之路

想要將VR觸覺反饋手套做好，并非容易的事情，即使是對Meta這樣匯集大量高科技人才的公司而言。

Sean Keller是RL研究室總監(jiān)，同時也是解決這一問題的團隊創(chuàng)立者，在他的帶領下，七年間，這個團隊由一個人擴張到匯聚幾百位世界級專家。

Keller團體想要發(fā)明柔軟、輕便的觸覺手套，需要解決VR/AR交互的兩個問題：幫助計算機準確理解佩戴者的手部運作并給出反饋，并為佩戴者再現(xiàn)一系列復雜、細微的感覺，比如壓力、紋理和振動，以模擬虛擬物體在手中的真實感受。

這樣的新型觸覺手套需要跨學科以及工程學科的專業(yè)知識，并在此基礎上有所突破。在Keller帶領下的RL團隊學習了如何感知觸覺，并不斷研究手套如何適配不同大小的手型的同時，還能與用戶的手保持耦合。

圖源：uploadvr

他們首先從在手上創(chuàng)造可信的觸覺開始。

為了提供真實的觸感，每支觸覺手套都需要上百個遍布手部的執(zhí)行器（微型電機），并以一種讓佩戴者感覺像在觸摸虛擬物體的方式協(xié)同移動。

以現(xiàn)有的機械制動器，會產(chǎn)生過多的熱量，用戶無法舒適地佩戴一整天。而且它們太大、太貴并且非常耗電，無法呈現(xiàn)逼真的觸覺。

1、控制氣流：構建高速微流體處理器

RL Research硬件工程總監(jiān)Tristan Trutna說，“不可能在手上設置1000個小電機與電線，即使你有無限的資源用來完成它，也做不到。情況太復雜，而且熱量太高。如果需要在不同位置、不同距離數(shù)以千計的有形力，要么需要氣動，要么需要液壓或者是高密度電制動器。”

經(jīng)過兩年研究，團隊受到了傳統(tǒng)電氣金屬組件的限制。于是他們做出假設，使用柔軟、柔韌的驅動器替代機械驅動器，這些驅動器由全新的材料制成，可以根據(jù)佩戴者的動作改變形態(tài)。但這樣的制動器并不存在。

團隊開始轉向軟體機器人與微流體這個新興領域，這類技術通常用于假肢與PoCket診斷設備。兩年間，他們在氣制動器（使用氣壓產(chǎn)生力）與電制動器（在出現(xiàn)電場時改變形態(tài)與尺寸）兩個方向都取得了巨大進展。

為了控制這些新的軟體制動器，團隊正在構建世界上第一個高速微流體處理器——一枚安裝在手套上非常小的微型流體芯片，它能通過高速閥門何時以及在多遠處進行開關來控制移動制動器的氣流。

2、“觸覺渲染”：構建虛擬環(huán)境中的精準感官

即便有了控制氣流的方法，系統(tǒng)也需要知道何時何地提供正確的感覺，這需要先進的手部追蹤技術，讓計算機能夠準確地知道手在虛擬場景中的位置，無論是否與虛擬對象接觸，手部與對象如何在交互。

這同樣需要一種新型的渲染軟件，可以根據(jù)手的位置和對虛擬環(huán)境的理解，在準確的時間向手上的制動器發(fā)送正確的指令，包括虛擬物體的紋理、重量、剛度等。

圖源：Tech.fb

RL 研究軟件工程師 Forrest Smith 說，“人們通常將‘渲染’視為視覺效果。我們將這個詞也用在了手套上，我們正在做的是獲取虛擬世界的狀態(tài)以及您與它的交互，并將其渲染到制動器，以讓用戶接受到相應的感覺。”

RL研究工程師Justin Clark寫道，“為了渲染與對象的實時交互，我們需要進行相應的物理模擬”。物理引擎（用于模擬視頻游戲中對象交互的軟件）用于確定您的手在與虛擬對象交互時應用感受到的力的方向、大小和位置，然后，觸覺渲染算法將這此信息與觸覺設備的特性（比如各個制動器的位置與屬性）相結合，以便向設備發(fā)送正確的指令。

RL Research 軟件工程師 Andrew Doxon 補充道：“挑戰(zhàn)之一是構建適用于不同類型制動器并支持各種觸覺體驗的軟件。最終，我們還需要構建工具，讓人們能夠像創(chuàng)建視覺或音頻內(nèi)容一樣創(chuàng)建觸覺內(nèi)容。”

3、結合聽覺、視覺和觸覺反饋

團隊研究進入第四年，第三個挑戰(zhàn)出現(xiàn)了，為了使紋理和感覺發(fā)揮作用，他們必須在不完全重現(xiàn)真實物理的情況下模擬真實的物理觸碰。

雖然觸覺手套能提供一定的觸覺反饋，但卻不能在手部抓虛擬物體時完美的實現(xiàn)閉合，或是在將虛擬物體放置在桌面上時阻止手穿透虛擬桌面。

他們開始轉向感知科學與多感官整合，以研究人類感官如何協(xié)同工作以建立我們對世界的理解。

UX 研究科學經(jīng)理 Sophie Kim 解釋了該團隊如何利用人類的感知能力來創(chuàng)造令人信服的感覺： “我們的大腦非常擅長接收一點觸覺信號、一點視覺信號、一點聽覺信號，并將它們?nèi)诤显谝黄鹨詫崿F(xiàn)立體的感覺，并讓大腦相信手中存在一個物體”。

RL 感知研究科學家 Jess Hartcher-O'Brien 則描述了操縱立方體如何讓我們了解在 AR/VR 中“感覺整合”可能是什么樣子。“如果我拿起一個立方體，我已經(jīng)對它的材料類型以及它的重量有了一些假設。我抓住它，對材料進行了驗證，所以我將關于其材料特性的視覺線索和來自第一次觸碰瞬間的觸覺反饋結合起來。當我去操縱物體時，我的大腦會識別摩擦力和慣性，并且可以計算出這個物體的密度或重量。我的視覺系統(tǒng)正在根據(jù)它看到我手臂移動的方式進行更新。本體感覺告訴我我的手臂在空間中的位置，它移動的速度有多快，以及我的肌肉在做什么。”

觸覺手套甚至可以讓佩戴者的感知系統(tǒng)相信它正在感受物體的重量，通過用制動器輕輕拉動佩戴者手指的皮膚來模擬握持物體時的重力拉力。但這一切都必須準確計時。

在2017年末的一個實驗中（如下圖），團隊使用指尖上的單個振動觸覺設備提供觸覺反饋，這些由不同材料制成的虛擬球在VR中從天而降，因為材質不同，因此在每個球落在虛擬的指尖上時，都有其獨特的視覺、聽覺和觸覺反饋線索。

Keller表示：“所有的時間和工程都非常適合這種視-聽-觸覺體驗，你可以感受到它是一塊泡沫、木頭或是大理石，你可以體驗這些材料在下落時輕輕撞擊您手指的感覺。當我體驗到這一點時，感覺非常了不起。”

4、舒適耐用前提下，手套材質的探索

隨著項目的成熟，團隊開始解決手套舒適度以及將傳感器與機器人制動器集成到手套材料的挑戰(zhàn)。

一副僵硬、沉重、易脫落或有其他讓人感覺不適的手套，會即將讓佩戴者從虛擬體驗中脫離出。為了避免這種情況，手套重量要輕、要柔軟且高度耐用。

RL工程師Katherine Healy 解釋說：“我們意識到我們需要將新技術小型化并設計多功能系統(tǒng)，這樣做可以讓我們在更小的空間內(nèi)安裝更多組件，做更多的事情，這對于實現(xiàn)舒適的外形至關重要。”

圖源：Tech.fb

材料小組開始發(fā)明新的、廉價的聚合物——像塑料和硅膠這樣的柔性材料——既舒適又可拉伸，并在分子層面進行了定制以滿足新的功能。這需要全新的制造技術來將這些新材料變成非常細的纖維，然后可以縫制、針織或編織成手套。

RL 研究科學經(jīng)理 Kristy Jost 說：“導電紗并不能提供我們在 VR 中進行交互所需的所有功能，這就是為什么我們正在探索如何在同一纖維或織物中構建多種功能——包括導電、電容和傳感功能，并啟用更纖薄、更耐磨的外形的原因。”

制造纖薄、輕便的觸覺手套是一項挑戰(zhàn)，定制這些手套以適應數(shù)十億人又是另一項挑戰(zhàn)。

這也是為何材料小組同時在探索制造技術，使每只手套都可以定制，以獲得最大的觸覺精度和舒適度的原因。這樣做意味著開發(fā)設計和制造微型制動器的新方法，并創(chuàng)建新的編織和刺繡工藝以將它們精確地嵌入手套中。
希利說：“今天，手套由熟練的工程師和技術人員單獨制造，并手工制造子系統(tǒng)、組裝手套，我們盡可能使用半自動化工藝，但大規(guī)模生產(chǎn)這些手套需要發(fā)明新的制造工藝。”

歷經(jīng)以上四道“檻”，Meta的RL實驗室才得以讓Meta的第三項人機交互方式觸覺手套成為現(xiàn)實。

不過，除去成功的欣喜，近日一則VR創(chuàng)企HaptX指責Meta觸覺手套原型抄襲其專利的新聞給這Meta這項研究成果蒙上了一層陰影。

結語

在虛擬世界擁有觸覺是一項極其復雜同時也異常困難的研究，而觸覺手套的意義也并不會止步于VR外設。

RL研究室總監(jiān)Sean Keller說：“在解決VR/AR交互問題上，雙手的價值是巨大的”。這些手套不僅僅只是外圍設備，更重要的是，還能讓虛擬世界變得有形。

原文鏈接：
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/