文/VR陀螺 小鉆風(fēng)

腦機(jī)接口、AR眼鏡、肌電手環(huán)，在探索人機(jī)交互革命這條道路上，Meta（Facebook）給出的每個方案都賺足眼球，并且都能讓用戶從手柄中解脫出來。

11月16日，Meta又公布了另一種形式的人機(jī)互動研究成果：觸覺手套，用戶戴上觸覺手套在接觸虛擬物體時會擁有真實的觸感，至此，Meta人機(jī)交互探索“三件套”告一段落。

圖源：Tech.fb


Meta的三種人機(jī)交互探索：
AR眼鏡、肌電手環(huán)、觸覺手套

在Meta的Facebook Reality Labs（RL）實驗室，設(shè)有專門負(fù)責(zé)VR/AR交互探索的團(tuán)隊，這個由研究員、工程師、設(shè)計師們所組成的團(tuán)隊，從事的都是長期性的研究，他們的目標(biāo)是為未來10~15年的數(shù)字世界創(chuàng)造新的“無摩擦”交互技術(shù)。

在他們進(jìn)行VR/AR交互技術(shù)探索的過程中，所產(chǎn)生的科技成果不僅有可能從根本上改變VR/AR的發(fā)展進(jìn)程，還有可能影響醫(yī)學(xué)、太空旅行等各個行業(yè)。為此，F(xiàn)RL進(jìn)行了一系列人機(jī)交互（HCI）研究。

這一系列研究共為三個方向：

圖源：Tech.fb

第一，AR眼鏡，這是Meta設(shè)定的10年愿景。AR眼鏡的交互由AI驅(qū)動，擁有上下文感知能力，它可利用用戶選擇共享的信息來主動提供幫助，用戶抬頭即可查看這些信息；

第二，肌電手環(huán)，這是一項相對更為短期的研究，輸入方式基于手腕，并且結(jié)合了一定的AI，能動態(tài)適應(yīng)用戶及用戶周圍的環(huán)境；

第三，則是現(xiàn)在提到的觸覺手套，這項研究結(jié)合了軟體機(jī)器人、微流體、手部追蹤、觸覺渲染與感知科學(xué)等多方面知識。

腦機(jī)接口原本也是Meta研究的人機(jī)交互方案之一，后因?qū)崿F(xiàn)度等問題，今年早些時候Meta表示暫時性放棄。

在剩余的三項交互方案當(dāng)中，觸覺手套作為VR體感設(shè)備并不新鮮，起碼從形態(tài)上并沒人讓人眼前一亮，而且相比于VR/AR場景下手部追蹤的裸手體驗，觸覺手套似乎作為外設(shè)更為合理。

但若論起真實感，在Meta所給出的人機(jī)交互方案中，也唯有觸覺手套可以做到讓用戶在虛擬世界與虛擬物理互動時獲得真實的觸感。

Meta在發(fā)布的文章中寫到，這一人機(jī)交互方式的研究項目旨在解決元宇宙的核心挑戰(zhàn)之一：如何接觸虛擬世界。那觸摸虛擬世界是一種什么樣的體驗？

觸摸虛擬世界是一種什么樣的體驗？

從Meta公布的演示視頻中，我們能夠看到觸覺手套上布滿了可伸縮、活動的黑色裝置，即使是指尖也可以移動變化。

從游戲互動來看，戴上手套后，手勢識別十分準(zhǔn)確而靈活，玩家可以對不同的物體進(jìn)行抓握和操控，推倒多米諾牌，白色的球體在手中隨手部移動而滾動，均十分自然。

用戶與用戶之間可以進(jìn)行真實的互動，比如握手、擊拳、手指間的互動等等。手勢識別非常準(zhǔn)確、細(xì)致，可惜的是，我們作為觀看者無法親身體會手部與虛擬物體交互時的模擬觸感。

根據(jù)演示視頻，距離我們想象中在虛擬世界模擬真實世界豐富的觸感，比如流水、玻璃、金屬、木材、毛衣......仍有一段距離，即便如此，到達(dá)現(xiàn)階段的效果也是一次困難重重的人機(jī)交互探索。

耗時七年，Meta人機(jī)交互方案觸覺手套的攻艱之路

想要將VR觸覺反饋手套做好，并非容易的事情，即使是對Meta這樣匯集大量高科技人才的公司而言。

Sean Keller是RL研究室總監(jiān)，同時也是解決這一問題的團(tuán)隊創(chuàng)立者，在他的帶領(lǐng)下，七年間，這個團(tuán)隊由一個人擴(kuò)張到匯聚幾百位世界級專家。

Keller團(tuán)體想要發(fā)明柔軟、輕便的觸覺手套，需要解決VR/AR交互的兩個問題：幫助計算機(jī)準(zhǔn)確理解佩戴者的手部運作并給出反饋，并為佩戴者再現(xiàn)一系列復(fù)雜、細(xì)微的感覺，比如壓力、紋理和振動，以模擬虛擬物體在手中的真實感受。

這樣的新型觸覺手套需要跨學(xué)科以及工程學(xué)科的專業(yè)知識，并在此基礎(chǔ)上有所突破。在Keller帶領(lǐng)下的RL團(tuán)隊學(xué)習(xí)了如何感知觸覺，并不斷研究手套如何適配不同大小的手型的同時，還能與用戶的手保持耦合。

圖源：uploadvr

他們首先從在手上創(chuàng)造可信的觸覺開始。

為了提供真實的觸感，每支觸覺手套都需要上百個遍布手部的執(zhí)行器（微型電機(jī)），并以一種讓佩戴者感覺像在觸摸虛擬物體的方式協(xié)同移動。

以現(xiàn)有的機(jī)械制動器，會產(chǎn)生過多的熱量，用戶無法舒適地佩戴一整天。而且它們太大、太貴并且非常耗電，無法呈現(xiàn)逼真的觸覺。

1、控制氣流：構(gòu)建高速微流體處理器

RL Research硬件工程總監(jiān)Tristan Trutna說，“不可能在手上設(shè)置1000個小電機(jī)與電線，即使你有無限的資源用來完成它，也做不到。情況太復(fù)雜，而且熱量太高。如果需要在不同位置、不同距離數(shù)以千計的有形力，要么需要氣動，要么需要液壓或者是高密度電制動器。”

經(jīng)過兩年研究，團(tuán)隊受到了傳統(tǒng)電氣金屬組件的限制。于是他們做出假設(shè)，使用柔軟、柔韌的驅(qū)動器替代機(jī)械驅(qū)動器，這些驅(qū)動器由全新的材料制成，可以根據(jù)佩戴者的動作改變形態(tài)。但這樣的制動器并不存在。

團(tuán)隊開始轉(zhuǎn)向軟體機(jī)器人與微流體這個新興領(lǐng)域，這類技術(shù)通常用于假肢與PoCket診斷設(shè)備。兩年間，他們在氣制動器（使用氣壓產(chǎn)生力）與電制動器（在出現(xiàn)電場時改變形態(tài)與尺寸）兩個方向都取得了巨大進(jìn)展。

為了控制這些新的軟體制動器，團(tuán)隊正在構(gòu)建世界上第一個高速微流體處理器——一枚安裝在手套上非常小的微型流體芯片，它能通過高速閥門何時以及在多遠(yuǎn)處進(jìn)行開關(guān)來控制移動制動器的氣流。

2、“觸覺渲染”：構(gòu)建虛擬環(huán)境中的精準(zhǔn)感官

即便有了控制氣流的方法，系統(tǒng)也需要知道何時何地提供正確的感覺，這需要先進(jìn)的手部追蹤技術(shù)，讓計算機(jī)能夠準(zhǔn)確地知道手在虛擬場景中的位置，無論是否與虛擬對象接觸，手部與對象如何在交互。

這同樣需要一種新型的渲染軟件，可以根據(jù)手的位置和對虛擬環(huán)境的理解，在準(zhǔn)確的時間向手上的制動器發(fā)送正確的指令，包括虛擬物體的紋理、重量、剛度等。

圖源：Tech.fb

RL 研究軟件工程師 Forrest Smith 說，“人們通常將‘渲染’視為視覺效果。我們將這個詞也用在了手套上，我們正在做的是獲取虛擬世界的狀態(tài)以及您與它的交互，并將其渲染到制動器，以讓用戶接受到相應(yīng)的感覺。”

RL研究工程師Justin Clark寫道，“為了渲染與對象的實時交互，我們需要進(jìn)行相應(yīng)的物理模擬”。物理引擎（用于模擬視頻游戲中對象交互的軟件）用于確定您的手在與虛擬對象交互時應(yīng)用感受到的力的方向、大小和位置，然后，觸覺渲染算法將這此信息與觸覺設(shè)備的特性（比如各個制動器的位置與屬性）相結(jié)合，以便向設(shè)備發(fā)送正確的指令。

RL Research 軟件工程師 Andrew Doxon 補(bǔ)充道：“挑戰(zhàn)之一是構(gòu)建適用于不同類型制動器并支持各種觸覺體驗的軟件。最終，我們還需要構(gòu)建工具，讓人們能夠像創(chuàng)建視覺或音頻內(nèi)容一樣創(chuàng)建觸覺內(nèi)容。”

3、結(jié)合聽覺、視覺和觸覺反饋

團(tuán)隊研究進(jìn)入第四年，第三個挑戰(zhàn)出現(xiàn)了，為了使紋理和感覺發(fā)揮作用，他們必須在不完全重現(xiàn)真實物理的情況下模擬真實的物理觸碰。

雖然觸覺手套能提供一定的觸覺反饋，但卻不能在手部抓虛擬物體時完美的實現(xiàn)閉合，或是在將虛擬物體放置在桌面上時阻止手穿透虛擬桌面。

他們開始轉(zhuǎn)向感知科學(xué)與多感官整合，以研究人類感官如何協(xié)同工作以建立我們對世界的理解。

UX 研究科學(xué)經(jīng)理 Sophie Kim 解釋了該團(tuán)隊如何利用人類的感知能力來創(chuàng)造令人信服的感覺： “我們的大腦非常擅長接收一點觸覺信號、一點視覺信號、一點聽覺信號，并將它們?nèi)诤显谝黄鹨詫崿F(xiàn)立體的感覺，并讓大腦相信手中存在一個物體”。

RL 感知研究科學(xué)家 Jess Hartcher-O'Brien 則描述了操縱立方體如何讓我們了解在 AR/VR 中“感覺整合”可能是什么樣子。“如果我拿起一個立方體，我已經(jīng)對它的材料類型以及它的重量有了一些假設(shè)。我抓住它，對材料進(jìn)行了驗證，所以我將關(guān)于其材料特性的視覺線索和來自第一次觸碰瞬間的觸覺反饋結(jié)合起來。當(dāng)我去操縱物體時，我的大腦會識別摩擦力和慣性，并且可以計算出這個物體的密度或重量。我的視覺系統(tǒng)正在根據(jù)它看到我手臂移動的方式進(jìn)行更新。本體感覺告訴我我的手臂在空間中的位置，它移動的速度有多快，以及我的肌肉在做什么。”

觸覺手套甚至可以讓佩戴者的感知系統(tǒng)相信它正在感受物體的重量，通過用制動器輕輕拉動佩戴者手指的皮膚來模擬握持物體時的重力拉力。但這一切都必須準(zhǔn)確計時。

在2017年末的一個實驗中（如下圖），團(tuán)隊使用指尖上的單個振動觸覺設(shè)備提供觸覺反饋，這些由不同材料制成的虛擬球在VR中從天而降，因為材質(zhì)不同，因此在每個球落在虛擬的指尖上時，都有其獨特的視覺、聽覺和觸覺反饋線索。

Keller表示：“所有的時間和工程都非常適合這種視-聽-觸覺體驗，你可以感受到它是一塊泡沫、木頭或是大理石，你可以體驗這些材料在下落時輕輕撞擊您手指的感覺。當(dāng)我體驗到這一點時，感覺非常了不起。”

4、舒適耐用前提下，手套材質(zhì)的探索

隨著項目的成熟，團(tuán)隊開始解決手套舒適度以及將傳感器與機(jī)器人制動器集成到手套材料的挑戰(zhàn)。

一副僵硬、沉重、易脫落或有其他讓人感覺不適的手套，會即將讓佩戴者從虛擬體驗中脫離出。為了避免這種情況，手套重量要輕、要柔軟且高度耐用。

RL工程師Katherine Healy 解釋說：“我們意識到我們需要將新技術(shù)小型化并設(shè)計多功能系統(tǒng)，這樣做可以讓我們在更小的空間內(nèi)安裝更多組件，做更多的事情，這對于實現(xiàn)舒適的外形至關(guān)重要。”

圖源：Tech.fb

材料小組開始發(fā)明新的、廉價的聚合物——像塑料和硅膠這樣的柔性材料——既舒適又可拉伸，并在分子層面進(jìn)行了定制以滿足新的功能。這需要全新的制造技術(shù)來將這些新材料變成非常細(xì)的纖維，然后可以縫制、針織或編織成手套。

RL 研究科學(xué)經(jīng)理 Kristy Jost 說：“導(dǎo)電紗并不能提供我們在 VR 中進(jìn)行交互所需的所有功能，這就是為什么我們正在探索如何在同一纖維或織物中構(gòu)建多種功能——包括導(dǎo)電、電容和傳感功能，并啟用更纖薄、更耐磨的外形的原因。”

制造纖薄、輕便的觸覺手套是一項挑戰(zhàn)，定制這些手套以適應(yīng)數(shù)十億人又是另一項挑戰(zhàn)。

這也是為何材料小組同時在探索制造技術(shù)，使每只手套都可以定制，以獲得最大的觸覺精度和舒適度的原因。這樣做意味著開發(fā)設(shè)計和制造微型制動器的新方法，并創(chuàng)建新的編織和刺繡工藝以將它們精確地嵌入手套中。
希利說：“今天，手套由熟練的工程師和技術(shù)人員單獨制造，并手工制造子系統(tǒng)、組裝手套，我們盡可能使用半自動化工藝，但大規(guī)模生產(chǎn)這些手套需要發(fā)明新的制造工藝。”

歷經(jīng)以上四道“檻”，Meta的RL實驗室才得以讓Meta的第三項人機(jī)交互方式觸覺手套成為現(xiàn)實。

不過，除去成功的欣喜，近日一則VR創(chuàng)企HaptX指責(zé)Meta觸覺手套原型抄襲其專利的新聞給這Meta這項研究成果蒙上了一層陰影。

結(jié)語

在虛擬世界擁有觸覺是一項極其復(fù)雜同時也異常困難的研究，而觸覺手套的意義也并不會止步于VR外設(shè)。

RL研究室總監(jiān)Sean Keller說：“在解決VR/AR交互問題上，雙手的價值是巨大的”。這些手套不僅僅只是外圍設(shè)備，更重要的是，還能讓虛擬世界變得有形。

原文鏈接：
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/