發(fā)布時間：2019-12-26 11:15 | 標簽：
VR 手勢識別 SDK Oculus Quest
微信掃一掃：分享
微信里點“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
文 | 悔不該殺了華佗
在12月12日，Oculus宣布在V12測試版本中推出Quest的手勢追蹤。而今日，Oculus Quest正式開放了手勢追蹤SDK。現(xiàn)在，開發(fā)者們可以在他們的應(yīng)用程序中集成手勢追蹤功能。
在此前的采訪中，Oculus曾表示，雖然手勢識別功能將會在2020年年初推出，但是他們計劃在功能完善之后在推出，而從現(xiàn)在的動向來看，Oculus顯然在加快VR手勢識別功能的布局。
2014年底，F(xiàn)acebook首次表達了對VR手指追蹤技術(shù)的興趣。此后，公司收購了Nimble VR初創(chuàng)公司，并將其四名手控跟蹤技術(shù)的資深研究員納入麾下。收購時，Oculus非常清楚這項技術(shù)“甚至可能不會用于CV2或CV3”。或許是因為Nimble技術(shù)需要一個專用的深度傳感器。
深度傳感器能夠提供良好的手指追蹤效果，與現(xiàn)在的HoloLens 2 AR新頭顯類似。然而，專用傳感器會增加頭顯的成本和重量，很可能不會被廣泛采用。按照Quest的思路，在普通相機上挑戰(zhàn)高質(zhì)量的手指追蹤效果，難度很大。Quest采用了與其他追蹤技術(shù)相同的硬件，這一點可能會成為Facebook的競爭優(yōu)勢，也可能廣泛用于Facebook的未來產(chǎn)品中。
在2016年Oculus Connect 3大會上，首席科學(xué)家Michael Abrash曾對2021年的VR發(fā)展做出一系列預(yù)測。他指出在手套上添加標記可以完美實現(xiàn)手指跟蹤（并展示了出來），但當時還不能直接投入使用，預(yù)計2021年或許可以實現(xiàn):
Facebook現(xiàn)在就推出這一功能，比Abash的預(yù)測早了一年。Oculus Quest通過四個攝像頭和先進的計算機視覺算法來跟蹤用戶的手和手指。
現(xiàn)在，用戶在Quest的設(shè)置-顯示全部-關(guān)于-版本更新界面將版本更新至V12，此時，設(shè)置便會出現(xiàn)實驗性功能，通過激活“手勢識別”功能，用戶就可以開啟Quest的手勢識別體驗。為了讓用戶更容易的上手，官方還推出了手勢識別的教學(xué)功能，但從功能來看，目前設(shè)備所開放的交互手勢還處于比較早期的階段。對此Oculus表示，手勢識別的初始版本是為了讓用戶去了解手勢追蹤功能，從而讓他們能夠控制Quest的主菜單界面以及少量的自研應(yīng)用。
啟用手勢追蹤功能后，用戶會在手附近看到浮動光標，這些光標與“任務(wù)”菜單上的浮動指針相對應(yīng)。“捏”（無名指和大拇指接觸）代表按下按鈕的“單擊”，或用作拖動可滾動區(qū)域的“單擊并按住”。如果用戶將手面向自己作出捏的動作，就可以顯示或隱藏菜單。
總的來說，Quest的手勢識別是十分精準的，在手掌面向用戶時，設(shè)備基本可以識別到手指的各種動作，為了保證用戶手勢識別的穩(wěn)定性，Quest降低了手勢移動的識別刷新率，如果用戶手勢快速移動，便會導(dǎo)致手勢識別丟失，當用戶手勢穩(wěn)定時再重新捕捉。
不過如果選擇了使用雙手后，手柄被移動的話，將自動轉(zhuǎn)向手柄操控。
目前在Oculus中可以實現(xiàn)以下幾種手勢：
拇指和食指捏合（蘭花指狀），可實現(xiàn)選擇功能。
如果左右手同時做同樣的手勢，將按照先后順序確定手的控制權(quán)。
當雙手合掌、合十或者太過接近的時候手將消失。
當手運動過快時也會消失。
手掌朝向面部，當屏幕中的手掌變成藍色，拇指和食指捏合可以打開/關(guān)閉菜單。
Oculus Quest使用四周的四個定位攝像頭來追蹤手勢，所以基本上手掌處于視線范圍內(nèi)都可以被追蹤到，當手太過處于邊界的時候也將消失。當手回到視線范圍內(nèi)的時候，幾乎沒有反饋延時，追蹤效果非常靈敏。
攝像頭可識別的手部距離來看，在手臂的極限伸展范圍內(nèi)依舊能夠識別到。
當手掌面向正前方握拳或抓取狀態(tài)時，由于識別不到手掌，手將在視線內(nèi)消失。而當手掌面向前方時，手指被手掌遮擋的部分就可能會出現(xiàn)一些識別錯誤。
值得注意的是，陀螺君嘗試在設(shè)備識別到右手時，讓身邊的朋友同時伸出右手，這時設(shè)備就會將位于左邊的右手識別成左手。
此外就像上面提到的，目前所開放的手勢功能還比較少。在現(xiàn)階段開放給開發(fā)者的DEMO和今日宣布的五款具備手勢交互功能的應(yīng)用：《Titans of Space PLUS》、《The Curious Tale of the Stolen Pets》、《Virtual Desktop》、《Virtual Desktop》、《Waltz of the Wizard》中。
我們會發(fā)現(xiàn)一個明顯的特質(zhì)，在類型上基本以休閑為主。在手勢識別的使用上基本以單手手指的“點”和“捏”的動作為主，雖然在部分游戲上可以使用“手握”的動作，但也只在少部分的內(nèi)容上支持。
現(xiàn)在Oculus Quest上手勢追蹤SDK已經(jīng)開放，因此開發(fā)人員可以將手勢追蹤功能集成進他們的應(yīng)用程序中。簡單來說，這意味著開發(fā)人員添加功能所需的代碼和資源。該SDK尚未正式發(fā)布，這就是為什么目前只有自研應(yīng)用程序支持該功能。
Oculus手勢識別SDK現(xiàn)在擁有一個API，可以發(fā)回骨骼模型或者用戶的手部完整網(wǎng)格以及一個可信度值數(shù)。使用Oculus Unity Integration，開發(fā)者可以將手勢追蹤功能與簡單的預(yù)制件組合在一起。本機API和Unity API均可以調(diào)用以檢測捏合并用戶捏合所指向的位置。
不過，不要期望在接下來的幾周內(nèi)看到Quest商店的應(yīng)用程序有更新。 Facebook告訴我們，預(yù)計第一次第三方應(yīng)用程序更新將在2020年初進行。但是，添加一個新的輸入方式通常需要數(shù)周或數(shù)月，具體取決于應(yīng)用程序。
然而，有機會我們可能會在SideQuest上看到帶有手勢追蹤功能的Quest應(yīng)用，這是Quest的非官方第三方商店，可以通過自動執(zhí)行側(cè)載來工作。
有趣的是，SDK文件資料警告開發(fā)人員有關(guān)訪問用戶手部數(shù)據(jù)的隱私：
數(shù)據(jù)使用免責聲明：啟用對手部跟蹤的支持可授予您的應(yīng)用訪問某些用戶數(shù)據(jù)的權(quán)限，例如用戶的估計手部大小和手部姿勢數(shù)據(jù)。僅允許將這些數(shù)據(jù)用于在您的應(yīng)用程序中啟用手部跟蹤，并明確禁止出于任何其他用途。
隨著VR的發(fā)展，它將能夠追蹤越來越多的獨有的可識別生物特征數(shù)據(jù)。SDK文件提到，必須明顯地要求權(quán)限，開發(fā)者才能使用手勢追蹤功能。這可能意味著Facebook打算為用戶提供一個選項，以接受每個應(yīng)用程序的權(quán)限。
手勢追蹤技術(shù)有望增加VR應(yīng)用的便利性，同時也向不熟悉和不喜歡游戲控制器的新用戶開放。
現(xiàn)在，SDK已發(fā)布，同時也已有五個應(yīng)用程序添加了手勢識別的功能，未來將有更多手勢識別應(yīng)用程序逐漸進入消費者的視野，引領(lǐng)新的VR交互的發(fā)展。
第一時間了解XR資訊
關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）
投稿/爆料：tougao@youxituoluo.com
稿件/商務(wù)合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
