編譯/VR陀螺

近日，美國(guó)專利商標(biāo)局正式授予蘋(píng)果公司一項(xiàng)專利，該專利涉及具有顯示生成組件和一個(gè)或多個(gè)輸入設(shè)備的計(jì)算機(jī)系統(tǒng)，并提供計(jì)算機(jī)生成的體驗(yàn)，包括但不限于通過(guò)顯示器提供虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)體驗(yàn)的電子裝置。在很大程度上，蘋(píng)果的發(fā)明深入了未來(lái)的混合現(xiàn)實(shí)頭顯，該頭顯將與微手勢(shì)和眼動(dòng)追蹤相結(jié)合，在玩電子游戲、導(dǎo)航菜單和控制媒體播放時(shí)可能很有用。

在顯示一個(gè)三維環(huán)境的同時(shí)，計(jì)算機(jī)系統(tǒng)會(huì)在第一位置檢測(cè)到一只手，該位置與三維環(huán)境的一部分相對(duì)應(yīng)。響應(yīng)于檢測(cè)到處于第一位置的手，根據(jù)確定該手正以第一預(yù)定義配置被握住，計(jì)算機(jī)系統(tǒng)顯示用于在三維環(huán)境中使用手勢(shì)輸入的第一操作環(huán)境的視覺(jué)指示；以及根據(jù)確定該手未以第一預(yù)定義配置被握住，計(jì)算機(jī)系統(tǒng)則放棄顯示該視覺(jué)指示。

在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)允許用戶使用手指相對(duì)于其他手指或同一只手的部分的小動(dòng)作所執(zhí)行的微手勢(shì)來(lái)與三維環(huán)境（例如，虛擬或混合現(xiàn)實(shí)環(huán)境）互動(dòng)。

微手勢(shì)是用攝像頭（例如，與頭戴式設(shè)備集成的攝像頭或安裝在遠(yuǎn)離用戶的地方，如在CGR房間）來(lái)檢測(cè)的。例如，與觸摸感應(yīng)表面或其他物理控制器相反的位置。

微手勢(shì)的不同運(yùn)動(dòng)和位置以及各種運(yùn)動(dòng)參數(shù)被用來(lái)確定在三維環(huán)境中執(zhí)行的操作。通過(guò)使用攝像頭捕捉微表情與三維環(huán)境進(jìn)行互動(dòng)，使用戶可以在物理環(huán)境中自由移動(dòng)而不受物理輸入設(shè)備的束縛，這使用戶可以更自然和有效地探索三維環(huán)境。

此外，微手勢(shì)是離散且不顯眼的，適合于可能發(fā)生在公共場(chǎng)合和/或需要禮節(jié)的互動(dòng)。

手的準(zhǔn)備狀態(tài)配置被計(jì)算機(jī)系統(tǒng)用作指示，表明用戶打算在與當(dāng)前顯示的操作環(huán)境不同的預(yù)定義操作環(huán)境中與計(jì)算機(jī)系統(tǒng)互動(dòng)。例如，預(yù)定義的操作環(huán)境是在當(dāng)前顯示的應(yīng)用程序之外與設(shè)備進(jìn)行的一次或多次交互（例如，游戲、通信會(huì)話、媒體播放會(huì)話、導(dǎo)航等）。

圖源：patentlyapple

蘋(píng)果公司的專利圖4說(shuō)明了手部追蹤單元#243。在一些實(shí)施例中，眼動(dòng)追蹤單元被配置為追蹤用戶的注視點(diǎn)相對(duì)于用戶手的位置和運(yùn)動(dòng)。專利圖4進(jìn)一步包括由圖像傳感器#404捕獲的深度圖#410的示意圖。

專利圖4還示意性地說(shuō)明了控制器最終從手的深度圖#40中提取的手的骨架#414。在圖4中，該骨架被疊加在手部背景#416上，該背景已從原始深度圖中分割出來(lái)。

在一些實(shí)施方案中，手的關(guān)鍵特征點(diǎn)（例如，對(duì)應(yīng)于指關(guān)節(jié)、指尖、手掌中心、連接到手腕的手的末端等）以及可選地連接到手的手腕或手臂上的特征點(diǎn)被識(shí)別并位于手的骨架#414上。

在一些實(shí)施例中，這些關(guān)鍵特征點(diǎn)在多個(gè)圖像幀上的位置和運(yùn)動(dòng)被控制器#110用來(lái)確定手部執(zhí)行的手勢(shì)或手部的當(dāng)前狀態(tài)。

圖源：patentlyapple

蘋(píng)果公司的專利圖7A提出了說(shuō)明用戶與三維環(huán)境交互的方框圖。

蘋(píng)果公司的專利圖7B說(shuō)明了一個(gè)顯示菜單#7170的用戶界面環(huán)境示例，其中包括用戶界面對(duì)象#7172-7194。該菜單在混合現(xiàn)實(shí)環(huán)境中顯示。例如，漂浮在空中或疊加在三維環(huán)境中的物理對(duì)象上，并對(duì)應(yīng)于與混合現(xiàn)實(shí)環(huán)境相關(guān)的操作或與物理對(duì)象相關(guān)的操作；圖7C菜單#7170由設(shè)備(例如，設(shè)備#7100或HMD)的顯示器顯示，其中至少有一部分由設(shè)備#7100的一個(gè)或多個(gè)后向攝像頭捕獲的物理環(huán)境的視圖疊加。在一些實(shí)施方案中，菜單顯示在設(shè)備（例如，平視顯示器或HMD）的透明或半透明的顯示器上，通過(guò)該顯示器可以看到物理環(huán)境。

蘋(píng)果公司的專利圖7G說(shuō)明了用處于準(zhǔn)備狀態(tài)的手進(jìn)行的示例手勢(shì)和顯示的三維環(huán)境的示例響應(yīng)，該響應(yīng)取決于用戶的注視點(diǎn)。

在一些實(shí)施例中，用戶的注視點(diǎn)指向三維環(huán)境中對(duì)手勢(shì)輸入有反應(yīng)的虛擬物體，只有在發(fā)現(xiàn)用戶的手也處于提供手勢(shì)輸入的預(yù)定義準(zhǔn)備狀態(tài)時(shí)，才會(huì)顯示該虛擬物體可用的一個(gè)或多個(gè)互動(dòng)選項(xiàng)的視覺(jué)指示。

想要了解更多細(xì)節(jié)，請(qǐng)查閱蘋(píng)果公司的授權(quán)專利11,340,756。

來(lái)源：patentlyapple