編譯/VR陀螺

近日，美國專利商標(biāo)局公布了蘋果公司的一項專利申請，主要涉及未來的混合現(xiàn)實頭顯，該頭顯具有新集成的肢體和眼動追蹤功能。這樣，當(dāng)用戶在虛擬世界或增強現(xiàn)實模式中觸摸游戲中的一個按鈕或在iPad上選擇一個圖標(biāo)時，就能保證觸摸的準(zhǔn)確性。

事實證明，在試圖確定一個準(zhǔn)確的位置時，僅靠手部追蹤是遠(yuǎn)遠(yuǎn)不夠準(zhǔn)確的。蘋果的專利向我們介紹了他們的新解決方案。蘋果公司還在他們的眼動追蹤系統(tǒng)中直接引入了一個獨特的隱私功能。

蘋果公司在其專利摘要中指出，有一些系統(tǒng)會利用手部追蹤，以確定增強現(xiàn)實（AR）或虛擬現(xiàn)實（VR）環(huán)境中的空間選擇點。例如，手部追蹤確定了與用戶的手相關(guān)的手部追蹤區(qū)域，系統(tǒng)可以選擇手部追蹤區(qū)域的中心點作為空間選擇點。

然而，由于手部追蹤的仍然不夠準(zhǔn)確，空間選擇點往往不符合用戶手的實際位置。在某些情況下，空間選擇點和實際位置之間的偏移會導(dǎo)致系統(tǒng)在確定用戶試圖選擇多個顯示的虛擬元素中的一個時出現(xiàn)錯誤。

在這種情況之下，專利中提出了各種實施方案，包括根據(jù)肢體追蹤信息和眼動追蹤信息在計算機生成的現(xiàn)實（CGR）環(huán)境中定位一個用戶控制的空間選擇器。

通過使用肢體追蹤信息和眼動追蹤信息，電子設(shè)備對用戶是否正在選擇虛擬物體的評估比以前不使用眼動追蹤系統(tǒng)時更準(zhǔn)確。

在一些實施方案中，電子設(shè)備會確定與四肢追蹤和眼動追蹤相關(guān)的各自置信度，并使用各自的置信度來定位用戶控制的空間選擇器。

例如，眼動追蹤特征包括CGR環(huán)境的特征（例如，CGR環(huán)境的亮度水平、CGR環(huán)境和CGR物體之間的對比度水平、CGR物體被選擇的可能性）、用戶是否在看外圍、用戶的眼睛注視位置的歷史數(shù)據(jù)和/或類似的數(shù)據(jù)。

在一些實施方案中，電子設(shè)備確定肢體追蹤特征（例如，用戶拿著鉛筆，用戶的肢體在顫抖等情況），并使用肢體追蹤特征來確定與肢體追蹤數(shù)據(jù)相關(guān)的置信度。

圖源：patentlyapple

蘋果公司的專利圖1是便攜式多功能設(shè)備（如iPad）的舉例框圖，該設(shè)備包括新的眼動追蹤傳感器和眼動追蹤控制器，以及新的四肢追蹤傳感器和相關(guān)控制器；圖3B是根據(jù)一些實施方案，基于四肢追蹤和眼動追蹤在CGR環(huán)境中定位用戶控制的空間選擇器的一個例子。

在蘋果公司的專利圖3D中，我們看到了圖3B中所示的iPad上圖標(biāo)的分解視圖。iPad（或HMD電子設(shè)備#320）實現(xiàn)了與右手（#314）的手指（#331）有關(guān)的眼動追蹤功能，以確定CGR環(huán)境的第二個候選虛擬空間位置（#342）。該系統(tǒng)旨在準(zhǔn)確評估用戶在佩戴HMD時選擇什么圖標(biāo)（或其他負(fù)擔(dān)物，如游戲中的按鈕）。

蘋果公司指出，眼動追蹤傳感器檢測iPad（電子設(shè)備）用戶的注視點，并生成指示用戶眼球注視點的眼動追蹤數(shù)據(jù)。在各種實施方案中，眼動追蹤數(shù)據(jù)包括指示用戶在顯示面板上的固定點（例如，視點）的數(shù)據(jù)，例如頭戴式設(shè)備（HMD）內(nèi)的顯示面板，或平視顯示器內(nèi)的顯示面板等。

肢體追蹤傳感器獲得指示用戶肢體位置的追蹤數(shù)據(jù)。例如，在一些實施方案中，肢體追蹤傳感器對應(yīng)于手部追蹤傳感器，該傳感器獲得指示用戶在CGR環(huán)境中的手或手指位置的手部追蹤數(shù)據(jù)。

在一些實施方案中，肢體追蹤傳感器利用計算機視覺技術(shù)，根據(jù)相機圖像估計肢體的姿勢。

蘋果公司后來指出，在一些實施方案中，圖3B所示的電子設(shè)備#320對應(yīng)于頭戴式設(shè)備（HMD），該設(shè)備包括顯示CGR環(huán)境的集成顯示器（例如，內(nèi)置顯示器），如AR環(huán)境或VR環(huán)境。在一些實施方案中，電子設(shè)備320包括一個頭戴式外殼。

在各種實施方案中，頭戴式外殼包括一個連接區(qū)域，另一個具有顯示屏的設(shè)備可以連接到該區(qū)域。

在各種實施方案中，頭戴式外殼的形狀是設(shè)計用于接收另一個包括顯示屏的設(shè)備(例如，圖2中所示的電子設(shè)備220)的容器。例如，在一些實施方案中，電子設(shè)備會滑入/卡入或以其他方式附著在頭戴式外殼上。

圖源：patentlyapple

雖然蘋果公司最終會有不同的高端和低端的HMD解決方案，但蘋果公司在上述專利中提到的內(nèi)容與他們以前的專利有關(guān)。例如下面專利圖4是一個方框圖的例子，該系統(tǒng)#410用于在CGR環(huán)境中基于肢體追蹤和眼動追蹤定位用戶控制的空間選擇器。

圖源：patentlyapple

蘋果專利圖5是基于四肢追蹤和眼動追蹤在CGR環(huán)境中定位用戶控制的空間選擇器的方法#500的流程圖。在各種實施方案中，該方法或其部分是由HMD或其他設(shè)備（iPad、iPhone）執(zhí)行。

除了技術(shù)上面的解決方案，蘋果還探討了未來眼動追蹤系統(tǒng)中的隱私問題。蘋果公司指出了以下幾點：

"在各種實施方案中，電子設(shè)備包括一個隱私子系統(tǒng)（上文圖1的#170），該系統(tǒng)包括一個或多個與用戶信息相關(guān)的隱私設(shè)置過濾器，例如包括在與用戶相關(guān)的眼睛注視數(shù)據(jù)和/或身體位置數(shù)據(jù)中的用戶信息。

在一些實施方案中，隱私子系統(tǒng)選擇性地防止或限制電子設(shè)備獲得和/或傳輸用戶信息。

為此，隱私子系統(tǒng)接收來自用戶的用戶偏好和/或選擇，以響應(yīng)對用戶的提示。在一些實施方案中，隱私子系統(tǒng)防止電子設(shè)備獲取和/或傳輸用戶信息，除非并且直到隱私子系統(tǒng)從用戶那里獲得知情同意。

在一些實施方案中，隱私子系統(tǒng)會對某些類型的用戶信息進行匿名化（例如，擾亂或掩蓋）。例如，隱私子系統(tǒng)會接收用戶的輸入，并指定隱私子系統(tǒng)匿名化用戶的信息類型。

再比如，隱私子系統(tǒng)可以在用戶未指定（自動）的情況下，對可能包括敏感和/或識別信息的某些類型的用戶信息進行匿名處理。

蘋果這項專利申請?zhí)枮?0210216146的專利最初于2021年1月提交。

來源：patentlyapple