編譯/VR陀螺

早在2017年，蘋果公司就從蒙特利爾的Vrvana公司那里獲得了一項(xiàng)與手部追蹤技術(shù)有關(guān)的專利。今天，美國專利商標(biāo)局正式授予蘋果一項(xiàng)與Apple Vision Pro的主要功能有關(guān)的專利，即手部追蹤和手指手勢(shì)。   

蘋果公司的專利指出，沉浸感的質(zhì)量受制于幾個(gè)重要因素。例如，顯示器的特性，如圖像質(zhì)量、幀率、像素分辨率、高動(dòng)態(tài)范圍（HDR）、持久性和紗窗效應(yīng)（即屏幕上像素之間的可見線條）。

如果顯示的視野太窄，或者各種追蹤功能緩慢和/或不準(zhǔn)確（導(dǎo)致迷失方向和惡心；也就是所謂的暈動(dòng)癥），則沉浸式體驗(yàn)的質(zhì)量會(huì)下降。

沉浸感還受到攝像系統(tǒng)性能的影響，如圖像質(zhì)量（干擾、動(dòng)態(tài)范圍、分辨率、無偽影）和虛擬圖形（三維建模、紋理和照明）與穿透式圖像之間的一致性。在MR中，虛擬元素被實(shí)時(shí)合成到用戶看到的真實(shí)世界環(huán)境中。虛擬元素與真實(shí)世界的表面和物體之間的物理互動(dòng)可以被模擬并實(shí)時(shí)顯示。

對(duì)各種元素的追蹤被普遍認(rèn)為是實(shí)現(xiàn)高端VR和MR應(yīng)用體驗(yàn)的一個(gè)重要前提。在這些元素中，頭部位置追蹤、用戶身體追蹤和環(huán)境追蹤在實(shí)現(xiàn)沉浸感方面起著關(guān)鍵作用。

頭部位置追蹤（從這里開始稱為位置性追蹤），其目的是估計(jì)HMD在環(huán)境中的位置和方向，必須既低延遲又準(zhǔn)確。其原因是，為了在VR中產(chǎn)生高質(zhì)量的沉浸感，渲染的圖形必須與用戶的頭部運(yùn)動(dòng)密切匹配，并且需要在MR中正確地調(diào)整現(xiàn)實(shí)世界中的虛擬內(nèi)容。

用戶身體追蹤可以估計(jì)用戶身體（但不限于手和手指）相對(duì)于HMD的位置和方向。在VR和MR中，它可以提供一種用戶輸入的方式（例如手勢(shì)），從而實(shí)現(xiàn)與虛擬元素的互動(dòng)。雖然一些位置追蹤方法也可用于手部追蹤（例如，帶有手持控制器上的LED陣列的紅外攝像頭），但其他方法利用較小的分析空間（通常在距離HMD一米之內(nèi)），以提高手部和手指追蹤算法的穩(wěn)健性。

例如，近距離的飛行時(shí)間（ToF）攝像頭可以與HMD集成或放置在HMD中。這些攝像頭可以產(chǎn)生手的深度圖，從中可以構(gòu)建手的骨骼模型。另一種方法是使用紅外LED泛光燈和攝像頭來分割和估計(jì)手和手指上的三維點(diǎn)。

圖源：patentlyapple

蘋果公司的專利圖1是一個(gè)用戶佩戴頭戴式顯示器（HMD）的示意圖，該顯示器配有幾個(gè)攝像頭和紅外（IR）發(fā)射器；圖2A是用于實(shí)現(xiàn)VR和MR的光學(xué)器件、顯示器和攝像頭的示例性實(shí)施方案的俯視圖。

圖源：patentlyapple

蘋果公司的專利圖4A顯示了HMD設(shè)備的第一個(gè)示例性實(shí)施方案的前視圖，其中有兩個(gè)為穿透目的（MR）而優(yōu)化的RGB攝像頭和兩個(gè)為追蹤提供視覺數(shù)據(jù)的IR攝像頭；圖5是實(shí)現(xiàn)具有位置和用戶身體追蹤的VR的處理步驟的流程圖；圖8是實(shí)現(xiàn)用戶身體追蹤的示例性過程的流程圖。它還包括手勢(shì)識(shí)別。

想要了解更多專利細(xì)節(jié)，請(qǐng)查閱蘋果公司的授權(quán)專利11693242。

來源：patentlyapple