編譯/VR陀螺

近日，美國專利商標(biāo)局發(fā)布了蘋果公司的一項延續(xù)專利申請，該申請涉及用于將用戶沉浸在由頭戴式顯示器（HMD）生成的虛擬現(xiàn)實（VR）或增強/混合現(xiàn)實（MR）環(huán)境中。

沉浸質(zhì)量受幾個重要因素的影響。例如顯示器的特性、圖像質(zhì)量、幀速率、像素分辨率、高動態(tài)范圍（HDR）、持久性和紗窗效應(yīng)（即屏幕上像素之間的可見線條）。

現(xiàn)在業(yè)內(nèi)普遍認(rèn)為，追蹤各種元素是實現(xiàn)高端VR和MR應(yīng)用程序體驗的基本前提。在這些元素中，頭部位置追蹤、用戶身體追蹤和環(huán)境追蹤在實現(xiàn)出色的沉浸感方面起著關(guān)鍵作用。

旨在估計環(huán)境中HMD位置和方向的頭部位置追蹤 （此后稱為位置追蹤 ）必須延遲低又準(zhǔn)確。原因是渲染的圖形必須與用戶的頭部動作緊密匹配，才能在VR中產(chǎn)生沉浸感，并且需要在MR的真實世界中正確對齊虛擬內(nèi)容。  

用戶身體追蹤用于估計用戶身體（特別是但不限于手和手指）相對于HMD的位置和方向。它可以在VR和MR中提供一種用戶輸入方式（例如手勢），從而可以與虛擬元素進行交互。雖然某些位置追蹤方法也可以用于手部追蹤（例如，手持控制器上帶有LED陣列的IR攝像機），但其他方法則利用較小的分析空間（通常距HMD 1米以內(nèi)）來增加手和手指追蹤算法的魯棒性。  

例如，近距離飛行時間（ToF）攝像機可以與HMD集成在一起。這些攝像機可以產(chǎn)生手的深度圖，從中可以構(gòu)建手的骨骼模型。另一種方法是將IR LED泛光燈與相機一起使用，以分割出并估計手和手指上的3D點。

蘋果的專利圖1是具有多個攝像機和紅外（IR）發(fā)射器的用戶頭戴式顯示器（HMD）的示意圖。圖2A是用于實現(xiàn)虛擬現(xiàn)實和混合現(xiàn)實的光學(xué)器件、顯示器和照相機的示例性實施例的俯視圖。

蘋果的專利圖4A示出了HMD設(shè)備的第一示例性實施例的正視圖，其中具有為pass-through目的（MR）而優(yōu)化的兩個RGB相機和為追蹤提供可視數(shù)據(jù)的兩個IR相機；圖5是通過位置和用戶身體追蹤來實現(xiàn)VR處理步驟的流程圖；圖8是實現(xiàn)用戶身體追蹤的示例性過程的流程圖，它還包括手勢識別。

作為一項延續(xù)專利，蘋果在發(fā)明中增加了新的專利權(quán)利要求。以下是近日發(fā)布的一些主要新增功能，重點放在使用紅外（IR）投影儀上。

專利權(quán)利要求＃1：一種方法，包括：在包括非暫時性存儲器的頭戴式設(shè)備（HMD）處，有一個或多個處理器，以及用于與第一和第二RGB立體相機進行通信的通信接口、紅外（IR）投影儀、一個或多個紅外傳感器和一個顯示器；通過第一RGB立體攝像機獲取物理環(huán)境的第一立體圖像；通過第二RGB立體攝像機獲取物理環(huán)境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外圖樣投射到物理環(huán)境上；通過一個或多個IR傳感器，獲取與IR圖案的反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；通過至少部分地基于紋理信息將第一立體圖像中的每個像素與第二立體圖像中的不同像素進行匹配來生成密集深度圖；通過基于密集深度圖將虛擬內(nèi)容與第一和第二立體圖像進行合成來生成顯示圖像，并通過顯示器顯示圖像。

專利權(quán)利要求3：根據(jù)權(quán)利要求1所述的方法，還包括：經(jīng)由所述IR投影儀根據(jù)隨機或偽隨機算法之一生成所述IR圖案。

專利權(quán)利要求＃8：根據(jù)權(quán)利要求1所述的方法，其中，所述HMD的通信接口還與一個或多個IR泛光燈通信，并且所述方法還包括：根據(jù)時間來操作所述IR投影儀和所述一個或多個IR泛光燈。

專利權(quán)利要求＃9：根據(jù)權(quán)利要求8所述的方法，還包括：實時地調(diào)制紅外投影儀和所述一個或多個紅外泛光燈的曝光時間、傳感器增益和強度中的至少一項，以降低圖像飽和度并改善動態(tài)性能。

專利權(quán)利要求11：頭戴式設(shè)備（HMD），其包括：用于與第一和第二RGB立體相機進行通信的通信接口、紅外（IR）投影儀、一個或多個IR傳感器以及顯示器；以及一個或多個處理器；非暫時性存儲器，其存儲一個或多個程序，當(dāng)由一個或多個處理器執(zhí)行該程序時，該程序使HMD通過第一RGB立體照相機獲得物理環(huán)境的第一立體圖像；以及通過第二RGB立體攝像機獲取物理環(huán)境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外圖樣投射到物理環(huán)境上；通過一個或多個IR傳感器，獲取與IR圖案的反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；通過至少部分地基于紋理信息將第一立體圖像中的每個像素與第二立體圖像中的不同像素進行匹配來生成密集深度圖；通過基于密集深度圖將虛擬內(nèi)容與第一和第二立體圖像進行合成來生成顯示圖像；并通過顯示器顯示圖像。

更多詳情可查看蘋果這項延續(xù)專利20210011289，以獲取20項新專利申請的完整說明。

來源：patentlyapple