編譯/VR陀螺

近日，美國專利商標局公布了蘋果公司的一項專利申請，再次深入解釋了在設(shè)置蘋果 Vision Pro 測試眼睛參數(shù)時，基于視網(wǎng)膜成像和注冊系統(tǒng)的視力追蹤技術(shù)。

蘋果公司在其專利背景中指出，現(xiàn)有的眼動追蹤技術(shù)會分析從用戶眼睛反射并通過圖像傳感器捕捉到的閃光。一些頭戴式系統(tǒng)可能包含眼動追蹤技術(shù)，利用位于設(shè)備邊緣（如眼鏡框）的光源投射的光線來分析閃光。眼動追蹤系統(tǒng)可能無法準確確定觀看者的注視深度，也無法實時跟蹤用戶的注視深度。因此，最好能為頭戴式系統(tǒng)提供一種方法，精準地確定用戶專注于場景的哪個部分（哪個距離或“深度”），以評估眼睛的特征（如注視方向、眼睛朝向、識別眼睛的虹膜等）。

基于視網(wǎng)膜成像的視差跟蹤

蘋果公司的專利涵蓋了基于視網(wǎng)膜成像確定和跟蹤眼睛特征（如眼睛調(diào)節(jié)距離或深度）的設(shè)備、系統(tǒng)和方法的各種實施方案。眼睛調(diào)節(jié)的變化會在視網(wǎng)膜圖像中產(chǎn)生兩種效應(yīng)，即縮放和散焦。在某些方面，一種方法可以獲取視網(wǎng)膜圖像，獲得注冊圖像，并根據(jù)模糊（如點擴散函數(shù) PSF）和/或幾何縮放確定用戶相對于注冊圖像的適應(yīng)性。

通過確定（提高準確度）用戶集中在場景的哪個部分（例如，哪個深度）以及用戶的適應(yīng)程度，可用于改進眼動追蹤并增強XR體驗。

此外，跟蹤適應(yīng)性可用于更好地實時了解用戶的精準行為，并相應(yīng)地調(diào)整 XR 體驗。在某些方面，跟蹤適應(yīng)可用于將內(nèi)容（例如虛擬內(nèi)容）的感知深度調(diào)整為用戶當前適應(yīng)的深度。

本專利的一個創(chuàng)新方面可以體現(xiàn)在以下方法中：在具有處理器的電子設(shè)備上，產(chǎn)生從眼睛視網(wǎng)膜上反射的光；從圖像傳感器接收視網(wǎng)膜部分的圖像，該圖像對應(yīng)于從眼睛視網(wǎng)膜散射的光的多個反射、 獲取與第一容納狀態(tài)相對應(yīng)的眼睛表征，該表征代表視網(wǎng)膜的至少一部分，并根據(jù)視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征。

在某些方面，眼睛的表示包括視網(wǎng)膜至少部分的映射。

在某些方面，生成視網(wǎng)膜至少部分的映射包括在用戶(i)將眼睛調(diào)節(jié)到注冊深度，和(ii)掃描通過代表定義視場的注視角空間時，獲取用戶眼睛的注冊圖像，并基于組合兩個或多個眼睛注冊圖像的至少一部分，生成視網(wǎng)膜至少部分的映射。

在某些方面，基于視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征，包括估計特征的散焦程度。在某些方面，根據(jù)焦點像素來估計特征的散焦程度。

在某些方面，根據(jù)視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征，包括銳化視網(wǎng)膜部分的圖像質(zhì)量，以及根據(jù)銳化視網(wǎng)膜部分的圖像質(zhì)量所需的鏡頭移動來確定散焦程度。

下面的蘋果專利圖 8 是結(jié)合了其眼動追蹤系統(tǒng)的頭戴式設(shè)備（HMD/Vision Pro）的示例框圖；圖 2 展示了眼動追蹤系統(tǒng)的示例；圖 6 是跟蹤眼球特征的注冊過程方法的流程圖。

圖源：patentlyapple

關(guān)于蘋果公司的專利，圖 2 展示了眼動追蹤系統(tǒng)的示例環(huán)境 #200。該示例環(huán)境的系統(tǒng)使用光源 #210，例如產(chǎn)生紅外光的 LED 環(huán)（例如 HMD 或 iPad 上的光源 #34）。

此外，眼動追蹤系統(tǒng)還包括圖像傳感器 #220（例如，用于觀察用戶眼睛視網(wǎng)膜上的散射光，以獲取視網(wǎng)膜 #47 的圖像 #230。如圖所示，獲取的圖像提供了眼睛血管的視圖。

此外，或者在某些實施方案中，獲取的圖像還可以提供除血管以外的其他信息，例如其他可檢測的視網(wǎng)膜特征。在某些實施方案中，如圖所示，圖像傳感器 #220 嵌入光源 #210 （例如，HMD 上的 LED 環(huán)）內(nèi)或與光源 #210 保持一致。

在某些實施方案中，如圖 2 所示，光源 #220（例如 LED 或類似裝置）在用戶調(diào)節(jié)視力時（例如視角 α 202a）照亮用戶眼睛視網(wǎng)膜的表面。然后，當光線從視網(wǎng)膜表面反射時，圖像傳感器 #210 獲取基于視網(wǎng)膜的注視跟蹤圖像（例如，圖像 #230 的 #235 部分顯示了與視角 α #202a 相關(guān)的位置視角 α #202b）。

例如，在注冊過程中，用戶可能會被指示將視線聚焦到顯示屏遠處的某個特定位置（例如，聚焦到 1.5 米外的某個位置）。特定位置也可以設(shè)置在設(shè)備的顯示屏上。如果用戶將設(shè)備戴在頭上（例如 HMD），那么該位置可能會出現(xiàn)在顯示屏上非常遠的地方（例如，盯著一個小點，這樣目光可能會望向無限遠處）。光源發(fā)出的光波經(jīng)眼睛視網(wǎng)膜反射后，被探測器（如圖像傳感器）檢測到，從而獲取視網(wǎng)膜表面的圖像數(shù)據(jù)。圖像傳感器的鏡頭可以聚焦到無限遠，這樣當與眼睛的光學(xué)系統(tǒng)結(jié)合時，視網(wǎng)膜表面就會清晰地成像到圖像傳感器上（例如，當眼睛聚焦到無限遠時，這是放松的健康眼睛的默認情況）。

下面的蘋果專利圖 3 展示了一個眼動追蹤系統(tǒng)的示例用戶適應(yīng)光學(xué)效應(yīng)；圖 4 展示了跟蹤眼球特征的系統(tǒng)流程圖。

圖源：patentlyapple

想要了解更多專利細節(jié)，可查看蘋果的專利申請 20230309824。

來源：patentlyapple