編譯/VR陀螺

近日，美國專利商標(biāo)局公布了蘋果公司的一項(xiàng)專利申請(qǐng)，再次深入解釋了在設(shè)置蘋果 Vision Pro 測試眼睛參數(shù)時(shí)，基于視網(wǎng)膜成像和注冊(cè)系統(tǒng)的視力追蹤技術(shù)。

蘋果公司在其專利背景中指出，現(xiàn)有的眼動(dòng)追蹤技術(shù)會(huì)分析從用戶眼睛反射并通過圖像傳感器捕捉到的閃光。一些頭戴式系統(tǒng)可能包含眼動(dòng)追蹤技術(shù)，利用位于設(shè)備邊緣（如眼鏡框）的光源投射的光線來分析閃光。眼動(dòng)追蹤系統(tǒng)可能無法準(zhǔn)確確定觀看者的注視深度，也無法實(shí)時(shí)跟蹤用戶的注視深度。因此，最好能為頭戴式系統(tǒng)提供一種方法，精準(zhǔn)地確定用戶專注于場景的哪個(gè)部分（哪個(gè)距離或“深度”），以評(píng)估眼睛的特征（如注視方向、眼睛朝向、識(shí)別眼睛的虹膜等）。

基于視網(wǎng)膜成像的視差跟蹤

蘋果公司的專利涵蓋了基于視網(wǎng)膜成像確定和跟蹤眼睛特征（如眼睛調(diào)節(jié)距離或深度）的設(shè)備、系統(tǒng)和方法的各種實(shí)施方案。眼睛調(diào)節(jié)的變化會(huì)在視網(wǎng)膜圖像中產(chǎn)生兩種效應(yīng)，即縮放和散焦。在某些方面，一種方法可以獲取視網(wǎng)膜圖像，獲得注冊(cè)圖像，并根據(jù)模糊（如點(diǎn)擴(kuò)散函數(shù) PSF）和/或幾何縮放確定用戶相對(duì)于注冊(cè)圖像的適應(yīng)性。

通過確定（提高準(zhǔn)確度）用戶集中在場景的哪個(gè)部分（例如，哪個(gè)深度）以及用戶的適應(yīng)程度，可用于改進(jìn)眼動(dòng)追蹤并增強(qiáng)XR體驗(yàn)。

此外，跟蹤適應(yīng)性可用于更好地實(shí)時(shí)了解用戶的精準(zhǔn)行為，并相應(yīng)地調(diào)整 XR 體驗(yàn)。在某些方面，跟蹤適應(yīng)可用于將內(nèi)容（例如虛擬內(nèi)容）的感知深度調(diào)整為用戶當(dāng)前適應(yīng)的深度。

本專利的一個(gè)創(chuàng)新方面可以體現(xiàn)在以下方法中：在具有處理器的電子設(shè)備上，產(chǎn)生從眼睛視網(wǎng)膜上反射的光；從圖像傳感器接收視網(wǎng)膜部分的圖像，該圖像對(duì)應(yīng)于從眼睛視網(wǎng)膜散射的光的多個(gè)反射、 獲取與第一容納狀態(tài)相對(duì)應(yīng)的眼睛表征，該表征代表視網(wǎng)膜的至少一部分，并根據(jù)視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征。

在某些方面，眼睛的表示包括視網(wǎng)膜至少部分的映射。

在某些方面，生成視網(wǎng)膜至少部分的映射包括在用戶(i)將眼睛調(diào)節(jié)到注冊(cè)深度，和(ii)掃描通過代表定義視場的注視角空間時(shí)，獲取用戶眼睛的注冊(cè)圖像，并基于組合兩個(gè)或多個(gè)眼睛注冊(cè)圖像的至少一部分，生成視網(wǎng)膜至少部分的映射。

在某些方面，基于視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征，包括估計(jì)特征的散焦程度。在某些方面，根據(jù)焦點(diǎn)像素來估計(jì)特征的散焦程度。

在某些方面，根據(jù)視網(wǎng)膜部分的圖像與眼睛表征的比較來跟蹤眼睛特征，包括銳化視網(wǎng)膜部分的圖像質(zhì)量，以及根據(jù)銳化視網(wǎng)膜部分的圖像質(zhì)量所需的鏡頭移動(dòng)來確定散焦程度。

下面的蘋果專利圖 8 是結(jié)合了其眼動(dòng)追蹤系統(tǒng)的頭戴式設(shè)備（HMD/Vision Pro）的示例框圖；圖 2 展示了眼動(dòng)追蹤系統(tǒng)的示例；圖 6 是跟蹤眼球特征的注冊(cè)過程方法的流程圖。

圖源：patentlyapple

關(guān)于蘋果公司的專利，圖 2 展示了眼動(dòng)追蹤系統(tǒng)的示例環(huán)境 #200。該示例環(huán)境的系統(tǒng)使用光源 #210，例如產(chǎn)生紅外光的 LED 環(huán)（例如 HMD 或 iPad 上的光源 #34）。

此外，眼動(dòng)追蹤系統(tǒng)還包括圖像傳感器 #220（例如，用于觀察用戶眼睛視網(wǎng)膜上的散射光，以獲取視網(wǎng)膜 #47 的圖像 #230。如圖所示，獲取的圖像提供了眼睛血管的視圖。

此外，或者在某些實(shí)施方案中，獲取的圖像還可以提供除血管以外的其他信息，例如其他可檢測的視網(wǎng)膜特征。在某些實(shí)施方案中，如圖所示，圖像傳感器 #220 嵌入光源 #210 （例如，HMD 上的 LED 環(huán)）內(nèi)或與光源 #210 保持一致。

在某些實(shí)施方案中，如圖 2 所示，光源 #220（例如 LED 或類似裝置）在用戶調(diào)節(jié)視力時(shí)（例如視角 α 202a）照亮用戶眼睛視網(wǎng)膜的表面。然后，當(dāng)光線從視網(wǎng)膜表面反射時(shí)，圖像傳感器 #210 獲取基于視網(wǎng)膜的注視跟蹤圖像（例如，圖像 #230 的 #235 部分顯示了與視角 α #202a 相關(guān)的位置視角 α #202b）。

例如，在注冊(cè)過程中，用戶可能會(huì)被指示將視線聚焦到顯示屏遠(yuǎn)處的某個(gè)特定位置（例如，聚焦到 1.5 米外的某個(gè)位置）。特定位置也可以設(shè)置在設(shè)備的顯示屏上。如果用戶將設(shè)備戴在頭上（例如 HMD），那么該位置可能會(huì)出現(xiàn)在顯示屏上非常遠(yuǎn)的地方（例如，盯著一個(gè)小點(diǎn)，這樣目光可能會(huì)望向無限遠(yuǎn)處）。光源發(fā)出的光波經(jīng)眼睛視網(wǎng)膜反射后，被探測器（如圖像傳感器）檢測到，從而獲取視網(wǎng)膜表面的圖像數(shù)據(jù)。圖像傳感器的鏡頭可以聚焦到無限遠(yuǎn)，這樣當(dāng)與眼睛的光學(xué)系統(tǒng)結(jié)合時(shí)，視網(wǎng)膜表面就會(huì)清晰地成像到圖像傳感器上（例如，當(dāng)眼睛聚焦到無限遠(yuǎn)時(shí)，這是放松的健康眼睛的默認(rèn)情況）。

下面的蘋果專利圖 3 展示了一個(gè)眼動(dòng)追蹤系統(tǒng)的示例用戶適應(yīng)光學(xué)效應(yīng)；圖 4 展示了跟蹤眼球特征的系統(tǒng)流程圖。

圖源：patentlyapple

想要了解更多專利細(xì)節(jié)，可查看蘋果的專利申請(qǐng) 20230309824。

來源：patentlyapple