編譯/VR陀螺

蘋果Vision Pro的眼動追蹤技術(shù)是推動蘋果這款空間計(jì)算設(shè)備超越其他頭顯的關(guān)鍵技術(shù)之一。上周，美國專利商標(biāo)局公布了蘋果公司的又一項(xiàng)專利申請，該專利特別涉及到為Vision Pro提供基于視網(wǎng)膜成像的調(diào)節(jié)檢測（即聚焦）的系統(tǒng)和方法。

蘋果公司在其專利背景中指出，存在各種眼動追蹤技術(shù)。例如，有些注視追蹤技術(shù)是基于檢測眼睛外部的反射，如光線射向眼睛，在瞳孔和角膜上產(chǎn)生可探測到的反射，這些反射由攝像頭追蹤，以確定注視方向。例如，通過確定角膜和瞳孔之間與注視方向相對應(yīng)的矢量。現(xiàn)有的眼動追蹤技術(shù)可能無法充分追蹤眼睛調(diào)節(jié)（即聚焦）。

基于視網(wǎng)膜成像的眼睛調(diào)節(jié)檢測

蘋果公司的專利申請涵蓋了使用視網(wǎng)膜成像技術(shù)來評估用戶在使用電子設(shè)備（例如，實(shí)時）過程中的眼睛調(diào)節(jié)（即聚焦）的系統(tǒng)、方法和設(shè)備。

一個或多個光源將光線射向視網(wǎng)膜上的一個或多個光點(diǎn)，這些光點(diǎn)可通過傳感器檢測到。光點(diǎn)的大小和形狀取決于眼睛的調(diào)節(jié)/聚焦情況，因此可用于識別調(diào)節(jié)/聚焦變化或測量眼睛的調(diào)節(jié)/聚焦情況。當(dāng)用戶通過電子設(shè)備觀看電子內(nèi)容、與電子內(nèi)容進(jìn)行交互或以其他方式體驗(yàn)電子內(nèi)容時，可實(shí)時確定眼睛的聚焦情況。

某些實(shí)施方案涉及一種方法，該方法通過執(zhí)行存儲在電子設(shè)備非暫時性存儲器中的指令的處理器來執(zhí)行。這種方法可能涉及在具有處理器和光源的電子設(shè)備上，使用光源產(chǎn)生光（例如紅外線或可見光），將光引向眼睛視網(wǎng)膜上的光點(diǎn)。

例如，可以使用一個或多個準(zhǔn)直照明器將光射向視網(wǎng)膜上的一個或多個點(diǎn)。光源可以相對于眼睛的軸線以離軸方式定向。該方法在傳感器（如攝像頭）上接收傳感器數(shù)據(jù)（如圖像）。傳感器數(shù)據(jù)與視網(wǎng)膜上的發(fā)光點(diǎn)相對應(yīng)。例如，傳感器數(shù)據(jù)可包括一個或多個具有圖像部分的相機(jī)圖像，例如，與視網(wǎng)膜外觀相對應(yīng)的像素，包括在被照亮點(diǎn)上反射的光。

該方法根據(jù)傳感器數(shù)據(jù)確定眼睛調(diào)節(jié)特性。在某些實(shí)施方案中，眼睛調(diào)節(jié)特性是根據(jù)視網(wǎng)膜上被照亮點(diǎn)的大小或位置確定的。確定眼睛調(diào)節(jié)特性可包括檢測眼睛調(diào)節(jié)的變化或找到眼睛調(diào)節(jié)的估計(jì)值（例如代表眼睛調(diào)節(jié)的數(shù)值）。在某些實(shí)施方案中，確定眼睛調(diào)節(jié)特性涉及將視網(wǎng)膜圖像與之前的視網(wǎng)膜圖像進(jìn)行比較，以確定照明光斑大小和/或位置的變化。

在某些實(shí)施方案中，光斑被識別（例如，通過大小、形狀和/或位置）和/或與視網(wǎng)膜上其他較少照明的部分區(qū)分開來?？梢酝ㄟ^算法（例如基于閾值）和/或使用機(jī)器學(xué)習(xí) (ML) 模型來識別光斑。ML模型可用于評估/比較光斑的大小和/或位置和/或多個光斑之間的關(guān)系。

圖源：patentlyapple

蘋果專利圖 8 是一個示例頭戴式設(shè)備 (HMD) 的框圖，我們現(xiàn)在知道它就是 Vision Pro；圖 3 展示了一個或多個照明器在第一調(diào)節(jié)/對焦?fàn)顟B(tài)下將光線射向眼睛視網(wǎng)膜上的光點(diǎn)；圖 4 展示了視網(wǎng)膜的圖像，其中包括圖 3 中照明的光點(diǎn)。

蘋果專利圖 5 展示了圖 3 中的一個或多個照明器在第二調(diào)節(jié)/聚焦?fàn)顟B(tài)下將光線引向眼睛視網(wǎng)膜上的光點(diǎn)；圖 6 展示了視網(wǎng)膜的圖像，其中包括圖 5 中照明的光點(diǎn)。

在某些實(shí)施方案中，Vision Pro包括用于檢測眼球位置和眼球運(yùn)動的眼動追蹤系統(tǒng)。眼動追蹤系統(tǒng)可包括一個或多個照明器，例如一個或多個紅外（IR）發(fā)光二極管（LED），這些照明器發(fā)出的光從用戶的眼睛反射并通過傳感器捕捉，例如近紅外（NIR）攝像頭。

在一個示例中，Vision Pro的一個或多個照明器可以向用戶眼睛視網(wǎng)膜上的一個或多個光點(diǎn)發(fā)射近紅外光，傳感器會捕捉用戶眼睛的圖像，包括被照亮的光點(diǎn)。在某些實(shí)施方案中，可對眼動追蹤系統(tǒng)捕獲的圖像進(jìn)行分析，以檢測用戶眼睛的位置和運(yùn)動，從而檢測有關(guān)眼睛的其他信息，如注視方向，和/或檢測眼睛的調(diào)節(jié)/聚焦。此外，通過眼動追蹤圖像估算出的注視點(diǎn)可實(shí)現(xiàn)基于注視的內(nèi)容交互。

要了解該專利的全部細(xì)節(jié)，請查看蘋果專利申請20230329549。

來源：patentlyapple