編譯/VR陀螺

蘋果Vision Pro的眼動(dòng)追蹤技術(shù)是推動(dòng)蘋果這款空間計(jì)算設(shè)備超越其他頭顯的關(guān)鍵技術(shù)之一。上周，美國(guó)專利商標(biāo)局公布了蘋果公司的又一項(xiàng)專利申請(qǐng)，該專利特別涉及到為Vision Pro提供基于視網(wǎng)膜成像的調(diào)節(jié)檢測(cè)（即聚焦）的系統(tǒng)和方法。

蘋果公司在其專利背景中指出，存在各種眼動(dòng)追蹤技術(shù)。例如，有些注視追蹤技術(shù)是基于檢測(cè)眼睛外部的反射，如光線射向眼睛，在瞳孔和角膜上產(chǎn)生可探測(cè)到的反射，這些反射由攝像頭追蹤，以確定注視方向。例如，通過(guò)確定角膜和瞳孔之間與注視方向相對(duì)應(yīng)的矢量。現(xiàn)有的眼動(dòng)追蹤技術(shù)可能無(wú)法充分追蹤眼睛調(diào)節(jié)（即聚焦）。

基于視網(wǎng)膜成像的眼睛調(diào)節(jié)檢測(cè)

蘋果公司的專利申請(qǐng)涵蓋了使用視網(wǎng)膜成像技術(shù)來(lái)評(píng)估用戶在使用電子設(shè)備（例如，實(shí)時(shí)）過(guò)程中的眼睛調(diào)節(jié)（即聚焦）的系統(tǒng)、方法和設(shè)備。

一個(gè)或多個(gè)光源將光線射向視網(wǎng)膜上的一個(gè)或多個(gè)光點(diǎn)，這些光點(diǎn)可通過(guò)傳感器檢測(cè)到。光點(diǎn)的大小和形狀取決于眼睛的調(diào)節(jié)/聚焦情況，因此可用于識(shí)別調(diào)節(jié)/聚焦變化或測(cè)量眼睛的調(diào)節(jié)/聚焦情況。當(dāng)用戶通過(guò)電子設(shè)備觀看電子內(nèi)容、與電子內(nèi)容進(jìn)行交互或以其他方式體驗(yàn)電子內(nèi)容時(shí)，可實(shí)時(shí)確定眼睛的聚焦情況。

某些實(shí)施方案涉及一種方法，該方法通過(guò)執(zhí)行存儲(chǔ)在電子設(shè)備非暫時(shí)性存儲(chǔ)器中的指令的處理器來(lái)執(zhí)行。這種方法可能涉及在具有處理器和光源的電子設(shè)備上，使用光源產(chǎn)生光（例如紅外線或可見(jiàn)光），將光引向眼睛視網(wǎng)膜上的光點(diǎn)。

例如，可以使用一個(gè)或多個(gè)準(zhǔn)直照明器將光射向視網(wǎng)膜上的一個(gè)或多個(gè)點(diǎn)。光源可以相對(duì)于眼睛的軸線以離軸方式定向。該方法在傳感器（如攝像頭）上接收傳感器數(shù)據(jù)（如圖像）。傳感器數(shù)據(jù)與視網(wǎng)膜上的發(fā)光點(diǎn)相對(duì)應(yīng)。例如，傳感器數(shù)據(jù)可包括一個(gè)或多個(gè)具有圖像部分的相機(jī)圖像，例如，與視網(wǎng)膜外觀相對(duì)應(yīng)的像素，包括在被照亮點(diǎn)上反射的光。

該方法根據(jù)傳感器數(shù)據(jù)確定眼睛調(diào)節(jié)特性。在某些實(shí)施方案中，眼睛調(diào)節(jié)特性是根據(jù)視網(wǎng)膜上被照亮點(diǎn)的大小或位置確定的。確定眼睛調(diào)節(jié)特性可包括檢測(cè)眼睛調(diào)節(jié)的變化或找到眼睛調(diào)節(jié)的估計(jì)值（例如代表眼睛調(diào)節(jié)的數(shù)值）。在某些實(shí)施方案中，確定眼睛調(diào)節(jié)特性涉及將視網(wǎng)膜圖像與之前的視網(wǎng)膜圖像進(jìn)行比較，以確定照明光斑大小和/或位置的變化。

在某些實(shí)施方案中，光斑被識(shí)別（例如，通過(guò)大小、形狀和/或位置）和/或與視網(wǎng)膜上其他較少照明的部分區(qū)分開來(lái)?？梢酝ㄟ^(guò)算法（例如基于閾值）和/或使用機(jī)器學(xué)習(xí) (ML) 模型來(lái)識(shí)別光斑。ML模型可用于評(píng)估/比較光斑的大小和/或位置和/或多個(gè)光斑之間的關(guān)系。

圖源：patentlyapple

蘋果專利圖 8 是一個(gè)示例頭戴式設(shè)備 (HMD) 的框圖，我們現(xiàn)在知道它就是 Vision Pro；圖 3 展示了一個(gè)或多個(gè)照明器在第一調(diào)節(jié)/對(duì)焦?fàn)顟B(tài)下將光線射向眼睛視網(wǎng)膜上的光點(diǎn)；圖 4 展示了視網(wǎng)膜的圖像，其中包括圖 3 中照明的光點(diǎn)。

蘋果專利圖 5 展示了圖 3 中的一個(gè)或多個(gè)照明器在第二調(diào)節(jié)/聚焦?fàn)顟B(tài)下將光線引向眼睛視網(wǎng)膜上的光點(diǎn)；圖 6 展示了視網(wǎng)膜的圖像，其中包括圖 5 中照明的光點(diǎn)。

在某些實(shí)施方案中，Vision Pro包括用于檢測(cè)眼球位置和眼球運(yùn)動(dòng)的眼動(dòng)追蹤系統(tǒng)。眼動(dòng)追蹤系統(tǒng)可包括一個(gè)或多個(gè)照明器，例如一個(gè)或多個(gè)紅外（IR）發(fā)光二極管（LED），這些照明器發(fā)出的光從用戶的眼睛反射并通過(guò)傳感器捕捉，例如近紅外（NIR）攝像頭。

在一個(gè)示例中，Vision Pro的一個(gè)或多個(gè)照明器可以向用戶眼睛視網(wǎng)膜上的一個(gè)或多個(gè)光點(diǎn)發(fā)射近紅外光，傳感器會(huì)捕捉用戶眼睛的圖像，包括被照亮的光點(diǎn)。在某些實(shí)施方案中，可對(duì)眼動(dòng)追蹤系統(tǒng)捕獲的圖像進(jìn)行分析，以檢測(cè)用戶眼睛的位置和運(yùn)動(dòng)，從而檢測(cè)有關(guān)眼睛的其他信息，如注視方向，和/或檢測(cè)眼睛的調(diào)節(jié)/聚焦。此外，通過(guò)眼動(dòng)追蹤圖像估算出的注視點(diǎn)可實(shí)現(xiàn)基于注視的內(nèi)容交互。

要了解該專利的全部細(xì)節(jié)，請(qǐng)查看蘋果專利申請(qǐng)20230329549。

來(lái)源：patentlyapple