編譯/VR陀螺

今天，美國專利商標局公布了蘋果公司的一項專利申請，涉及檢測用戶眼睛注視方向的系統(tǒng)、方法和設備。該專利的重點設備被描述為“AR眼鏡”或“XR 眼鏡”，它包括一個透明顯示屏，用于查看物理環(huán)境，并通過視網(wǎng)膜投影技術(shù)提供一個顯示屏，用于查看其他內(nèi)容，該技術(shù)可在人的視網(wǎng)膜視圖內(nèi)或之上投射圖形圖像。

在蘋果公司的專利背景中，他們指出現(xiàn)有的眼動追蹤技術(shù)可以分析從用戶眼睛反射并通過圖像傳感器捕捉到的閃光。一些頭戴式系統(tǒng)可能包括使用近紅外（nIR）照明器和標準多像素互補金屬氧化物半導體（CMOS）攝像頭對每只眼睛進行眼動追蹤。近紅外照明器和 CMOS 攝像頭的組合可為每只眼睛提供精準和高幀頻（例如每秒超過 15 幀）的追蹤。

然而，這種典型的近紅外+CMOS 配置的基線功率并不能隨著幀頻的降低而很好地擴展，而且在非常低的功率應用中，讓 CMOS 攝像頭和近紅外 LED 始終保持開啟狀態(tài)也是不可行的。因此，蘋果公司希望提供一種無需在整個可能的注視空間內(nèi)持續(xù)追蹤的眼動追蹤系統(tǒng)的有效方法，以便為頭戴式系統(tǒng)評估眼球特征（如注視方向、眼球方位、識別眼球虹膜等）節(jié)省功耗。

用于注視對準的視網(wǎng)膜反射追蹤

蘋果公司的發(fā)明包括檢測用戶近似朝向目標區(qū)域（如熱區(qū)/角落）的眼睛注視方向的設備、系統(tǒng)和方法。

確定眼睛注視目標區(qū)域（如熱區(qū)/角落）的依據(jù)是檢測眼睛的反射光是否具有某些特性，例如，指示近似朝向目標區(qū)域的紅眼型反射的光譜特性。

照明器和/或檢測器可與眼睛到目標區(qū)域的大致方向進行光學對準，例如，通過將照明器/檢測器定位在顯示屏/透鏡的目標區(qū)域和/或后面，或在透鏡的目標區(qū)域使用光學波導。

探測器可以是對窄同軸角光譜反射敏感的近紅外（nIR）收發(fā)器。探測器可以使用低功耗硬件（例如，與透鏡配對的光電二極管），當高功率眼動追蹤硬件（例如CMOS）關閉時，該硬件可以處于激活狀態(tài)。例如，用戶可以掃射熱區(qū)角落來觸發(fā)一個動作，例如，啟動使用全眼動追蹤的XR體驗，對通知做出響應等。如果注視滿足某個標準，例如注視持續(xù)時間超過某個閾值，就可以啟動預期的操作。

一般來說，本專利所述主題的一個創(chuàng)新方面可以體現(xiàn)在以下方法中：在具有處理器和顯示屏的電子設備上，通過使用照明器將光線射向眼睛產(chǎn)生反射；從傳感器接收傳感器數(shù)據(jù)，其中傳感器的感應方向和眼睛到目標區(qū)域的方向大致對齊、根據(jù)傳感器數(shù)據(jù)確定反射特性，根據(jù)反射特性檢測眼睛的注視方向是否大致朝向目標區(qū)域，以及根據(jù)檢測到注視方向大致朝向目標區(qū)域啟動操作。

在某些方面，蘋果指出，可根據(jù)注視方向確定是否滿足標準啟動動作。在某些方面，操作提供了用戶對通知的響應。在某些方面，操作包括啟動XR體驗。

圖源：patentlyapple

蘋果專利圖 2A 展示了包括圖像傳感器和投影儀的 AR 或 XR 眼鏡；圖 2B 展示了透明基板的區(qū)域。圖 2B 還舉例說明了八個定義的“熱角區(qū)”，本文所述流程可將其用于熱點檢測區(qū)域（例如，顯示屏 FOV #230 周圍的區(qū)域）。

示例區(qū)域包括顳上（ST）區(qū) #231、顳上（S）區(qū) #232、鼻上（SN）區(qū) #233、顳區(qū) #234、鼻區(qū) #235、顳下區(qū) #236、鼻下區(qū) #237、鼻下區(qū) #238。

蘋果專利圖 2C 舉例說明了 AR 眼鏡區(qū)域中的熱角檢測。特別是，圖 2C 展示了用戶在設備透鏡 #215 的 ST 區(qū) #231 的目標區(qū)域 #262 的眼睛注視位置，如熱區(qū)區(qū)域 #260 所示。

在一個示例性實施中，熱角可以使用分布在設備邊框 #212 邊緣周圍的超聲波傳感器陣列、光敏探測器或電眼成像傳感器來實現(xiàn)。該子系統(tǒng)可利用的眼球姿勢和手勢可由定點、眼球移動或它們的組合來定義。這樣，AR 眼鏡中的傳感器（如探測器 #220）就能夠提供眼動注視速度和注視角度（如角度 θ）的估計值。

蘋果專利圖 3B 展示了一個熱角眼動追蹤系統(tǒng)的示例環(huán)境 300B。熱角眼動跟蹤系統(tǒng)使用一個光源 #320 （如近紅外照明器，可產(chǎn)生發(fā)射角為 #322 的紅外光）和一個光傳感器 #330（如光電二極管等低功耗傳感器）。

蘋果公司的上述專利 4B 展示了一個熱角眼動追蹤系統(tǒng)示例，該系統(tǒng)利用透明基板，例如光波導 #410，其中包括一個集成傳感器 #420，能夠測量來自人眼眼底的同軸反射。在某些實施方案中，如圖所示，傳感器可以是覆蓋多個區(qū)域的單一傳感器。此外，或作為替代方案，還可以為每個區(qū)域配備單獨的傳感器（例如傳感器 420）。

蘋果專利圖 5A-5C 舉例說明了通過透鏡 #502 或在透鏡 #502 上檢測眼睛注視方向的用戶體驗。例如，圖 5A-5C 展示了用戶注視或靠近設備的顯示屏，并根據(jù)其注視特定區(qū)域（例如，注視熱角）啟動用戶界面上的應用。圖 5A 展示了用戶看向特定區(qū)域啟動時鐘應用的過程。在圖 5C 中，可以看到用戶利用眼睛注視技術(shù)打開的一系列應用程序。

最后蘋果公司指出，每個透鏡都可以堆疊，其中包括用于度數(shù)鏡片的偏置（+/-）、用于容納或嵌入多個紅外光源和透明導體的波導等。

想要了解更多專利細節(jié)，請查看蘋果的專利申請 20230359273。

來源：patentlyapple