編譯/VR陀螺

近日，美國專利商標(biāo)局公布了蘋果公司的一項(xiàng)專利申請，該專利涉及評估用戶眼睛瞳孔特征的系統(tǒng)、方法和設(shè)備，該系統(tǒng)、方法和設(shè)備利用眼睛反射的光來估計(jì)用戶的注視方向，使用多個(gè)閃光來識別用戶的眼睛形狀、位置和方向。在各種實(shí)施方案中，瞳孔特征評估被用來促進(jìn)注視點(diǎn)追蹤，這可用于實(shí)現(xiàn)用戶交互。

上周，蘋果分析師郭明錤表示，"蘋果未來的頭顯將包括創(chuàng)新的人機(jī)UI技術(shù)，如手勢控制、物體檢測、眼睛/注視點(diǎn)追蹤、虹膜識別、語音控制、皮膚檢測、表情檢測和空間檢測。"

而在此前蘋果公司已經(jīng)發(fā)布了一些涵蓋眼睛和注視點(diǎn)追蹤的專利，很明顯這項(xiàng)技術(shù)將在蘋果公司未來的混合現(xiàn)實(shí)頭顯中發(fā)揮重要作用。

蘋果公司在他們的專利文件中指出，現(xiàn)有的瞳孔檢測技術(shù)可能使用一個(gè)圖像傳感器，并在一個(gè)曝光期整合光強(qiáng)度水平，以產(chǎn)生灰度圖像，然后試圖使用灰度圖像檢測瞳孔。瞳孔是基于瞳孔區(qū)域和周圍虹膜區(qū)域之間的灰度對比度來檢測的，因此依賴于瞳孔和虹膜之間的顯著對比度。這樣的瞳孔檢測技術(shù)可能不那么準(zhǔn)確或有效，特別是在瞳孔和虹膜之間的對比不那么明顯的情況下，而這正是蘋果公司的發(fā)明所要解決的問題。

蘋果公司的發(fā)明涵蓋了一種瞳孔特征評估系統(tǒng)，該系統(tǒng)包括一個(gè)光源、一個(gè)圖像傳感器和一個(gè)處理器，該處理器根據(jù)從光傳感器收到的用戶眼睛反射光線數(shù)據(jù)進(jìn)行瞳孔特征評估。在不同的實(shí)施方案中，瞳孔特征是使用來自光源的軸上照明來確定的，這樣一來，來自光源的光被反射到眼睛的視網(wǎng)膜上，能夠在圖像傳感器獲得的數(shù)據(jù)中產(chǎn)生一個(gè)明亮的瞳孔類型的光圖案。

該光可被調(diào)制或以其他方式在某一頻率下脈沖，頻率分割可用于區(qū)分通過瞳孔從視網(wǎng)膜上反射的光和來自其他光源的反射。在一些實(shí)施方案中，圖像傳感器是一個(gè)基于幀的相機(jī)，該方法從下一個(gè)圖像中沿圖像序列減去一個(gè)圖像，以識別圖像中以頻率出現(xiàn)的光脈沖。

在一些實(shí)施方案中，圖像傳感器是一個(gè)事件相機(jī)，對應(yīng)于從視網(wǎng)膜反射出來并通過瞳孔的光的事件之間的時(shí)間量，用來確定以該頻率發(fā)生的事件。

該事件相機(jī)在多個(gè)相應(yīng)位置上有光傳感器。響應(yīng)于特定的光傳感器檢測到光強(qiáng)度的變化，光傳感器會(huì)產(chǎn)生一個(gè)事件信息，指示特定光傳感器的特定位置。

事件相機(jī)可以包括或被稱為動(dòng)態(tài)視覺傳感器（DVS）、硅視網(wǎng)膜、基于事件的相機(jī)或無框架相機(jī)。因此，事件相機(jī)產(chǎn)生（和傳輸）關(guān)于光強(qiáng)度變化的數(shù)據(jù)，而不是關(guān)于每個(gè)光傳感器的絕對強(qiáng)度的大量數(shù)據(jù)。

圖源：patentlyapple

蘋果公司的專利圖4是一個(gè)頭戴式設(shè)備（HMD）的分解方框圖；圖7是一個(gè)功能方框圖，說明了亮瞳效應(yīng)和暗瞳效應(yīng)之間的差異。

更具體地說，圖4的外殼#401還容納了一個(gè)瞳孔評估系統(tǒng)，包括一個(gè)或多個(gè)光源#422，圖像傳感器#424，和一個(gè)控制器#480。一個(gè)或多個(gè)光源向用戶的眼睛發(fā)射以及反射光線（例如，定向光束），可由傳感器檢測。基于這些反射，控制器可以確定用戶的瞳孔特征。

作為另一個(gè)例子，控制器可以確定瞳孔中心、瞳孔大小、注視方向或注視點(diǎn)。因此，在各種實(shí)施方案中，光由一個(gè)或多個(gè)光源發(fā)出，從用戶的眼睛上反射，并由傳感器檢測。在不同的實(shí)施方案中，來自用戶眼睛的光線在到達(dá)傳感器之前會(huì)被熱鏡反射或通過目鏡。

圖源：patentlyapple

蘋果公司的專利圖8是一個(gè)功能框圖，說明使用分光器來提供大約在軸上的照明；圖9是一個(gè)功能框圖，說明在光傳感器的光學(xué)元件附近使用光源環(huán)來提供大約在軸上的照明；以及圖10是一個(gè)功能框圖，說明圖9的光源環(huán)。

蘋果公司的專利圖11說明了一個(gè)功能框圖，說明將基于軸上照明的瞳孔檢測與基于離軸照明的眼睛特征檢測相結(jié)合；圖12說明了在軸上照明期間獲得的事件相機(jī)數(shù)據(jù)的收集；圖13說明了圖12的事件相機(jī)數(shù)據(jù)的一部分近景。

想了解更多細(xì)節(jié)，可查閱蘋果公司的專利申請20210378509?？紤]到這是一項(xiàng)專利申請，目前還不知道包含專利技術(shù)的產(chǎn)品何時(shí)會(huì)上市。

該專利將Walter Nistico列為唯一發(fā)明人。Nistico是蘋果公司的深度學(xué)習(xí)和計(jì)算機(jī)視覺工程經(jīng)理。4年半前，Nistico隨著蘋果公司收購SMI SensoMotoric Instruments GmbH而加入了蘋果。在加入蘋果公司之前，Nistico還曾與谷歌、高通、索尼、Nvidia和英特爾合作開展VR和AR項(xiàng)目。

來源：patentlyapple