編譯/VR陀螺

近日，美國(guó)專利商標(biāo)局發(fā)布了蘋果2020年針對(duì)其眼動(dòng)追蹤系統(tǒng)的第四項(xiàng)專利申請(qǐng)。該專利涉及其未來(lái)的頭戴式顯示器（HMD）設(shè)備的高級(jí)眼動(dòng)追蹤/注視點(diǎn)技術(shù)的另一個(gè)方面。這項(xiàng)專利向我們介紹了眼動(dòng)追蹤系統(tǒng)如何能夠使用攝像機(jī)數(shù)據(jù)獲取用戶的生物特征，然后自動(dòng)調(diào)整圖像的亮度，并將圖像生成到HMD顯示屏上等等。

蘋果的發(fā)明涵蓋了一種包括眼動(dòng)追蹤系統(tǒng)的頭戴式設(shè)備，該眼動(dòng)追蹤系統(tǒng)能確定頭戴式設(shè)備用戶的視線方向。眼動(dòng)追蹤系統(tǒng)通常包括將用戶的眼睛圖像傳輸?shù)綀?zhí)行眼動(dòng)追蹤的處理器的攝像機(jī)。以足夠的幀速率傳輸圖像以實(shí)現(xiàn)眼動(dòng)追蹤，需要具有相當(dāng)帶寬的通信鏈路。 

各種實(shí)現(xiàn)包括用于使用強(qiáng)度調(diào)制的光源確定眼動(dòng)追蹤特性的設(shè)備，系統(tǒng)和方法。該方法包括從多個(gè)光源向用戶的眼睛發(fā)射具有調(diào)制強(qiáng)度的光，以多個(gè)閃爍的形式接收由用戶的眼睛反射的發(fā)射光的強(qiáng)度數(shù)據(jù)指示。該方法還包括基于光強(qiáng)度數(shù)據(jù)確定用戶的眼動(dòng)追蹤的特性。

蘋果公司為強(qiáng)度調(diào)制光源的眼動(dòng)追蹤系統(tǒng)使用了機(jī)器學(xué)習(xí)。該系統(tǒng)可以執(zhí)行一些非常獨(dú)特的功能。例如，在一種情況下，一個(gè)或多個(gè)光源可根據(jù)用戶生物特征調(diào)制發(fā)射光的強(qiáng)度。

例如，如果用戶比正常人眨眼更多，心跳加快或被登記為兒童，則一個(gè)或多個(gè)光源會(huì)降低發(fā)射光的強(qiáng)度以減輕眼睛的壓力。

作為另一示例，一個(gè)或多個(gè)光源可以基于用戶的眼睛顏色來(lái)調(diào)節(jié)發(fā)射光的強(qiáng)度，因?yàn)榕c棕色眼睛相比，藍(lán)眼睛的光譜反射率可能不同。

在各種實(shí)施方式中，眼動(dòng)追蹤或者特別是確定的注視方向，被用于實(shí)現(xiàn)用戶交互，諸如允許用戶注視HMD顯示器上的彈出菜單，然后通過(guò)簡(jiǎn)單地注視屏幕來(lái)選擇該菜單上的一個(gè)特定選項(xiàng)。

蘋果的專利圖1是示例操作環(huán)境＃100的框圖，其中，控制器（＃110）被配置為用戶管理和協(xié)調(diào)增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)（AR / VR）體驗(yàn)。

蘋果的專利圖4示出了頭戴式設(shè)備（＃400）的框圖。外殼（＃401）還容納了眼動(dòng)追蹤系統(tǒng)，該眼動(dòng)追蹤系統(tǒng)包括一個(gè)或多個(gè)光源＃422，相機(jī)424和控制器480。一個(gè)或多個(gè)光源422將光發(fā)射到用戶10的眼睛上，并反射為光。

相機(jī)424可以檢測(cè)到光模式（例如，閃爍的圓圈）?；谠摴饽Ｊ?，控制器480可以確定用戶10的眼動(dòng)追蹤特性。例如，控制器480可以確定視線方向和/或用戶10的眨眼狀態(tài)（睜眼或閉眼）。作為另一個(gè)示例，控制器480可以確定瞳孔中心，瞳孔大小或視點(diǎn)。因此，在各種實(shí)施方式中，光由一個(gè)或多個(gè)光源422發(fā)射，從用戶10的眼睛反射，并由相機(jī)424檢測(cè)。在各種實(shí)施方式中，來(lái)自用戶眼睛10的光是在到達(dá)相機(jī)424之前從熱鏡反射或穿過(guò)目鏡。 

在專利圖5A中，我們看到用戶的眼睛具有第一凝視方向；圖5B示出了具有第二凝視方向的用戶眼睛。

在各種實(shí)施方式中，一個(gè)或多個(gè)光源朝著用戶的眼睛發(fā)射光，該光以形成圖案的多個(gè)閃光的形式反射。可以確定反射的圖案（以及可能的其他特征，例如瞳孔大小，瞳孔形狀??和瞳孔中心），用戶的眼動(dòng)追蹤特性。眼睛包括被虹膜包圍的瞳孔，兩者均被角膜覆蓋。眼睛同時(shí)還包括鞏膜（也稱為眼白）。

蘋果的專利圖9A示出了包括攝像機(jī)（＃910）的眼動(dòng)追蹤系統(tǒng)（＃900）的功能框圖。眼動(dòng)追蹤系統(tǒng)基于從攝像機(jī)接收到的事件消息來(lái)輸出用戶的凝視方向。

幾何分析器＃970從閃爍檢測(cè)器（＃940）接收與檢測(cè)到的閃爍有關(guān)的數(shù)據(jù)，并且從瞳孔檢測(cè)器（＃960）接收與用戶眼睛的瞳孔有關(guān)的數(shù)據(jù)。基于該接收到的信息，幾何分析器確定用戶的眼動(dòng)追蹤特性，例如用戶的凝視方向和/或眨眼狀態(tài)。

蘋果的專利圖9B示出了包括機(jī)器學(xué)習(xí)回歸器＃980的眼動(dòng)追蹤系統(tǒng)（＃902）的功能框圖。這里，閃爍檢測(cè)器（＃940），瞳孔檢測(cè)器（＃960）和幾何分析器（＃970）使用機(jī)器學(xué)習(xí)回歸器，該回歸器根據(jù)目標(biāo)特征和脫離目標(biāo)特征確定眼睛的跟蹤特征。

最后在專利圖9C中，我們可以看到包括凝視估計(jì)器（＃990）的眼動(dòng)追蹤系統(tǒng)（＃904）的功能框圖。此處的眼動(dòng)追蹤系統(tǒng)包括攝像頭（＃910）。事件消息被傳送到概率標(biāo)記器（＃925）。

帶有概率標(biāo)記的事件消息被傳送到特征生成器（＃935），該特征生成器生成一個(gè)或多個(gè)特征，反饋到注視估計(jì)器（＃990）中，該估計(jì)器基于一個(gè)特征來(lái)確定眼動(dòng)追蹤特性（例如，凝視方向）或更多功能。

美國(guó)專利局發(fā)布的這項(xiàng)蘋果專利申請(qǐng)20200278539顯示于2020年第一季度提交，盡管該專利表明某些工作最早可以追溯到2017年，但這些工作被一同并入了最新申請(qǐng)中?？紤]到這是一項(xiàng)專利申請(qǐng)，目前尚不知道這種產(chǎn)品上市的時(shí)機(jī)。

該專利發(fā)明人包括：

Daniel Kurz：高級(jí)工程經(jīng)理（計(jì)算機(jī)視覺(jué)，機(jī)器學(xué)習(xí)），通過(guò)蘋果收購(gòu)Metaio加入公司。這項(xiàng)專利的一些早期工作可能來(lái)自Metaio的收購(gòu)，并由蘋果團(tuán)隊(duì)成員進(jìn)行了修訂。

Li Jia：居住在中國(guó)北京的計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)工程經(jīng)理。其領(lǐng)導(dǎo)一個(gè)團(tuán)隊(duì)，為移動(dòng)相機(jī)應(yīng)用開發(fā)CVML算法。他還與清華大學(xué)組織了有關(guān)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)研究項(xiàng)目的合作。

Raffi Bedikian：計(jì)算機(jī)視覺(jué)工程師。他在Leap Motion工作了5年。

Branko Petljanski：孵化（相機(jī)）工程經(jīng)理

來(lái)源：patentlyapple