編譯/VR陀螺

早在2017 年，蘋果公司收購了一家名為 SensoMotoric Instruments（SMI）的德國公司，后者在眼動(dòng)追蹤技術(shù)領(lǐng)域擁有過硬的技術(shù)。2016 年，SMI 已經(jīng)制造出了使用眼動(dòng)追蹤技術(shù)的眼鏡。雖然這項(xiàng)技術(shù)在當(dāng)時(shí)看來有些科幻，但現(xiàn)在它已經(jīng)成為蘋果即將推出的 Vision Pro 頭顯背后的關(guān)鍵技術(shù)之一。今天，美國專利商標(biāo)局正式向蘋果公司授予了一項(xiàng)與眼動(dòng)追蹤技術(shù)有關(guān)的專利，而在被列為發(fā)明人的4位工程師中，有3位就來自現(xiàn)就職于蘋果公司的前 SMI 團(tuán)隊(duì)。

傳感器融合眼動(dòng)追蹤

蘋果公司獲得的專利涵蓋了各種實(shí)施方案，其中包括為相對(duì)于用戶移動(dòng)的電子設(shè)備執(zhí)行遠(yuǎn)程眼動(dòng)追蹤的設(shè)備、系統(tǒng)和方法。

在某些實(shí)施方案中，遠(yuǎn)程眼動(dòng)追蹤通過使用單個(gè)有源照明光源和深度信息識(shí)別三維坐標(biāo)系中沿注視方向的兩個(gè)位置（例如角膜中心和眼球旋轉(zhuǎn)中心）來確定注視方向。在某些實(shí)施方案中，使用基于主動(dòng)照明光源的閃爍和深度傳感器的深度信息確定第一位置（如角膜中心），使用 RGB 傳感器（如環(huán)境光）和深度信息確定第二位置（如眼球旋轉(zhuǎn)中心）。在某些實(shí)施方案中，使用相同主動(dòng)照明光源的單個(gè)傳感器確定第一位置（如角膜中心）和第二位置（如眼球旋轉(zhuǎn)中心），單個(gè)傳感器同時(shí)確定深度信息和閃光信息。在某些實(shí)施方案中，遠(yuǎn)程眼動(dòng)追蹤由移動(dòng)電子設(shè)備提供。

在某些實(shí)施方案中，遠(yuǎn)程眼動(dòng)追蹤確定三維坐標(biāo)系中的頭部姿態(tài)以及眼球的位置（例如眼球旋轉(zhuǎn)中心），然后確定頭部姿態(tài)與眼球位置之間的空間關(guān)系。在某些實(shí)施方案中，空間關(guān)系是唯一確定的（例如，用戶特定變換）。在某些實(shí)施方案中，空間關(guān)系是在遠(yuǎn)程眼動(dòng)追蹤的注冊(cè)模式下確定的。隨后，在遠(yuǎn)程眼動(dòng)追蹤的追蹤模式的某些實(shí)現(xiàn)中，只有特征檢測(cè)圖像（例如 RGB 攝像頭圖像）和空間關(guān)系用于執(zhí)行遠(yuǎn)程眼動(dòng)追蹤。在遠(yuǎn)程眼動(dòng)追蹤的追蹤模式的某些實(shí)施方案中，深度信息和主動(dòng)照明被關(guān)閉（例如，降低功耗）。

遠(yuǎn)程眼動(dòng)追蹤的一個(gè)用途是在用戶注視的方向上識(shí)別設(shè)備上的視點(diǎn)（POR），例如，注視方向與設(shè)備顯示屏相交的位置。視點(diǎn)可用于促進(jìn)用戶與設(shè)備的交互。例如，系統(tǒng)可以檢測(cè)到用戶的視線已經(jīng)到達(dá)顯示屏的底部，并自動(dòng)向下滾動(dòng)，向用戶顯示更多內(nèi)容。

圖源：patentlyapple

本專利一些實(shí)現(xiàn)涉及在具有一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)圖像傳感器和照明光源的設(shè)備上，根據(jù)與眼睛第一圖像中不同波長光相關(guān)的像素差異，檢測(cè)眼睛的第一屬性。這些實(shí)施方案根據(jù)深度傳感器提供的深度信息，在三維坐標(biāo)系中確定與第一屬性相關(guān)的第一位置。各種實(shí)施方案根據(jù)照明光源的光線從眼睛角膜反射產(chǎn)生的閃光來檢測(cè)眼睛的第二屬性。這些實(shí)施方案根據(jù)來自深度傳感器的深度信息，確定三維坐標(biāo)系中與第二屬性相關(guān)聯(lián)的第二位置，并根據(jù)第一位置和第二位置確定三維坐標(biāo)系中的注視方向。

各種實(shí)現(xiàn)方法根據(jù)在第二圖像中檢測(cè)到的頭部（例如面部特征）和來自深度傳感器的深度信息，確定三維坐標(biāo)系中的頭部位置。這些實(shí)施方案根據(jù)頭部位置和先前確定的頭部與眼睛之間的空間關(guān)系，確定與眼睛的第二屬性相關(guān)聯(lián)的第二位置，并根據(jù)第一位置和第二位置確定三維坐標(biāo)系中的注視方向。

想了解更多專利信息，請(qǐng)查閱蘋果公司的授權(quán)專利11710350。

來源：patentlyapple