編譯/VR陀螺

近日，美國專利商標(biāo)局正式公布了蘋果公司一系列共67項(xiàng)新授權(quán)專利。在其中，有兩項(xiàng)與HMD系統(tǒng)眼動追蹤功能相關(guān)的專利。

HMD：低功率眼動追蹤系統(tǒng)

蘋果的第一個(gè)HMD授權(quán)專利涵蓋了在虛擬和混合或增強(qiáng)現(xiàn)實(shí)（VR/AR）應(yīng)用中進(jìn)行眼動追蹤的方法和裝置的各種實(shí)施方案。一個(gè)VR/AR系統(tǒng)可以包括一個(gè)設(shè)備，如頭戴式顯示器、頭盔、護(hù)目鏡或眼鏡（在此稱為頭戴式設(shè)備HMD），它包括一個(gè)顯示器（例如，左和右顯示器），用于在用戶眼前顯示包括左和右圖像的框架，從而向用戶提供三維虛擬視圖。

一個(gè)VR/AR系統(tǒng)還可以包括一個(gè)控制器?？刂破骺梢栽贖MD中實(shí)現(xiàn)，或者至少部分地由外部設(shè)備（例如，計(jì)算系統(tǒng)）實(shí)現(xiàn)，該設(shè)備通過有線或無線接口與HMD通信耦合?？刂破骺梢园ㄒ粋€(gè)或多個(gè)各種類型的處理器、圖像信號處理器（ISP）、圖形處理單元（GPU）、編碼/解碼器（編解碼器）和/或其他用于處理和呈現(xiàn)視頻和/或圖像的組件?？刂破骺梢凿秩景ㄖ辽俨糠只趶腍MD上的相機(jī)和其他傳感器獲得的輸入的虛擬內(nèi)容的幀（每個(gè)幀包括左和右圖像），并可以將幀提供給HMD的投影系統(tǒng)進(jìn)行顯示。

VR/AR系統(tǒng)可包括眼動追蹤系統(tǒng)（也可稱為注視追蹤系統(tǒng)）。專利所描述的用于VR/AR系統(tǒng)的眼動追蹤系統(tǒng)的實(shí)施方案包括至少一個(gè)眼動追蹤相機(jī)（例如，紅外相機(jī)），該相機(jī)設(shè)置在用戶面部的每一側(cè)，并被配置為捕獲用戶的眼睛圖像。

例如，位于HMD顯示面板邊緣或附近的眼動追蹤相機(jī)，從眼睛反射的紅外光中捕捉用戶眼睛的圖像。由眼動跟蹤系統(tǒng)捕獲的圖像可由控制器進(jìn)行分析，以檢測用戶眼睛的特征（如瞳孔）、位置和運(yùn)動，和/或檢測有關(guān)眼睛的其他信息，如瞳孔擴(kuò)張。

提供準(zhǔn)確的眼動追蹤的關(guān)鍵是知道用戶的眼睛相對于眼動追蹤相機(jī)的位置。在眼動追蹤系統(tǒng)的一些實(shí)施方案中，為了準(zhǔn)確確定用戶的眼睛相對于眼動相機(jī)的位置，控制器可以執(zhí)行一種算法，利用眼動相機(jī)捕獲的圖像進(jìn)行3D重建，生成用戶眼睛的3D模型。眼睛的3D模型表明眼睛相對于眼動儀的3D位置，這使得控制器執(zhí)行的眼動儀算法能夠準(zhǔn)確地跟蹤眼睛的運(yùn)動。

圖源：patentlyapple

蘋果公司的專利圖13說明了一個(gè)備選的VR/AR設(shè)備（#3000）的例子，該設(shè)備包括一個(gè)眼動追蹤系統(tǒng)，該系統(tǒng)具有頭部里程表（#3042），該里程表檢測設(shè)備相對于用戶眼睛（#3092）的運(yùn)動，以及眼睛里程表（#3044），該里程表在處理由眼動追蹤相機(jī)（#3040）捕獲的幀之間的間隔中追蹤眼睛的運(yùn)動。

蘋果公司的專利圖11是一個(gè)眼動追蹤方法的流程圖，其中頭部里程表用于檢測HMD相對于用戶眼睛的移動，眼部里程表用于追蹤眼睛在處理眼動追蹤相機(jī)捕獲的幀之間的間隔時(shí)間內(nèi)的移動。

欲了解更多細(xì)節(jié)，請查閱蘋果公司授予的專利11,307,659。眼睛或注視點(diǎn)追蹤技術(shù)將在蘋果未來的混合現(xiàn)實(shí)頭顯中發(fā)揮重要作用。

HMD：修改混合現(xiàn)實(shí)內(nèi)容以喚起目標(biāo)用戶狀態(tài)

早在2020年9月，蘋果公司就申請了一項(xiàng)關(guān)于"設(shè)想工作場所和禮堂采用下一代通信系統(tǒng)，通過墻體向HMD提供AR/VR內(nèi)容"的專利。而近日曝光的新蘋果HMD專利與之前的專利有著相同的概念，如專利圖6所示。

圖源：patentlyapple

在2020年，蘋果的工程師提到了"中繼底座"，而在新專利中，另一個(gè)蘋果團(tuán)隊(duì)將中繼底座稱為 "遠(yuǎn)程輸入設(shè)備"，或在某一點(diǎn)上稱為 "控制器"，可能是一個(gè)公司的服務(wù)器或云服務(wù)器。蘋果公司的專利圖6是一個(gè)示例操作架構(gòu)的框圖#600。

圖源：patentlyapple

雖然與2020年的專利有相似之處，但這項(xiàng)新授權(quán)專利增加了幾層功能。例如，在一些實(shí)施方案中，蘋果公司指出，該方法包括獲得與用戶相關(guān)的傳感器信息，其中傳感器信息對應(yīng)于用戶的一個(gè)或多個(gè)生理測量值；使用定性情緒分類器，根據(jù)與用戶相關(guān)的傳感器信息確定用戶的結(jié)果狀態(tài)；以及至少部分地基于用戶的結(jié)果狀態(tài)和修改的CGR內(nèi)容更新用戶模型。

在一些實(shí)施方案中，用戶的一個(gè)或多個(gè)生理測量值包括眼動追蹤信息、瞳孔擴(kuò)張直徑信息、身體姿勢特征、語音特征、心率、葡萄糖水平和血氧儀中的至少一個(gè)。在一些實(shí)施方案中，該方法進(jìn)一步包括通過確定用戶是否提供知情同意來監(jiān)測與用戶信息相關(guān)的一個(gè)或多個(gè)生理模式來確定用戶的結(jié)果狀態(tài)。

想了解該專利更多詳細(xì)信息，可查閱蘋果公司的授權(quán)專利11,307,650。

來源：patentlyapple