編譯/VR陀螺

近日，美國專利商標(biāo)局正式公布了蘋果公司一系列共5項(xiàng)專利，涉及可能被納入MR頭顯的各種屬性。包括被稱為"頭部里程表"的頭部運(yùn)動(dòng)傳感器、Glint輔助的注視追蹤、使用神經(jīng)網(wǎng)絡(luò)的基于事件相機(jī)的注視追蹤等技術(shù)。

使用頭部運(yùn)動(dòng)傳感器或"頭部里程表"進(jìn)行眼動(dòng)追蹤

蘋果公司第一項(xiàng)專利名為"使用低分辨率圖像進(jìn)行眼動(dòng)追蹤 "，該專利涉及在VR/AR/MR應(yīng)用中使用被稱為"頭部里程表"的頭部運(yùn)動(dòng)傳感器進(jìn)行眼動(dòng)追蹤的各種方法和裝置。

提供準(zhǔn)確的眼動(dòng)追蹤的一個(gè)關(guān)鍵是知道用戶的眼睛相對于眼動(dòng)追蹤攝像頭的位置。在眼動(dòng)追蹤系統(tǒng)的一些實(shí)施方案中，為了準(zhǔn)確確定用戶的眼睛相對于眼動(dòng)攝像頭的位置，控制器可以執(zhí)行一種算法，利用眼動(dòng)攝像頭捕獲的圖像進(jìn)行三維重建，以生成用戶眼睛的3D模型。

眼睛的3D模型表明眼睛相對于眼動(dòng)儀的三維位置，這使得控制器執(zhí)行的眼動(dòng)儀算法能夠準(zhǔn)確地跟蹤眼睛的運(yùn)動(dòng)。

專利還描述了用于跟蹤設(shè)備相對于用戶頭部的相對運(yùn)動(dòng)的方法和設(shè)備，其中傳感器（在此稱為頭部運(yùn)動(dòng)傳感器或頭部里程表）被放置在設(shè)備內(nèi)或設(shè)備上的一個(gè)或多個(gè)位置，例如，在用戶的耳朵或附近，主要跟蹤俯仰，或在鼻梁附近，主要跟蹤Y軸運(yùn)動(dòng)。

來自頭部里程表的信號(hào)可用于檢測設(shè)備相對于用戶眼睛的運(yùn)動(dòng)。這可以使三維重建僅在檢測到設(shè)備相對于用戶眼睛的移動(dòng)時(shí)進(jìn)行，從而大大減少眼動(dòng)追蹤系統(tǒng)的功耗。

蘋果公司的專利圖2說明了一個(gè)VR/AR HMD的例子，它實(shí)現(xiàn)了一個(gè)眼動(dòng)追蹤系統(tǒng)，包括檢測HMD相對于用戶眼睛的運(yùn)動(dòng)的傳感器。

圖源：patentlyapple

想了解更多專利細(xì)節(jié)，可查閱蘋果公司的授權(quán)專利11,442,540。

閃光輔助注視追蹤器

蘋果公司的專利還涵蓋了在VR/AR頭戴式顯示器（HMD）中進(jìn)行閃爍輔助注視追蹤的方法和裝置。注視追蹤攝像頭拍攝的圖像可以輸入到閃光檢測程序和瞳孔檢測程序，例如，由HMD控制器的一個(gè)或多個(gè)處理器實(shí)現(xiàn)。

圖源：patentlyapple

閃光檢測過程可以檢測圖像中的閃光，并將閃光信息傳遞給瞳孔檢測過程，其中檢測到的閃光可用于檢測瞳孔位置和輪廓。

閃光信息也可以由閃光檢測過程傳遞給閃光-LED匹配過程，該過程將檢測到的閃光與注視追蹤系統(tǒng)的特定發(fā)光元件相匹配。閃光-LED匹配過程（檢測到的閃光和LED對應(yīng)關(guān)系）和瞳孔檢測過程（檢測到的瞳孔橢圓）的結(jié)果被傳遞給注視估計(jì)過程，例如，由控制器的一個(gè)或多個(gè)處理器實(shí)現(xiàn)，以估計(jì)用戶的注視點(diǎn)。

圖源：patentlyapple

蘋果公司的專利圖9A至9C以圖形方式說明了圖像空間中的閃光-LED匹配；圖11A和11B顯示了圖像空間中的閃光匹配方法與在三維空間中應(yīng)用閃光幾何匹配方法，檢測和糾正使用圖像空間中的閃光匹配方法的潛在不匹配時(shí)結(jié)果的比較示例。

想了解更多有關(guān)這方面的信息，請查閱完整的專利11,442,537。

來源：patentlyapple