文/VR陀螺 JING WANG

眼動(dòng)追蹤——能夠快速準(zhǔn)確地檢測(cè)用戶在 VR 頭戴設(shè)備內(nèi)的注視方向，經(jīng)常在注視點(diǎn)渲染的應(yīng)用場(chǎng)景下被談?wù)?，它是如何調(diào)用資源，提高用戶近眼顯示質(zhì)量，降低設(shè)備功耗。

多年來(lái)，眼動(dòng)追蹤一直被認(rèn)為是 XR 一項(xiàng)遙遠(yuǎn)的技術(shù)。伴隨著以 Tobii、七鑫易維為代表的供應(yīng)鏈技術(shù)的成熟，XR 開(kāi)發(fā)需求的疊加，從 2022 年以來(lái)，越來(lái)越多的 XR 設(shè)備開(kāi)始配備眼動(dòng)追蹤技術(shù)，PS VR 2、Quest Pro、Vive Pro Eye 和 PICO 4 Pro 是目前 XR 消費(fèi)市場(chǎng)中最典型的商用案例。

眼動(dòng)追蹤技術(shù)落地勢(shì)頭猛烈，預(yù)測(cè)在未來(lái)幾年內(nèi)可以看到該技術(shù)成為消費(fèi)級(jí) VR 頭顯的標(biāo)配，當(dāng)然，AR 眼鏡在顯示、功耗與體積未達(dá)最優(yōu)解前可能還需要更長(zhǎng)時(shí)間。

雖然注視點(diǎn)渲染是眼動(dòng)追蹤在 AR 和 VR 頭戴式設(shè)備中的一個(gè)令人興奮的技術(shù)場(chǎng)景，但眼動(dòng)追蹤的作用不僅于此?；谘蹌?dòng)追蹤技術(shù)與更多 XR 軟硬件的“串聯(lián)”，可以開(kāi)啟更多產(chǎn)品功能，顯著提高用戶體驗(yàn)。

圖源：網(wǎng)絡(luò)

 一、注視點(diǎn)渲染，基于人眼中央凹 

注視點(diǎn)渲染（Foveated Rendering）是大多人對(duì)于眼動(dòng)追蹤技術(shù)的第一印象，它旨在降低顯示要求苛刻的 XR 場(chǎng)景所需的算力。

“注視點(diǎn)渲染”的名稱來(lái)自“中央凹”（fovea）——它是視網(wǎng)膜中視覺(jué)（辨色力、分辨力）最敏銳的區(qū)域。以人為例，在視神經(jīng)盤(pán)顳側(cè)約 3.5mm 處，有一黃色小區(qū)，稱黃斑，其中央的凹陷，就是中央凹。

圖源：網(wǎng)絡(luò)

中央凹為我們提供了視野中心的高分辨率視覺(jué)，與此同時(shí)，我們周邊的視覺(jué)實(shí)際上在捕捉細(xì)節(jié)和顏色方面非常差，更適合發(fā)現(xiàn)運(yùn)動(dòng)和對(duì)比。你可以把它想象成一個(gè)相機(jī)，它有一個(gè)只有幾百萬(wàn)像素的大傳感器，不過(guò)還有一個(gè)位于中間的小傳感器，有著上千萬(wàn)像素。

實(shí)際上，人類(lèi)可以看到高細(xì)節(jié)的視野區(qū)域比大多數(shù)人想象的要小得多，僅在視野中心占有幾度。中央凹與視網(wǎng)膜其余部分的分辨能力差異巨大，如果沒(méi)有中央凹，用戶也將無(wú)法辨認(rèn)此頁(yè)上的文字。

現(xiàn)在，我們可以做一個(gè)小實(shí)驗(yàn)。如果你將眼睛集中在這個(gè)詞上——“Fovea”——并嘗試閱讀下面的三行文字，你會(huì)發(fā)現(xiàn)幾乎不可能看清楚這些文字，只能感受到它們是一群模糊的文字。人們高估視覺(jué)中央凹區(qū)域的原因似乎是因?yàn)榇竽X做了很多無(wú)意識(shí)的解釋和預(yù)測(cè)，以建立一個(gè)我們相信的世界的模型。

注視點(diǎn)渲染旨在通過(guò)僅在中央凹看到的區(qū)域以高分辨率渲染虛擬場(chǎng)景，利用人類(lèi)視覺(jué)特性，大幅降低周邊視覺(jué)中無(wú)法仔細(xì)分辨的細(xì)節(jié)場(chǎng)景顯示質(zhì)量。這樣做可以讓我們將 XR 設(shè)備大部分處理能力集中在對(duì)畫(huà)面細(xì)節(jié)貢獻(xiàn)最大的地方，同時(shí)在其他地方節(jié)省運(yùn)算資源。

圖源：網(wǎng)絡(luò) 

這聽(tīng)起來(lái)可能不是什么大不了的事，但隨著 XR 頭戴設(shè)備顯示分辨率和 FOV  的提高，渲染復(fù)雜場(chǎng)景所需的功率也會(huì)相應(yīng)提升。此時(shí)眼球追蹤自然會(huì)發(fā)揮出最大的作用，成為提高近眼顯示質(zhì)量和節(jié)省設(shè)備資源的最佳調(diào)解器。

注視點(diǎn)顯示不是僅僅是改變屏幕顯示中某些部分的渲染細(xì)節(jié)，而是實(shí)時(shí)跟蹤渲染，無(wú)論用戶看向哪里，它都始終保持在用戶視線的前面。

圖源：網(wǎng)絡(luò)

注視點(diǎn)顯示打開(kāi)了在 AR 眼鏡和 VR 頭顯中實(shí)現(xiàn)更高分辨率的大門(mén)，而無(wú)需通過(guò)試圖在整個(gè)視野范圍內(nèi)以更高分辨率填充像素來(lái)強(qiáng)行解決問(wèn)題。這樣做不僅成本高昂，而且由于像素?cái)?shù)量接近視網(wǎng)膜分辨率，還會(huì)遇到具有挑戰(zhàn)性的功率和尺寸限制。

相反，注視點(diǎn)顯示器會(huì)根據(jù)眼球追蹤數(shù)據(jù)將一個(gè)更小的、像素密集的顯示器移動(dòng)到用戶所看的任何地方，這種方法甚至可以獲得比單一平面顯示器更高的視野。

在Varjo的頭顯中，像素密集的注視點(diǎn)顯示器與更大、像素密集程度低得多的顯示器大致近似。（圖源：Varjo）

一個(gè)經(jīng)典行業(yè)案例是 Varjo 的 VR 頭顯光學(xué)系統(tǒng)設(shè)計(jì)，他們?cè)陬^顯中使用一塊顯示屏，覆蓋了廣闊的視野(但像素密度不是很高)，然后在上面疊加一個(gè)像素密度要高得多的微顯示屏。這兩者的結(jié)合意味著用戶的周邊視覺(jué)可以獲得廣闊的視野，而中央凹的視覺(jué)可以獲得非常高分辨率的區(qū)域。

誠(chéng)然，這種注視點(diǎn)顯示仍然是靜態(tài)的(高分辨率區(qū)域停留在顯示器的中間)，而不是動(dòng)態(tài)的，但該公司已經(jīng)考慮了許多移動(dòng)顯示器的方法，以確保高分辨率區(qū)域始終處于用戶視線的中心。

除了檢測(cè)眼球運(yùn)動(dòng)外，眼動(dòng)追蹤還可以用作生物識(shí)別符。這使得眼動(dòng)追蹤成為單設(shè)備，多用戶差異化賬戶配置的理想選擇——當(dāng)一名用戶戴上 XR 頭戴設(shè)備時(shí)，系統(tǒng)可以立即將其識(shí)別為一個(gè)獨(dú)特的用戶，并調(diào)用自定義的虛擬環(huán)境、內(nèi)容庫(kù)、游戲進(jìn)度和功能設(shè)置。當(dāng)其他用戶戴上 XR 頭戴設(shè)備時(shí)，系統(tǒng)可以加載他們的偏好設(shè)置和應(yīng)用數(shù)據(jù)。

當(dāng)然，這里涉及在眼動(dòng)追蹤模組中加載其他生物識(shí)別算法（如虹膜識(shí)別），據(jù) VR陀螺獲悉，眼動(dòng)追蹤和虹膜識(shí)別可以共用一套傳感器，而無(wú)需增加新的硬件，通過(guò)相應(yīng)虹膜算法SDK的加載，XR 設(shè)備的眼動(dòng)追蹤還可以實(shí)現(xiàn)虹膜 XR 硬件解鎖、虹膜支付等功能。

眼動(dòng)追蹤還可用于精確測(cè)量 IPD（瞳距）。了解用戶自身的 IPD 在 XR 中很重要，因?yàn)樾枰獙㈢R頭和顯示器移動(dòng)到最佳位置，用戶才能獲得舒適的視覺(jué)效果。

圖源：網(wǎng)絡(luò)

不幸的是，很多人并不知道他們的 IPD 是多少，從而導(dǎo)致在使用過(guò)程中，視野中常出現(xiàn)一條黑線，雙眼分看割裂畫(huà)面，調(diào)試適配的過(guò)程并不難，然而卻是無(wú)形中增加了時(shí)間成本，同時(shí)讓人感覺(jué) XR 的手動(dòng)“落后性”。

通過(guò)眼動(dòng)追蹤技術(shù)，XR 設(shè)備可以很容易地檢測(cè)到每個(gè)用戶的 IPD，然后讓頭戴設(shè)備通過(guò)系統(tǒng)調(diào)動(dòng)鏡頭移動(dòng)，以毫米級(jí)的精度自動(dòng)適配人眼的最佳觀看位置。從用戶體驗(yàn)角度來(lái)看，整個(gè)適配過(guò)程是更具含金量，并且相比于傳統(tǒng)的手動(dòng) IPD 調(diào)節(jié)，依賴眼動(dòng)追蹤技術(shù)的自動(dòng) IPD 調(diào)節(jié)更加精準(zhǔn)與科學(xué)。

在某些 XR 設(shè)備中，IPD 的適配是全自動(dòng)化的，開(kāi)機(jī)即用，而無(wú)需用戶做任何適配動(dòng)作，就像是你的智能手機(jī)在日光下，光線傳感器會(huì)受到刺激，從而調(diào)用最大亮度，以讓你可以看見(jiàn)，而 XR 設(shè)備未來(lái)的 IPD 趨勢(shì)也將在眼動(dòng)追蹤的驅(qū)動(dòng)下，更加無(wú)感智能化和自動(dòng)化。

從非球面透鏡到 Pancake 折疊光路，VR 頭顯的光學(xué)投影方案愈加成熟和精進(jìn)，相關(guān)技術(shù)路線也十分多樣。然而，它們卻并不支持人類(lèi)視覺(jué)的一項(xiàng)重要功能：動(dòng)態(tài)變焦。

當(dāng)前的 VR/AR/MR 頭戴式顯示設(shè)備經(jīng)常存在所謂的視覺(jué)輻輳調(diào)節(jié)沖突（vergence-accommodation conflict，簡(jiǎn)稱“VAC”），通常立體圖像能夠驅(qū)動(dòng)用戶的人類(lèi)視覺(jué)系統(tǒng)的聚散狀態(tài)至任意距離，但在頭顯中用戶眼睛的調(diào)節(jié)或聚集狀態(tài)被光學(xué)系統(tǒng)驅(qū)動(dòng)到了一個(gè)固定的距離。

因此，在長(zhǎng)時(shí)間的 VR/AR/MR 環(huán)境中，當(dāng)雙眼視差與眼睛的聚散調(diào)節(jié)不一致時(shí)，VAC 便會(huì)產(chǎn)生，其后果是導(dǎo)致人眼疲勞，甚至是惡心和頭痛（具體反應(yīng)因人而異）。

圖源：網(wǎng)絡(luò)

變焦顯示器——那些可以動(dòng)態(tài)改變焦深的顯示器——被提議作為解決 VAC 的一種方案。變焦顯示器有多種實(shí)現(xiàn)方式，其中最簡(jiǎn)單的可能是從光學(xué)系統(tǒng)層面實(shí)現(xiàn)，在該系統(tǒng)中，顯示器在鏡頭之間物理地來(lái)回移動(dòng)，以動(dòng)態(tài)改變焦深。

實(shí)現(xiàn)這種可驅(qū)動(dòng)的變焦顯示器需要眼動(dòng)追蹤，因?yàn)橄到y(tǒng)需要準(zhǔn)確地知道用戶正在看場(chǎng)景中的哪個(gè)位置。通過(guò)從用戶的每只眼睛追蹤進(jìn)入虛擬場(chǎng)景的路徑，系統(tǒng)可以找到這些路徑的交點(diǎn)，從而建立用戶正在查看的正確焦平面。然后將此信息發(fā)送到顯示器以進(jìn)行相應(yīng)調(diào)整，將焦深設(shè)置為與用戶眼睛到物體的虛擬距離相匹配。

采用良好的變焦顯示器不僅可以消除 VAC，還可以讓用戶專注于比現(xiàn)有頭戴設(shè)備更接近他們的虛擬物體，達(dá)到更沉浸式的體驗(yàn)。

一個(gè)變焦頭顯原型（圖源：英偉達(dá)）

在我們將變焦顯示器放入 XR 設(shè)備之前，眼動(dòng)追蹤可以用于模擬景深，這可以近似于用戶眼睛焦平面之外的物體的模糊。

截至目前，市場(chǎng)上還沒(méi)有具備變焦功能的 XR 頭戴設(shè)備，與以前的“眼動(dòng)追蹤”技術(shù)類(lèi)似，這是一項(xiàng)具備未來(lái)應(yīng)用價(jià)值，但尚未成熟的技術(shù)。在眼動(dòng)追蹤技術(shù)加入后，有望進(jìn)一步加速該技術(shù)的研發(fā)與落地。

目前，大多數(shù) VR 社交軟件似乎都向用戶展示了真實(shí)的眼球運(yùn)動(dòng)，包括眨眼、掃視和物體聚焦，包括《VRChat》、《Horizon Worlds》 和《Rec Room》等。

精確的眼球追蹤數(shù)據(jù)可以很容易地應(yīng)用于 VR 數(shù)字化身，以表示用戶何時(shí)眨眼，以及他們?cè)诳茨睦?。它還可以解鎖有意識(shí)和無(wú)意識(shí)的非語(yǔ)言交流，如眨眼、瞇眼和瞳孔擴(kuò)張，甚至可以用來(lái)推斷一些情緒，如悲傷或驚訝，這些情緒可能會(huì)反映在化身的臉上。

以社交起家的 Meta 一直在推動(dòng)次時(shí)代 VR 硬件上的社交，如 Quest Pro 就具有眼球追蹤和面部追蹤功能，為虛擬形象帶來(lái)了更真實(shí)的表達(dá)。

正如上文所提，通過(guò)對(duì)于用戶眼球的追蹤，眼動(dòng)追蹤對(duì)于被動(dòng)地理解玩家的意圖和注意力也非常有用。

假設(shè)開(kāi)發(fā)者正在制作一款恐怖游戲，其中玩家在鬼屋中徘徊。傳統(tǒng)上，開(kāi)發(fā)者可能會(huì)花很長(zhǎng)時(shí)間制作一個(gè)腳本序列，讓怪物在玩家進(jìn)入某個(gè)區(qū)域時(shí)從壁櫥里跳出來(lái)，但如果玩家沒(méi)有直視壁櫥，他們可能就會(huì)錯(cuò)過(guò)恐懼。

圖源：網(wǎng)絡(luò)

而現(xiàn)在，眼動(dòng)追蹤就可以用來(lái)觸發(fā)對(duì)應(yīng)事件，只有用戶看向正確的方向，怪物才會(huì)猛然出現(xiàn)，又或者直接跟隨出現(xiàn)在人眼直視的區(qū)域。當(dāng)然，如果設(shè)計(jì)師想制造一個(gè)更加驚悚恐懼的氛圍，還可以讓 NPC 出現(xiàn)在人眼的的周邊區(qū)域，利用眼動(dòng)追蹤，每當(dāng)人眼試圖捕捉它時(shí)，它就自動(dòng)切換位置，最大程度地展示恐懼，達(dá)到最佳效果。

在 PlayStation VR2 上，VR 恐怖射擊游戲《黑相集：之字路VR》在眼動(dòng)追蹤和恐怖方面做了一些更有創(chuàng)意的事情——在游戲的某些區(qū)域，有一種幽靈般的人體模型，只有在你眨眼的時(shí)候才會(huì)移動(dòng)……

圖源：網(wǎng)絡(luò)

除了利用眼動(dòng)追蹤來(lái)最大化恐怖感，這種被動(dòng)輸入還可以幫助玩家在虛擬環(huán)境中獲得更高的精確度。例如，同樣在 PlayStation VR2 上的《地平線 山之呼喚》中，用戶的視線被用作一種“自動(dòng)瞄準(zhǔn)”，以幫助遠(yuǎn)距離拉弓顯示更準(zhǔn)確。

眼球追蹤制造商 Tobii 展示了如何使用相同的概念來(lái)提高 VR 里投擲物體的準(zhǔn)確性，通過(guò)根據(jù)用戶的目光推斷他們打算將物體扔向何處，系統(tǒng)將改變投擲物體的軌跡，使其達(dá)到完美精確的投擲。下面的剪輯動(dòng)圖雖然顯示了實(shí)際和修正的軌跡，但在 VR 里的實(shí)際使用中，這對(duì)用戶來(lái)說(shuō)是完全不可見(jiàn)的，讓人感覺(jué)更自然，體驗(yàn)更佳。

圖源：網(wǎng)絡(luò)

除了這種實(shí)時(shí)的意圖理解，眼動(dòng)追蹤對(duì)分析也非常有用。通過(guò)收集有關(guān)用戶正在查看的內(nèi)容和時(shí)間的數(shù)據(jù)，開(kāi)發(fā)人員可以更深入地了解他們的應(yīng)用程序是如何被使用的。

例如，眼球追蹤數(shù)據(jù)可以顯示用戶是否發(fā)現(xiàn)了一個(gè)重要的按鈕機(jī)關(guān)，他們的注意力是否被環(huán)境中一些意想不到的畫(huà)面部分所吸引，界面元素是否未被使用等等，幫助開(kāi)發(fā)者更好地優(yōu)化內(nèi)容。

當(dāng)然，眼動(dòng)追蹤對(duì)于主動(dòng)輸入也很有用，允許用戶有意識(shí)地利用他們的目光使游戲任務(wù)更容易完成。雖然現(xiàn)在許多 XR 應(yīng)用程序允許用戶通過(guò)指向物體，并按住“側(cè)握鍵”遠(yuǎn)程抓取物體到手中，但眼球追蹤可以使這一過(guò)程更快、更準(zhǔn)確，讓用戶只需觀察并抓取即可。

在該操作中使用眼動(dòng)追蹤實(shí)際上可以更準(zhǔn)確，因?yàn)槲覀兊难劬?shí)際上比用手柄更擅長(zhǎng)指向遠(yuǎn)處物體，而我們的手有時(shí)會(huì)產(chǎn)生自然的抖動(dòng)，對(duì)于指向遠(yuǎn)距離的物體時(shí)會(huì)有一定誤差。

與抓取物體類(lèi)似，眼動(dòng)追蹤輸入還有助于拓展提高 XR 鍵盤(pán)輸入交互的速度和效率，允許用戶按下按鈕和做其他動(dòng)作，比移動(dòng)身體或用手要快得多?？梢灶A(yù)測(cè)，當(dāng) XR 成為一個(gè)真正高效的通用計(jì)算平臺(tái)時(shí)，眼動(dòng)追蹤輸入將發(fā)揮重要作用。

此外，眼動(dòng)追蹤在醫(yī)療保健和研究領(lǐng)域也有廣泛的應(yīng)用，像 SyncThink 這樣的公司正在使用帶有眼動(dòng)追蹤功能的頭戴設(shè)備來(lái)檢測(cè)腦震蕩，據(jù)稱可以提高現(xiàn)場(chǎng)診斷的效率。

2022 年 3 月，SyncThink 宣布與 PICO 合作， PICO Neo 3 Pro Eye 設(shè)備結(jié)合 EYE-SYNC 后 ，將可以在開(kāi)機(jī)后 10 秒內(nèi)開(kāi)始為病患進(jìn)行評(píng)估。通過(guò)內(nèi)置的眼動(dòng)追蹤，以 90Hz 的頻率運(yùn)行，臨床醫(yī)生可以捕捉到更多重要的數(shù)據(jù)，以輔助臨床決策。

圖源：網(wǎng)絡(luò)

環(huán)繞聲空間音頻等其他功能也有助于實(shí)現(xiàn)測(cè)試程序和病人指導(dǎo)的自動(dòng)化，在此過(guò)程中節(jié)省寶貴的時(shí)間。

研究人員也可以使用眼動(dòng)追蹤來(lái)收集和輸入數(shù)據(jù)，比如更好地理解自閉癥人群對(duì)社交目光接觸的影響，或者為更多人提供遠(yuǎn)程無(wú)障礙服務(wù)等。

考慮到眼動(dòng)追蹤潛在的諸多功能拓展，眼動(dòng)追蹤必然會(huì)成為未來(lái) XR 的硬件標(biāo)配，與市場(chǎng)普及的重要推手。

編譯來(lái)源、參考資料：

1.眼動(dòng)追蹤是XR的游戲規(guī)則改變者，它遠(yuǎn)遠(yuǎn)超出了注視點(diǎn)渲染

https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/#1525802507571-6d24d015-7321  

2.Pancake+可變焦，揭秘Meta（Facebook）輕薄VR頭顯光學(xué)設(shè)計(jì)

http://m.piop.cn/528510.html