作者：Karl Guttag
編譯：鬼道（本文已獲轉(zhuǎn)載授權(quán)）

移動增強(qiáng)現(xiàn)實(shí)已然是熱點(diǎn)了。如果只從媒體最近報道的各類頭顯來看（如微軟 Hololens、Magic Leap 創(chuàng)意者版、DAQRI 智能眼鏡），你會以為面向大眾的 AR 已經(jīng)準(zhǔn)備好了。然而這些 AR 設(shè)備還有很多局限，尤其是顯示器。

最近媒體上流傳著很多的 AR 猜測和所謂的“特性列表”。一致的看法竟然是 AR 顯示器除視場偏小外已經(jīng)很好了，即使視場也會很快變好的。一些 AR 顯示器制造商，像 DigiLens 最近也宣布了 150° 視場的顯示器。

本文嘗試解釋視場為何不能被快速地大幅度提升。但更重要的是，我們想指出視場只是大約 24 個 AR 重要參數(shù)中的一個而已。這些參數(shù)與 AR 顯示器的相關(guān)性不比視場小，它們也不是已經(jīng)解決或可以獨(dú)立解決的。大部分 AR 顯示器的技術(shù)在軍事和工業(yè)場景中已有多年積累，最近的進(jìn)展主要是降低成本，而技術(shù)上的突破卻很少。

顯示器類型

AR 顯示器有 2 類主要技術(shù)：光學(xué)透視和視頻透視。兩種類型過去都有很多探索，但視頻透視的限制非常明顯，幾乎所有商業(yè) AR 設(shè)備都在使用光學(xué)透視顯示器。

光學(xué)透視顯示器

光學(xué)透視顯示器讓用戶透過一組光學(xué)鏡片“直接”看到真實(shí)世界。AR 顯示器的原理是：在真實(shí)世界的源光線中疊加虛擬內(nèi)容的光線。這個疊加操作是無法展示黑色或讓真實(shí)世界變暗的，所以現(xiàn)在的 AR 顯示器是無法展示黑色內(nèi)容或繪制陰影的。實(shí)驗(yàn)室中已有設(shè)備能做到像素級遮擋源光線了，但離實(shí)用還很遠(yuǎn)，這里不再考慮。

目前主要有 2 種光學(xué)透視顯示器：光波導(dǎo)（waveguide）和自由空間系統(tǒng)（free-space system）。光波導(dǎo)（下左圖）在現(xiàn)今的高端市場中占據(jù)主導(dǎo)地位，上文提到的所有設(shè)備都是基于光波導(dǎo)的：從投影儀（projector）在發(fā)出的一幀圖像的光，從光波導(dǎo)鏡片的一側(cè)進(jìn)入，根據(jù)全內(nèi)反射原理將在光波導(dǎo)內(nèi)發(fā)生反射（和光纖電纜類似）；然后在另一側(cè)離開光波導(dǎo)并進(jìn)入眼睛。光波導(dǎo)很流行，因?yàn)橥ㄟ^它很容易實(shí)現(xiàn)優(yōu)雅的扁平設(shè)計(jì)，但也帶來了很多圖像質(zhì)量問題。

圖：光學(xué)透視顯示器：光波導(dǎo)（左）、自由空間系統(tǒng)（右）

（譯注：本文所引用的圖片均為原文配圖，不再逐一標(biāo)注）

自由空間系統(tǒng)是光波導(dǎo)最流行的替代方案，使用了自由組合的光學(xué)元件，設(shè)計(jì)復(fù)雜性遠(yuǎn)低于光波導(dǎo)且成像質(zhì)量更高。同時，一旦完全原型化后，生產(chǎn)成本遠(yuǎn)低于光波導(dǎo)。一個廣泛存在的誤解是：基于自由空間系統(tǒng)的顯示器為了獲得大視場，體積通常都很大（如 Meta2）。

光波導(dǎo)的光學(xué)效率較低需要高功率的投影儀，目前是通過組合 LED 光源和 LCOS 圖像調(diào)制器來實(shí)現(xiàn)的。自由空間系統(tǒng)通常用 OLED 就可以了，OLED 可以自身發(fā)光且可以設(shè)計(jì)地更小。

視頻透視顯示器

視頻透視顯示器通過一對攝像頭記錄真實(shí)世界，然后將影像展示在 OLED 或 LED 的不透明屏幕上，通過傳統(tǒng)的視頻混合技術(shù)添加虛擬內(nèi)容。這意味著包括 展示黑色內(nèi)容、暗化真實(shí)世界 在內(nèi)的任何操作都是可行的。

圖：視頻透視顯示器的工作原理

視頻透視相比光學(xué)透視的優(yōu)點(diǎn)是內(nèi)容混合的可控性。但目前幾乎所有的 AR 設(shè)備都采用了光學(xué)透視，原因也簡單：視頻透視需要面對本文討論的所有對現(xiàn)實(shí)世界和虛擬內(nèi)容的挑戰(zhàn)；相反光學(xué)透視只需要面對虛擬內(nèi)容的挑戰(zhàn)，且通過一些 UI 設(shè)計(jì)可以較好的規(guī)避。動態(tài)范圍就是個明顯的例子：人眼的動態(tài)范圍可清晰分辨一個站在陽光直射下的人和鄰近的站在陰影下的人，目前攝像頭和顯示器做不到這點(diǎn)；陰影里的人太暗而陽光下的人又太亮，此外大視場就變得必要了，不僅要匹配所部署的相機(jī)系統(tǒng)，還要要模仿肉眼所見的真實(shí)世界視場。加之人類自身因素的安全考慮（譯注：可能是說人身安全，畢竟是遮蔽雙眼，通過攝像頭看外部世界）。基于以上因素，下文只考慮光學(xué)透視顯示器。

設(shè)計(jì)參數(shù)

本文假定視場只是 AR 顯示器諸多關(guān)鍵設(shè)計(jì)參數(shù)之一。接下來要討論的參數(shù)中，大部分都和視場同等重要：

視場

適眼區(qū)尺寸

亮度、透明度和工作時間

對比度

均勻性和顏色質(zhì)量

分辨率

真實(shí)世界失真

虛擬圖像失真

眼睛安全

出瞳距離

周邊視覺

色差

深度感知

尺寸、重量和結(jié)構(gòu)

光學(xué)效率

延遲

通過犧牲其他參數(shù)來改進(jìn)單個參數(shù)是相對容易的。比如，犧牲輕便性和適眼區(qū)尺寸來獲取更大的視場不是很困難，但用戶不會接受這種設(shè)備。換句話說，在小小的顯示器上實(shí)現(xiàn)大視場和大適眼區(qū)是很有挑戰(zhàn)的。類似的，更大的適眼區(qū)需要更多的光線以達(dá)到合適的亮度，所以光源需要更強(qiáng)大。

由于下文提及的大部分參數(shù)目前都還沒有達(dá)到理想的狀態(tài)，設(shè)備制造商的目標(biāo)是提升所有參數(shù)。然而上面提到在不犧牲其他參數(shù)的前提下提升單個參數(shù)已經(jīng)不容易了。權(quán)衡的主要原因是所謂的系統(tǒng)光學(xué)擴(kuò)展量（etendue），它是一個幾何不變量，如下面的公式所定義。必須保持光學(xué)擴(kuò)展量的恒定，類似于能量守恒。在其最簡單的形式中，它表明對于給定光源，光的立體角與表面積的乘積必須是常數(shù)。

圖：光學(xué)擴(kuò)展量的規(guī)則：隨著 h2 的增加， 2 必須下降。

（譯注：以下推導(dǎo)不影響對全文的理解，可以在學(xué)習(xí)了全文后再看這節(jié)）

在上圖中，高度為 h1 的物體用作光源。對于所示透鏡系統(tǒng)的幾何形狀，得到的圖像被放大了 h2>h1 ，而物體側(cè)的實(shí)心錐角 Ω2 與 Ω1 相比減小。換句話說，如果區(qū)域擴(kuò)大，則實(shí)心錐角減小，反之亦然。更正式的光學(xué)擴(kuò)展量（G）定義為：

其中 n 是介質(zhì)的折射系數(shù)，Θ 是區(qū)域 dA 的發(fā)射（或接收）光束的角度。我們注意到?jīng)]有標(biāo)準(zhǔn)符號用于光學(xué)擴(kuò)展量，但“G”和“dG”經(jīng)常在光學(xué)社區(qū)中使用。類似術(shù)語出現(xiàn)在稱為拉格朗日不變量的近軸極限中，表示為：

其中 h1 和 h2 分別是前述物體和圖像的高度，u1 和 u2 分別是物體和圖像射線角度。G 的替代表達(dá)式有時用于處理顯微鏡物鏡，NA 由下式給出：

如果試圖擴(kuò)大出射光瞳以獲得恒定的視場，則光學(xué)擴(kuò)展量會影響光引擎設(shè)計(jì)和投影儀尺寸的效率。例如，考慮上圖中的簡單投影儀設(shè)計(jì)，其中焦距 f 的準(zhǔn)直透鏡對寬度為 x 的微顯示面板進(jìn)行校準(zhǔn)（我們將自己限制在一個維度上）。無論光波導(dǎo)還是自由空間系統(tǒng)，投影儀的視場是我們想要嘗試并通過顯示器進(jìn)行中繼的。

圖：基于準(zhǔn)直微顯示面板的簡單 HMD 投影儀示意圖。

位于無窮遠(yuǎn)處的圖像具有投影儀的高度（出射光瞳）由鏡頭的直徑確定，而投影儀內(nèi)的視場 Θ 由以下因素確定：

為了增加給定顯示器的視場，我們需要減小 f 或增加 x，但是光學(xué)擴(kuò)展量告訴我們增加立體角就會減小圖像尺寸。另外，鏡片的半徑不能大于其曲率半徑，這決定了它的焦距（通常使用鏡子，因此只有一個表面可以有動力）。因此存在權(quán)衡，其可以通過使用更大的顯示面板來解決，這又使得投影儀和照明系統(tǒng)更大，因?yàn)樵跍?zhǔn)直光源時會出現(xiàn)相同的問題。因此，光電發(fā)射顯示板非常有吸引力。光波導(dǎo)很受歡迎是因?yàn)樗鼈冊试S“瞳孔擴(kuò)展”或“瞳孔復(fù)制”，使得光學(xué)擴(kuò)展量關(guān)系不會直接受到影響，但是這會產(chǎn)生其他后果，如前所述如圖像質(zhì)量，光學(xué)效率和亮度。當(dāng)使用用于投影儀的掃描激光系統(tǒng)時，還會出現(xiàn)其他復(fù)雜情況，因?yàn)橥队皟x的出射光瞳非常小。擴(kuò)展這種投影儀的一種方法是使用中間屏幕然后作為輔助光源，但是這會增加體積（需要額外的中繼透鏡），這會增加散斑并且還降低效率。另一種瞳孔擴(kuò)展方法是使用光波導(dǎo)，但是如果沒有眼睛跟蹤和主動校正，則很難抑制偽影。

視場

所有人都希望有更大的視場（FOV，F(xiàn)ield of View），這需要和其他參數(shù)小心地平衡。視場擴(kuò)增的需求和使用場景密切相關(guān)。消費(fèi)者場景下（如 玩游戲）更大的視場可提升沉浸感。很多專業(yè)場景下（如 保養(yǎng)、巡查）視場 40° x 30° 就夠用了，因?yàn)榻裹c(diǎn)區(qū)域比較小不會遮擋其它重要的區(qū)域（如 遮擋較少會提升安全性）。

圖：AR、VR 設(shè)備的 FOV 與 人類視場的對比。這里用矩形來形象地展示 FOV，現(xiàn)實(shí)中無論 AR/VR 設(shè)備還是人類視場都不是矩形的。

從上圖也能看出，目前的 AR 顯示器只能覆蓋人類視場很小的一塊區(qū)域。得益于更大的體積和更簡單的光學(xué)結(jié)構(gòu)，VR 設(shè)備的視場更接近人眼。

視場、適眼區(qū)、出瞳距離 之間的關(guān)系近似符合：

s 代表光學(xué)平面（如光波導(dǎo)鏡片）的尺寸（如寬度），b 代表適眼區(qū)尺寸，r 代表出瞳距離，v 代表視場。下圖展示了他們之間的關(guān)系。

圖：光學(xué)表面尺寸 （s）、出瞳距離（r）、適眼區(qū)尺寸（b）和 視場（v）之間的關(guān)系。

對一個典型的水平視場 40°、出瞳距離 20mm、適眼區(qū)尺寸 20mm，顯示器寬度是 35mm。其他參數(shù)不變，視場 90° 時，顯示器寬度已經(jīng)達(dá)到 60mm。對于 DIgiLens 宣稱的光波導(dǎo)對角線視場 150°，顯示器對角線長度將達(dá)到 170mm。按照 4:3 長寬比，顯示器的尺寸大致是每塊 135mm x 100mm！

圖：光波導(dǎo)鏡片尺寸 35mm（左）、60mm（中）和 135mm（右）

從上圖可見，即使 60mm 寬度的光波導(dǎo)已經(jīng)很大了，135mm 的光波導(dǎo)根本就不可行。不只是離奇的大，這么寬的視場必須考慮到雙目交叉（詳見后續(xù)章節(jié)），這意味著光波導(dǎo)鏡片之間也需要交叉。顯然，要達(dá)到這么大的視場，平面型顯示器已經(jīng)不夠了，需要考慮使用曲面組合鏡片。盡管不是不可能，曲面光波導(dǎo)還在研究中離實(shí)用很遠(yuǎn)。

適眼區(qū)尺寸

適眼區(qū)（Eye Box）是位于近眼顯示器前方的一個區(qū)域，這個區(qū)域內(nèi)顯示器中的內(nèi)容可以被“很好”地觀察到。在適眼區(qū)之外顯示器的內(nèi)容可能被扭曲、顏色可能出錯或翻轉(zhuǎn)或者內(nèi)容根本就不可見。盡管被稱作“eye box”，適眼區(qū)的 3D 形狀其實(shí)不是一個方盒卻更像一個圓錐，圓錐遠(yuǎn)離顯示器的地方更小。在 AR、VR 顯示器中常用適眼區(qū)這個術(shù)語，在光學(xué)行業(yè)中更常用的是"出射光瞳（exit pupil）"，指代即時視場等于總體視場的區(qū)域。

圖：顯示器（藍(lán)）前，眼睛（黑）位于 適眼區(qū)（綠）內(nèi)

大部分人在使用雙目望遠(yuǎn)鏡或顯微鏡時已經(jīng)發(fā)現(xiàn)過小的出射光瞳帶來的問題：除非每只眼被精確定位在目鏡前方合適的位置，否則什么也看不到。這種”別扭“行為的原因是更小的出射光瞳具有更高的光效率（光從雙目望遠(yuǎn)鏡一側(cè)進(jìn)入后在另一側(cè)較小區(qū)域內(nèi)匯聚），顯然這是雙目望遠(yuǎn)鏡所需要的特性。

所以，適眼區(qū)究竟需要多大？最小的經(jīng)驗(yàn)尺寸顯然是人類瞳孔的尺寸（通常假設(shè)約 4mm），這也是上文提及的雙目望遠(yuǎn)鏡的設(shè)計(jì)目標(biāo)。雙目望遠(yuǎn)鏡的視場非常小，這樣瞳孔就可以相對固定下來。然而，在 AR/VR 顯示器的場景中，用戶眼睛會隨著對顯示器的關(guān)注點(diǎn)不同而移動。要想支持這種眼動，適眼區(qū)的大小需要在每個方向上至少增加幾毫米。

不僅是眼動需要擴(kuò)大的適眼區(qū)。人類的瞳間距（IPD）也是有差異的。要支持變化的瞳間距就需要調(diào)整部件（比如雙目望遠(yuǎn)鏡）或調(diào)整透鏡（增加適眼區(qū)寬度）。調(diào)整部件不是一個好的選擇，因?yàn)檫m眼區(qū)寬度需要增加至少 10mm，理想值是 20mm；這在移動設(shè)備上是不太可能的，尤其是需要精確校準(zhǔn)的場景。

由于光波導(dǎo)的入射光瞳通常不是那么大，已經(jīng)開發(fā)了各種技術(shù)來增加出射光瞳的尺寸，例如瞳孔擴(kuò)張或瞳孔復(fù)制。在兩個方向上同時擴(kuò)展適眼區(qū)， 衍射型光波導(dǎo)具備天然的優(yōu)勢，而反射型光波導(dǎo)則很困難。因而，半反射型光波導(dǎo)的適眼區(qū)通常比衍射型更小。

設(shè)計(jì)一個較大的適眼區(qū)是很有挑戰(zhàn)的，通常會影響到其他的設(shè)計(jì)參數(shù)。比如，適眼區(qū)尺寸的增加需要更大尺寸的光波導(dǎo)鏡片。同時，雙目望遠(yuǎn)鏡的例子中，更大的適眼區(qū)需要更多的輸出光線以保持同等的亮度，這就引出了下一個話題。

亮度、透明度和工作時間

簡言之：

顯示亮度：在一定條件下，顯示器是否足夠明亮到虛擬內(nèi)容可以被清晰地看到。

透明度：真實(shí)世界有多少光線進(jìn)入眼睛。AR 場景中，在無障礙的區(qū)域內(nèi)理想情況下透明度應(yīng)該達(dá)到 100%，相反 VR 則為 0。

工作時間：每幀中像素被點(diǎn)亮的時間。以毫秒或每幀時間的百分比來度量。

從用戶的視角看，這 3 個話題是很不相關(guān)的，但從技術(shù)角度看卻很接近。所以我們將在這一節(jié)集中討論它們。

顯示亮度是移動 AR 設(shè)備上極具挑戰(zhàn)的話題；幾乎所有 AR 頭盔的顯示亮度都嚴(yán)重不足：Hololens 和 DAQRI Smart Glasses 的顯示亮度是 300 尼斯，Magic Leap One 甚至只有 200 尼斯。由于顯示亮度如此之低，大部分 AR 眼鏡都只能在室內(nèi)使用，在室外尤其是太陽直射時就無法使用了。為了緩解這種情況，大部分 AR 頭盔通過使用有色遮陽板降低透明度（減少進(jìn)入人眼的環(huán)境光），從而相對地提升顯示亮度。然而，這在消費(fèi)領(lǐng)域或許是行得通的，在很多專業(yè)領(lǐng)域就無法接受了。

~~在有色遮陽板之上，大多數(shù)光學(xué)設(shè)計(jì)都會阻擋現(xiàn)實(shí)世界的大量光線。例如，鳥嘴設(shè)計(jì)（ODG 過去使用過、nreal 仍在使用）自然地阻擋了大部分入射光。

Karl Guttag 的博客經(jīng)常報道這類案例。按照 Guttag 先生的測算 Hololens 只允許約 40% 的環(huán)境光進(jìn)入眼睛。MagicLeap One 只有約 15%，nreal 眼鏡在2019 年初只有約 25%。幸運(yùn)的是，人眼具備約 1:109 的極大動態(tài)范圍，可以很好地應(yīng)對這種程度的亮度下降。但是在黑暗環(huán)境中，這些亮度下降就有問題了。

工作時間定義了一個像素在每一幀中發(fā)光的時間，因而和顯示亮度密切相關(guān)。100% 的工作時間意味著顯示器持續(xù)地發(fā)光，對于 60Hz 顯示頻率，工作時間是 16ms 每幀。然而如果同一個像素顯示如此長的時間會導(dǎo)致運(yùn)動模糊。例如，假定顯示器水平視場 40°、水平分辨率 1280、頭部旋轉(zhuǎn)速度 60° 每秒。這個場景下，頭部每毫秒旋轉(zhuǎn)2個像素。如果工作時間是16ms，那么將會出現(xiàn)長達(dá) 32 像素的“空間涂抹”效果（下右圖）。

圖：原圖（左）和水平運(yùn)動模糊圖（右）

幸運(yùn)的是，當(dāng)盯著細(xì)節(jié)看時頭部要穩(wěn)定地多，所以實(shí)踐中 4ms 或更少的工作時間對于 AR 顯示器而言是可以接受的。

圖：幀率 60Hz 時的工作時間：16ms（左）和 4ms（右）

LCOS 面板采用獨(dú)立的 LED 照明（可以很亮），因而高亮顯示器既有很高的透明度又有小于1ms（每種顏色）的工作時間。OLED 顯示器就要暗得多，因而在同時需要短工作時間和高透明度的場景下就有嚴(yán)重問題了。上圖顯示了60Hz 幀率下的 16ms 工作時間。綠色區(qū)域即是顯示亮度。左圖的工作時間為 16ms，顯示器很亮但是模糊嚴(yán)重。右圖的工作時間為 4ms，模糊問題會大大降低，但可能會很暗。

圖：工作時間 4ms：幀率 120Hz（左）和 240Hz（右）

幀率為 60Hz （約 16ms）時，4ms 的工作時間可以讓顯示器像素在約 25% 的時間里被點(diǎn)亮。因而，顯示亮度下降至 1/4。如果幀率為 120Hz（上左圖），4ms 的工作時間意味著像素在 50% 的時間里被點(diǎn)亮。相似的，幀率為 240Hz（上右圖）時工作時間就是 100%。然而，如此高的幀率在移動設(shè)備上不太現(xiàn)實(shí)。

對比度

沒有一個官方的定義或方法去測量對比度或?qū)Ρ嚷?。然而大部分人能感受到對比度是什么。簡言之，對比度描述了顯示器同時產(chǎn)生更亮和更暗像素的能力，可以這么定義：

如果顯示器的對比度很差，意味著不能同時顯示較亮和較暗（或透明）的內(nèi)容。因而，根據(jù)顯示器的整體亮度，它將無法顯示明亮區(qū)域或暗（透明）區(qū)域不會變暗。在光學(xué)透視 AR 顯示器中，透明代替了黑色：低對比度的 AR 顯示器中可以觀察到顯示為深灰色的透明區(qū)域。換句話說：只要 AR 顯示器還不夠亮，低對比度的負(fù)面影響也是有限的，反之就需要更高的對比度了。

對比度依賴顯示面板和光學(xué)系統(tǒng)。LCOS 有較低的對比度，通常在 1:100 至 1:200。OLED 有高得多的對比度 1:1000000 或更高，這也是 OLED 如今家用電視中廣泛應(yīng)用的原因。然而，無論 LCOS 還是 OLED 的光學(xué)元件（棱鏡、透鏡、光波導(dǎo)鏡片）都會導(dǎo)致對比度進(jìn)一步下降，所以基于 LCOS 的光學(xué)系統(tǒng)最終的對比度很容易就低于 1:100。

均勻度和顏色質(zhì)量

顏色質(zhì)量定義為顯示器精確顯示顏色的能力，例如，一個像素被 GPU 渲染為紅色，在顯示器上看起來就應(yīng)該是紅色。為了實(shí)現(xiàn)合適的顏色再現(xiàn)，需要校正（含伽馬校正）。由于 AR 顯示器通常具有疊加性質(zhì)，因此感知的顏色還取決于虛擬內(nèi)容所覆蓋的場景。

和對比度一樣，顏色質(zhì)量嚴(yán)重依賴顯示器的位置：例如一個像素顏色在顯示器左側(cè)和右側(cè)表現(xiàn)差異很大。這些問題通常依賴于視圖，這意味著用戶瞳孔的位置也會有影響，需要用眼球跟蹤技術(shù)來解決。

均勻性描述了有多少顏色根據(jù)它們在顯示器上的位置而變化：在一個完美的顯示器上，每一個顯示了相同 RGB 值的像素看起來都一樣?，F(xiàn)實(shí)中，亮度、對比度、顏色和其他屬性取決于顯示器上的位置和觀察像素的角度。

通常自由組合鏡片（如 Meta2）和半反射光波導(dǎo)（如 Lumus 的鏡片）的均勻性非常好。衍射型光波導(dǎo)顯示器（如 Hololens 和 MagicLeap）有明顯的均勻性問題：充滿了中等灰度的像素顯示了各種色調(diào)（見下圖）。

圖：上圖：衍射型光波導(dǎo)的顏色問題（原圖 Karl Guttag）：顯示器顯示各種色調(diào)，而不是均勻的白色或灰色色調(diào)；下圖：明顯的亮度不均勻

分辨率

顯示分辨率描述了能顯示多少不同的像素。分辨率屬于經(jīng)常被提到，但理解很有限的一類參數(shù)。顯示分辨率的終極目標(biāo)是達(dá)到或略高于約一弧分（1/60°）的人類視覺極限。

由于市場中對參數(shù)的過渡追逐，今天很多手機(jī)的分辨率遠(yuǎn)高于人眼在正常情況下可以觀察到的分辨率。例如，在 40cm 遠(yuǎn)觀察 14cm 長的顯示器約等于人類視場的 20°，需要長邊不超過 1200 像素。目前有大量手機(jī)的顯示分辨率超出這個值 50%。

對于視場 30° x 20° 的 AR 顯示器，1800 x 1200 像素就夠了。VR 顯示器視場已達(dá)到 90° x 60° ，因而需要 5400 x 3600 像素才能達(dá)到人眼的視覺極限。這意味著每秒鐘需要生成和顯示 75 張 2000 萬像素的畫面，合計(jì)每秒 15 億像素。

移動手機(jī)上用戶直接盯著屏幕，所以沒有光學(xué)元件（忽略貼膜）會影響屏幕的像素質(zhì)量。AR/VR 設(shè)備中，在人眼和顯示器之間的復(fù)雜光學(xué)系統(tǒng)會嚴(yán)重降低圖像質(zhì)量，進(jìn)入人眼的有效像素會明顯低于顯示面板的像素。如 Karl Guttag 曾指出 MagicLeap One 的有效像素只有其面板分辨率的大約一般，相當(dāng)于從 HD 畫質(zhì)降級到了 VGA，Hololens 也有類似的問題。

因而，只要光學(xué)系統(tǒng) （如 光波導(dǎo)）是限制因素，只引用顯示面板分辨率通常沒有意義。

真實(shí)世界失真

在光學(xué)透視顯示器中，真實(shí)世界是透過一組光學(xué)元件后背觀察到的。在大部分 AR 設(shè)備中，這些光學(xué)元件主要是：

光波導(dǎo)展示虛擬圖像，如 Hololens。

自由組合鏡片反射投影圖像到眼睛里，如 Meta2。

設(shè)備外部的遮陽板用于保護(hù)內(nèi)部電子元件和光學(xué)元件（所有基于光波導(dǎo)的設(shè)備）。

推/拉鏡頭將虛擬圖像焦平面從無限遠(yuǎn)移動到更實(shí)用的距離，如 2 米（反射光波導(dǎo)，如 DAQRI Smart Glasses）。

單面或雙面額外的塑料用于保護(hù)脆弱的光波導(dǎo)鏡片。

這些元件中有些光學(xué)特性有副作用。如光波導(dǎo)是用于將光彎曲（引導(dǎo)）至合適的方向，但這也會影響本應(yīng)直接穿透的真實(shí)世界光線。同樣，遮陽板或推/拉鏡頭也會因?yàn)樵O(shè)計(jì)或產(chǎn)品質(zhì)量的問題扭曲光線。

我們自然希望真實(shí)世界的視圖盡量少失真，但現(xiàn)實(shí)中需要兼顧重量和成本，妥協(xié)的結(jié)果就是明顯的偽影。

虛擬圖像失真

光學(xué)工程師希望設(shè)計(jì)具備最好圖像質(zhì)量（包括最小化失真）的光學(xué)路徑：理想的情況是顯示面板上的矩形像素網(wǎng)格看起來就應(yīng)該是矩形像素網(wǎng)格。在直視的場景中（如移動手機(jī)上）是容易做到的。在復(fù)雜的光學(xué)環(huán)境中（ 如 AR 顯示器），為了優(yōu)化其他參數(shù)，通常只能忍受圖像的失真。

幸運(yùn)的是，相比真實(shí)世界失真，虛擬內(nèi)容的失真可以通過顯示器校準(zhǔn)（失真是因設(shè)備而異的）來很好的解決。通過合適的校準(zhǔn)，這些失真可以在渲染管線的某一環(huán)節(jié)（數(shù)字反失真）被處理掉，只需要很小甚至無需額外的處理成本。然而，取決于系統(tǒng)中的光學(xué)失真量，這可能導(dǎo)致明顯的瑕疵，例如某些區(qū)域中顯示分辨率的降低。

光波導(dǎo)的失真通常低到用戶場景下可以忽略（無需校準(zhǔn)，無需數(shù)字校正）。自由空間組合顯示器和 VR 顯示器一樣，通常會產(chǎn)生需要合理處理的嚴(yán)重失真。因?yàn)槭д鎴D像會呈現(xiàn)明顯的非矩形，這時顯示面板的有效顯示區(qū)域也就下降了。下圖展示了自由空間設(shè)計(jì)中的網(wǎng)格失真樣例?？梢宰⒁獾剑翰糠志W(wǎng)格落到了顯示器面板之外，部分顯示面板用戶是看不到內(nèi)容的（黑色無網(wǎng)格區(qū)域）。下圖也很好展示了頂部和底部分辨率的差異。

圖：自由空間組合顯示器的失真樣例。此圖是光學(xué)通路中的矩形網(wǎng)格在顯示器上展示的圖像。

眼睛安全

AR 顯示器中有 2 類眼睛安全很重要：保持眼睛和 AR 顯示器之間的安全距離，使用 AR 顯示器保護(hù)眼睛免受外部傷害。

保持眼睛對 AR 顯示器的安全聽起來好像很簡單，顯然任何消費(fèi)級或?qū)I(yè)級的產(chǎn)品都需要。但在近眼顯示器的場景中，鏡片離人類最脆弱的器官只有幾厘米，特殊的考慮是必須的。AR 顯示器使用玻璃元件作為其光學(xué)棧的一部分，這時安全性就更加重要了。在撞擊時，這些玻璃元件會破裂并傷害用戶。因此，需要將所有玻璃元件放入不易破裂的保護(hù)蓋中。

盡管這聽起來是顯然的，實(shí)際卻不一定。如最近聯(lián)想發(fā)布的 ThinkReality 眼鏡將裸露的反射光波導(dǎo)鏡片直接放置于用戶的眼前。由于這些光波導(dǎo)是由許多以水平條紋粘在一起的小玻璃元件構(gòu)成的，它們很容易破裂并損害佩戴者。

在商業(yè)或工業(yè)環(huán)境下，需要保護(hù)眼睛遠(yuǎn)離外部力。諸如 ANSI Z87.1 之類的眼睛保護(hù)安全標(biāo)準(zhǔn)描述了安全眼鏡需要能夠承受的力的類型。

出瞳距離

和適眼區(qū)一樣，出瞳距離（Eye Relief）也沒有一個通用的定義。簡單說就是瞳孔到 AR 顯示器上最近點(diǎn)之間的距離。因?yàn)橛脩舻念^型不一致，實(shí)踐中需要支持一個出瞳距離的范圍，出瞳距離定義為（譯注：應(yīng)該是強(qiáng)關(guān)聯(lián)）適眼區(qū)的厚度（沿目光的方向）。

圖：出瞳距離是瞳孔到最近的光學(xué)表面的距離。

通常，出瞳距離大到足以佩戴常規(guī)處方眼鏡是最好的，因此需要視力矯正的用戶不需要為他們的 AR 眼鏡購買鏡片插入物。然而，就像上文提到的，適眼區(qū)實(shí)際不是一個長方體，更像一個圓錐體且遠(yuǎn)離顯示器的部分會變得狹小。所以，要實(shí)現(xiàn)較大的出瞳距離和足夠?qū)捀叩倪m眼區(qū)是很有挑戰(zhàn)的。

周邊視覺

AR 眼鏡中有 2 類視場是很重要的：一類是，虛擬內(nèi)容所在的可增強(qiáng)區(qū)域（人類視野的一部分）是大部分文章和說明書中所指的視場。另一類是，人類能看到比 AR 可增強(qiáng)區(qū)域大得多的范圍，重要的是這種周邊視圖在相當(dāng)程度上是清晰的。

自然人視場大致單眼 150° x 120°、雙眼組合 220° x 120°。眼前掛一副眼鏡顯然是額外的遮擋，一個很重要的設(shè)計(jì)目標(biāo)就是最小化遮擋。下圖展示了人眼視場（綠）、無遮擋視場（紅）和可增強(qiáng)視場（藍(lán)） 之間在尺寸上的大致關(guān)系，所有區(qū)域都簡化為了矩形區(qū)域。

圖：對比人類視場（綠）、典型 AR 設(shè)備視場（紅）和實(shí)際可增強(qiáng)區(qū)域（藍(lán)）。綠和紅之間的區(qū)域是被設(shè)備邊框遮擋的視場；紅和藍(lán)之間的區(qū)域是可見的但不能被增強(qiáng)的真實(shí)環(huán)境。

所以除了最大化可增強(qiáng)視場（藍(lán)），第二目標(biāo)是最大化無遮擋視場（紅）。為了實(shí)現(xiàn)這個目標(biāo)，任何可能阻擋視線的物體都應(yīng)該往外挪。這包括了顯示器的一部分、傳感器或眼鏡腿。

和上面簡單的可視化不同，視場其實(shí)不是一個矩形。正如下圖所示，視場主要受眉毛、鼻子和臉頰的影響：紅+黃描繪了左眼的視場，綠+黃描繪了右眼的視場，黃色區(qū)域是雙目可見的重疊視場。

色差

不同顏色的光（波長不同）在鏡片中的折射系數(shù)也不同，這會導(dǎo)致顏色相關(guān)的焦距。在攝像機(jī)中通常通過鏡片組來彌補(bǔ)，因?yàn)槌叽绲南拗七@個辦法在 AR 顯示器中是做不到的。所以，AR 顯示器中的色差就很明顯了。盡管有些色差很容易通過軟件（需要合適的校準(zhǔn)）就修復(fù)了，其他問題就很棘手了（比如視圖相關(guān)的）甚至是無法修復(fù)的。最好的辦法永遠(yuǎn)都是盡量多地通過光學(xué)手段去減少瑕疵，而不是軟件手段。

圖：左：色差導(dǎo)致紅色和藍(lán)色分裂；右：扭曲每個顏色通道來數(shù)字化校正相同的圖像。

深度感知

人類視覺中有多種方式可以讓我們感知深度。對于 AR 顯示，兩個最重要的方式是聚散（眼球旋轉(zhuǎn)以觀察同一個物體）和調(diào)節(jié)（瞳孔聚焦在一個物體上），它們是神經(jīng)耦合的。不匹配的聚散和調(diào)節(jié)會導(dǎo)致不適，稱為聚散調(diào)節(jié)沖突（VAC）。

大部分人在觀看 3D 電影時都有明顯的 VAC：盡管焦點(diǎn)沒有變化（TV或投影屏幕固定），之所以能體驗(yàn)到 3D 效果是因?yàn)槊恐谎劬吹降漠嬅妫Ⅲw內(nèi)容）有輕微的不同。在電影院中，焦平面由房間設(shè)置給出：如果一個人坐在距離投影幕墻 10 米處，那么焦平面固定在10 米。在這個距離，人類幾乎不能根據(jù)瞳孔焦點(diǎn)區(qū)分距離。因此，只要立體內(nèi)容也駐留在該距離或更遠(yuǎn)（而不是彈出），事物看起來是自然的。

AR 顯示器的場景下焦平面是光學(xué)通路上的一個設(shè)計(jì)參數(shù)：盡管顯示器在眼睛前僅有幾厘米，焦平面總是會設(shè)置得遠(yuǎn)得多，因?yàn)槿搜鄄荒芫劢沟饺绱硕痰木嚯x，也不會有意義因?yàn)樘摂M內(nèi)容也會更遠(yuǎn)。

下圖突出展示了正常視覺、VR 和 AR 之間的差異：

正常視覺，聚散和調(diào)節(jié)是同步的，因?yàn)槎紩{(diào)整到相同的距離。

VR，調(diào)節(jié)總是發(fā)生在同一個距離（2m），而聚散依賴于屏幕上渲染出來的立體內(nèi)容。

AR，VAC 會更大，使用虛擬內(nèi)容增強(qiáng)的對象將在聚散方面同步顯示，但是對于真實(shí)和虛擬對象的調(diào)節(jié)會非常不同。

理想情況下，我們需要能夠?yàn)槊恳粋€像素選擇不同的焦距，目前實(shí)驗(yàn)系統(tǒng)已經(jīng)在探索這個方向并且已有原型了。然而，這樣的系統(tǒng)離商業(yè)級應(yīng)用還有很長的距離。

圖：聚散和調(diào)節(jié)：正常視覺（左）、VR（中）、AR（右）

只要我們必須使用單個焦平面，AR 顯示器設(shè)計(jì)者需要決定放置它的位置。對于大部分場景而言，最佳的位置是 2m 左右。這個焦平面應(yīng)該近似平坦且對所有顏色是相同的。這不是一個簡單的設(shè)計(jì)目標(biāo)，因而當(dāng)測量當(dāng)下的 AR顯示器時，人們可以注意到在實(shí)踐中焦“平面”既不平坦也不對所有顏色都相同。

尺寸、重量和外形

顯示器尺寸以及通常的眼鏡尺寸是當(dāng)前 AR 眼鏡中最有挑戰(zhàn)的設(shè)計(jì)參數(shù)之一。因?yàn)樾枰^大的視場和適眼區(qū)，顯示器很難做小。好比很難讓卡車很小的同時又有很高的貨運(yùn)容量。大型顯示器導(dǎo)致眼鏡體積龐大，進(jìn)而降低了眼鏡的實(shí)用性；眼鏡越大，用戶也越容易碰到東西。

然而，更大的顯示器通常意味著更重的鏡片。因?yàn)樾枰芏喙鈱W(xué)元件來保證畫質(zhì)和折射系數(shù)，它們是由玻璃構(gòu)成的，因而隨著尺寸的增長會迅速變重。

Michael Abrash 在 2018 年 Oculus Connect 5 大會上曾提到：AR 眼鏡一定不能重于 70g。尺寸和重量不是獨(dú)立于其他屬性的參數(shù)，例如外形。如果重量分布得當(dāng)，人類頭部的承重可以遠(yuǎn)大于 70g。雖然鼻梁在承受很輕的重量時就容易受傷，但耳朵可以承受更多的重量且頭頂更甚。重量的分布遠(yuǎn)比重量本身重要得多。例如，Meta2 眼鏡本身不太重，但是因?yàn)椴划?dāng)?shù)闹亓糠植?，給前額施加了過大的壓力。

光學(xué)效率

光學(xué)效率是指發(fā)光元件（如 LED）發(fā)出的光實(shí)際到達(dá)用戶眼睛的程度?？赡軙畲蟛糠秩烁械匠泽@的是：基于光波導(dǎo)的顯示器，其光學(xué)效率是極其低下的，大部分只有 1%。幸運(yùn)的是，基于 LCOS 和 LED 組合的投影儀足夠亮，能夠給光波導(dǎo)提供充足的光量，因而 OLED 就不適合光波導(dǎo)了（亮度不夠）。另一方面，在組合型顯示器（如 Meta2）中可以通過組合元件的透明度來很好地控制光學(xué)效率：組合元件反射得越多，它的光效就越高。然而，這也將導(dǎo)致更多的環(huán)境光被反射，因此到達(dá)眼睛的環(huán)境光更少（透明度降低）。

光波導(dǎo)是目前 AR 顯示器的主流技術(shù)。因?yàn)?LCOS 明亮但對比度低，OLED 有高對比度但亮度太低，很多人寄希望于 Micro LED（通常被稱為 mLED、μLED，最近也被稱做無機(jī) LED 或 iLED），它的亮度要高得多。適用于 AR 顯示器、分辨率足夠、面板尺寸合適的 Micro LED 最近已經(jīng)能看到演示了，但至今為止這些面板都只是單色。這些面板可能還需要數(shù)年時間才能支持全 RGB 色彩。

延遲

延遲定義了從事件發(fā)生（如運(yùn)動）到顯示器顯示相應(yīng)更新所需的時間。例如，當(dāng)用戶將頭部向右旋轉(zhuǎn)時，顯示器上的內(nèi)容必須相應(yīng)地向左“移動”。延遲在 AR 中不是一個經(jīng)過充分研究的主題，主要是因?yàn)橹钡阶罱庞凶銐虻脱舆t的系統(tǒng)。然而人們普遍認(rèn)為，對于光學(xué)透視顯示器而言，5 毫秒或更短的延遲就足夠了。

圖：由于延遲，標(biāo)簽在頭部快速移動時會從清晰的位置（左）漂移到不清晰或錯誤的位置（右）。

除了算法和其他電子元件的因素，延遲主要是顯示面板（OLED、LCOS）和顯示接口（MIPI，DisplayPort，HDMI）的交互導(dǎo)致的。延遲和顯示面板的選擇是一個復(fù)雜的話題，因?yàn)樗鼘﹄娮釉蛙浖O(shè)計(jì)影響巨大。例如，執(zhí)行線序（“滾動”）更新的 OLED 需要與執(zhí)行顏色順序（“全局”）更新的 LCOS 完全不同的數(shù)據(jù)傳輸和運(yùn)動補(bǔ)償策略。

更多延遲的細(xì)節(jié)可以參考我們的白皮書。

雜散光

大部分用戶和眼鏡制造商都夢想著類似太陽鏡的 AR 眼鏡。雖然這聽起來很簡單，但是有一個重要的問題通常被低估了：雜散光。

AR 眼鏡越開放，從意外方向和光源進(jìn)入系統(tǒng)的雜散光就越多。雖然 AR 顯示器通常能很好地應(yīng)對來自前方的環(huán)境光，但來自側(cè)面或來自用戶后方的光會引起嚴(yán)重問題。常規(guī)處方眼鏡通常不會反射太多光線，雜散光問題通常還好。但 AR 顯示器的工作原理決定了其必須反射和彎曲光，因而也更容易受到雜散光的影響。衍射光波導(dǎo)特別容易受到雜散光的影響，來自側(cè)面的光會在顯示器上顯示為彩虹狀偽影（下右圖）。反射光波導(dǎo)的表現(xiàn)會更好些，但也還是受到影響的。在一些設(shè)計(jì)中，可以減少雜散光，但是在其他設(shè)計(jì)中，問題不像衍射技術(shù)那樣容易解決。

圖：雜散光從側(cè)面反射進(jìn)入人眼（左），吸頂燈雜散光造成的偽影（右）。

視覺舒適度

在過去 50 年的 HMD 發(fā)展中已經(jīng)做出了許多努力來解決人為因素造成的舒適度問題，特別是在涉及立體顯示的情況下。如前所述，VAC 是眾所周知的問題，還存在與雙眼視覺相關(guān)的其他效果，其對舒適性具有顯著的影響。其中之一被稱為垂直發(fā)散。當(dāng)雙目顯示器之間存在垂直視差或傾斜時，會出現(xiàn)垂直發(fā)散。眾所周知，人類視覺系統(tǒng)對此是不耐受的，且可能導(dǎo)致頭暈、惡心甚至嘔吐。有時人們認(rèn)為 VAC 是這種癥狀的原因，實(shí)際上它是顯示器間的輕微錯位。Self 于 1986 年參考美國海軍訓(xùn)練文獻(xiàn)進(jìn)行的一項(xiàng)研究指出，雙目鏡筒軸的垂直偏差 δ 不應(yīng)超過 2 弧分，以避免眼睛疲勞。

圖：垂直方向圖像未對齊、垂直發(fā)散，可能導(dǎo)致觀看不適。右眼需要稍微旋轉(zhuǎn)才能融合雙目圖像。

另一個影響舒適度的領(lǐng)域是雙眼重疊的程度。例如，不必完全重疊左右圖像區(qū)域，事實(shí)上通過故意不重疊顯示區(qū)域來增加有效視場是很常見的，有兩種方式：發(fā)散重疊和會聚重疊。一般來說，人類的視覺系統(tǒng)可以容忍這一點(diǎn)，因?yàn)楝F(xiàn)實(shí)世界中的圖像由左右眼看到，并沒有完全重疊（鼻子的原因）。然而在經(jīng)歷不適之前，用戶之間的部分重疊程度是存在差異的：90% 的部分重疊被認(rèn)為是可接受的，而隨著重疊減少到 70%，報告不適的用戶數(shù)量增加。

圖：部分重疊方案，左：發(fā)散部分重疊，右：收斂部分重疊。

質(zhì)心是另一個重要的因素，雖然不是視覺上的，不恰當(dāng)?shù)脑O(shè)計(jì)可能會導(dǎo)致用戶脖子產(chǎn)生不必要的不適感。顯示部件和周邊電子元件的布置需要有助于最大限度地減少質(zhì)心的移動。如果用戶需要在一個角度范圍內(nèi)向上和向下看，那么這可能非常關(guān)鍵。

還有什么？

除以上各章節(jié)所涉及的主題之外，還有一些其他的設(shè)計(jì)選項(xiàng)甚至還沒有進(jìn)入商業(yè)系統(tǒng)。目前大多數(shù)設(shè)備只能在固定距離上顯示一個焦平面。Magic Leap One 更進(jìn)一步實(shí)現(xiàn)了 2 個焦平面，為此付出了沉重的代價：圖像質(zhì)量和透明度的下降。然而，人類能夠分辨出大約 12 個焦距，而目前的方法僅能分辨出一兩個焦距。因此，即使已經(jīng)有了使焦平面可調(diào)的工作，但到目前為止所示的方法對于大多數(shù) AR 設(shè)備來說太復(fù)雜了。

另一個尚未進(jìn)入商業(yè)系統(tǒng)的功能是在光學(xué)透視顯示器上繪制黑色像素。今天的被動光學(xué)無法做到這一點(diǎn)，因?yàn)樗麄兊?/span>“現(xiàn)實(shí)虛擬”混合工作純粹是疊加的。對于黑色像素，需要能夠在每像素和每幀級別上阻擋真實(shí)世界的光。雖然腦海中會立刻復(fù)現(xiàn)出 LCD 層，但這種方法會將顯示器的透明度降低一半，造成偏振環(huán)境光問題，因此通常不是可行的解決方案。

我們也沒有討論功耗和散熱問題。人類對靠近眼睛和面部的熱源高度敏感。因此，頭戴式裝置在面部和太陽穴區(qū)域的損耗不應(yīng)超過1瓦?，F(xiàn)在幾乎所有的 AR 設(shè)備都在為產(chǎn)生過多的熱量而掙扎。因此，為了使顯示器明顯更亮，光學(xué)設(shè)計(jì)必須變得更加高效，而不僅僅是增加顯示器光源的功率。

未來的期待

我們通常要求更大的視場和更小的眼鏡（太陽鏡大小），顯然不利于改善上面討論的許多參數(shù)。與電子學(xué)不同，小型化在光學(xué)設(shè)計(jì)中通常不是一個選擇或收益，因?yàn)樗鼤?dǎo)致焦距、適眼區(qū)大小或出瞳距離等參數(shù)的縮小。

新的突破性技術(shù)可能只能推動上面討論的少數(shù)幾個設(shè)計(jì)參數(shù)。例如，全彩色 Micro LED 的出現(xiàn)將使投影儀變得更小更亮，但這對整體顯示器尺寸的影響有限。另一方面，光學(xué)領(lǐng)域的技術(shù)不太可能有巨大的變化。

因此需要相當(dāng)長的一段時間才能看到：具備太陽鏡外形、大視場、高亮度、戶外適用和所有其他夢寐以求特性的 AR 眼鏡。相反，與電池技術(shù)領(lǐng)域一樣，我們將更有可能看到逐年遞增的改進(jìn)。

*本文系轉(zhuǎn)載，原文為《Why is making good AR displays so hard? 》，由Karl Guttag撰文，知乎作者鬼道編譯。譯文已獲原文作者授權(quán)。

譯文鏈接：

https://zhuanlan.zhihu.com/p/82821888

原文鏈接：

https://www.linkedin.com/pulse/why-making-good-ar-displays-so-hard-daniel-wagner/