文/VR陀螺 小鉆風(fēng)

在卡爾·古塔格（KARL GUTTAG）有關(guān)Cambria可能采用可變焦短焦方案的文章發(fā)布后《Pancake+可變焦，揭秘Meta（Facebook）輕薄VR頭顯光學(xué)設(shè)計(jì)》，許多人猜測(cè)卡爾的推論結(jié)果指向Meta（Facebook）另一款VR頭顯原型Half Dome 3（后文簡(jiǎn)稱“HD3”）。

Meta于2018年5月推出Half Dome原型機(jī)，在當(dāng)時(shí)，這是業(yè)界首款集成了眼動(dòng)追蹤、寬視場(chǎng)光學(xué)系統(tǒng)以及可獨(dú)立變焦顯示器的VR頭顯。

同時(shí)Meta還推出了與之搭配使用的軟件DeepFocus，新的人工智能渲染系統(tǒng)，它能模仿我們?cè)谌粘Ｉ钪杏^察世界的方式，創(chuàng)建逼真的聚散效果。

Half Dome 3（圖源：網(wǎng)絡(luò)）

這也是在卡爾提出Cambria有可能采用可變焦之后，人們認(rèn)為這些信息指向Half Dome 3的重要原因。

此外，2020年Facebook Reality Lab顯示系統(tǒng)研究總監(jiān)Doug Lanman在一次全體會(huì)議當(dāng)中對(duì)如何解決VAC（視覺輻輳調(diào)節(jié)沖突）進(jìn)行了闡述，并且有長(zhǎng)達(dá)33分鐘的視頻內(nèi)容落在了HD3。

為了回應(yīng)大家的猜測(cè)，卡爾針對(duì)Half Dome 3與Cambria是否會(huì)采用可變焦再次做了分析。

在做分析之前，卡爾同樣對(duì)視覺輻輳調(diào)節(jié)沖突（VAC）等與文章內(nèi)容有相關(guān)性的問(wèn)題進(jìn)行了簡(jiǎn)要介紹，并附以詳細(xì)的參考資料以幫助讀者理解。

視覺輻輳調(diào)節(jié)沖突（VAC）是一個(gè)

非常現(xiàn)實(shí)同時(shí)也很難解決的問(wèn)題

VAC多在使用VR或觀看3D電影時(shí)發(fā)生。當(dāng)雙眼視差與眼睛的聚散調(diào)節(jié)不一致時(shí)，VAC便會(huì)產(chǎn)生，其后果是導(dǎo)致人眼疲勞，甚至是惡心和頭痛（具體反應(yīng)因人而異）。因此，無(wú)論公司規(guī)模大小，很多都會(huì)努力改進(jìn)VAC。

圖源：kguttag

想要解決VAC問(wèn)題，方法包括機(jī)電與靜電的方式移動(dòng)光學(xué)元件、充滿流體的柔性透鏡、靜電鏡、多種波導(dǎo)（例如Magic Leap One）、多個(gè)可選擇的LC屏幕（例如Lightspace 3D）。

感知深度

2020年，Lanman在會(huì)議視頻中探討了一些更為微妙的有關(guān)各種VR人類視覺的問(wèn)題。

Lanman當(dāng)時(shí)討論了深度感知，并且使用了1995年由Cutting與Vishton撰寫的Perceving layout and knowing distances一文中的示意圖。

圖源：kguttag

遮擋是AR中一個(gè)非常困難的問(wèn)題，同時(shí)，它對(duì)感知也有重大影響。該圖（左上方）顯示遮擋對(duì)近處和遠(yuǎn)處物體的深度感知影響均是最大的。如果某物體似乎在其他物體前面，視覺會(huì)告訴你被遮擋的物體距離更遠(yuǎn)。

當(dāng)遠(yuǎn)處的大型物體（比如遠(yuǎn)處的山脈）因大氣而顯得朦朧時(shí)，還會(huì)出現(xiàn)透視現(xiàn)象。而運(yùn)動(dòng)視差是指當(dāng)移動(dòng)頭部時(shí)事物如何表現(xiàn)。與相距較遠(yuǎn)的物體相比，距離較近的物體變化更大。

運(yùn)動(dòng)視差對(duì)See through而言，同樣是一個(gè)大的問(wèn)題。如果相機(jī)偏離中心或眼睛太遠(yuǎn)，相機(jī)的視野會(huì)與眼睛通?？吹降牟煌?，這之間的差異會(huì)導(dǎo)致暈動(dòng)癥、協(xié)調(diào)等問(wèn)題。

Lynx AR曾聲稱他們采用創(chuàng)新型光學(xué)設(shè)計(jì)（右圖）的原因之一便是縮短相機(jī)與眼睛的距離以減輕該問(wèn)題。Pancake光學(xué)器件能提供類似的眼睛到相機(jī)的距離。

引述2013年3月1日，Stev mann關(guān)于Passthrough AR的論文：《我的“增強(qiáng)”生活——IEEE Spectrum》中的話：（卡爾做了加粗標(biāo)注）

“我的顧慮源于直接經(jīng)驗(yàn)。我組裝的第一個(gè)可穿戴計(jì)算機(jī)系統(tǒng)在頭盔顯示器上向我展示了一段實(shí)時(shí)的視頻。當(dāng)時(shí)設(shè)備的相機(jī)靠近其中一只眼睛，但其視點(diǎn)并不完全相同。輕微的錯(cuò)位在當(dāng)時(shí)看起來(lái)并不重要，但最終卻產(chǎn)生了一些奇怪且令人不舒適的體驗(yàn)，這些有問(wèn)題的體驗(yàn)在我取下設(shè)備之后仍然持續(xù)了很長(zhǎng)一段時(shí)間。這是因?yàn)槲业拇竽X之前試圖適應(yīng)非自然的視覺，因此需要一段時(shí)間才能重新適應(yīng)正常的視覺。”

圖源：kguttag

個(gè)人空間（10米以內(nèi)）

Lanman 指出，大部分 VR（和 AR）個(gè)人空間距離不到 10 米，如果你再查看上面的圖表，會(huì)發(fā)現(xiàn)雙目視差、運(yùn)動(dòng)視差、聚散度和調(diào)節(jié)開始變成最重要的深度問(wèn)題，而這些問(wèn)題在更遠(yuǎn)一些的距離時(shí)影響并不是太大。Lanman還特別指出，在深度問(wèn)題上，調(diào)節(jié)是VR最大的未得到解決的問(wèn)題。

Lanman 有一個(gè)不錯(cuò)的圖表，取自他在 2017 年 Siggraph 上與他人合著的一篇早期論文 《Focal Surface Displays》。該圖表很好地總結(jié)了各種支持調(diào)節(jié)的顯示器的優(yōu)缺點(diǎn)。

HD3 被歸類為“變焦”顯示器。使用變焦顯示，眼睛被跟蹤，然后變焦光學(xué)改變圖像的焦點(diǎn)以與眼睛的聚散度保持一致。整個(gè)顯示器的焦點(diǎn)都發(fā)生了變化，使近處和遠(yuǎn)處的一切都處于對(duì)焦?fàn)顟B(tài)。

但問(wèn)題在于，失焦的物體必須以這種方式被渲染。雖然模糊似乎很簡(jiǎn)單，但事實(shí)證明，正如 Lanman 的視頻和 Meta Research 的 DeepFocus 的論文中所簡(jiǎn)要討論的那樣，人類能夠檢查出物體是否被不自然地模糊了。（DeepFocus 是 Meta 對(duì)渲染時(shí)準(zhǔn)確模擬視網(wǎng)膜模糊的軟件名稱。）

圖源：kguttag

Half Dome 1~3代變焦顯示原型

Meta至少?gòu)?016年起便開始致力于Half Dome相關(guān)項(xiàng)目。不得不說(shuō)，Meta研究的原型看起來(lái)比現(xiàn)在許多成品VR/AR產(chǎn)品更好。

圖源：kguttag

Half Dome 1和2代使用電機(jī)來(lái)移動(dòng)光學(xué)元件，第3代則使用多個(gè)CL（液晶）透鏡。下面的動(dòng)圖來(lái)自2019年9月Oculus博客有關(guān)Half Dome第3代各種CL鏡頭二元加權(quán)的聚焦效果。

圖源：kguttag

如圖所示，通過(guò)六個(gè)鏡頭的開關(guān)可以獲得64次離散的屈光度/焦距變化。

那么最大的問(wèn)題就變成了 64 個(gè)對(duì)焦層級(jí)足夠了，但會(huì)有多少圖像會(huì)因?yàn)檫@些LC鏡頭導(dǎo)致呈像效果變差，它又是否能夠量產(chǎn)？

HD3 似乎與 Facebook 的專利申請(qǐng) 2020/0348528 相關(guān)，卡爾在之前的博客文章《 Meta（又名 Facebook）Cambria Electricly Controllable LC Lens for VAC》討論過(guò)這個(gè)問(wèn)題。

圖源：kguttag

眾所周知，菲涅爾結(jié)構(gòu)因其每一步的不連續(xù)性會(huì)導(dǎo)致衍射。因此現(xiàn)在面臨一個(gè)問(wèn)題，即如何在菲涅爾的每一步中控制LC。這并不容易，因?yàn)槿魏闻c理想情況產(chǎn)生的偏差都會(huì)導(dǎo)致失真問(wèn)題。諸如電線和（大部分）透明導(dǎo)體之類的結(jié)構(gòu)都會(huì)對(duì)光有一些影響。

考慮到菲涅爾透鏡的結(jié)構(gòu)和 LC 的使用，人們不得不懷疑單個(gè)透鏡的圖像質(zhì)量，或者并不會(huì)比堆疊起來(lái)差。

對(duì)于那些沒(méi)有使用過(guò) LC 的人來(lái)說(shuō)，更巧妙的是，LC 對(duì)偏振光的影響受光線角度的影響。LC 結(jié)構(gòu)通常在所有光線都垂直于表面時(shí)效果最佳，并且它們對(duì)光線的影響隨著角度的變化而變化。在透鏡結(jié)構(gòu)的情況下，光線會(huì)根據(jù)透鏡的折射能力以不同的角度彎曲，因此光線會(huì)相對(duì)于表面在有些隨機(jī)方向上移動(dòng)。

專利的數(shù)據(jù)被大大簡(jiǎn)化。Meta 于 2021 年 6 月發(fā)表的 SID ICDT 期刊論文展示了一個(gè)設(shè)備，其中包含有關(guān)其結(jié)構(gòu)和性能的詳細(xì)信息（下圖）。這可能是 HD3 研究的一部分。查看圖 6（右下方），我們可以看到圖像從中心到邊緣呈現(xiàn)效果顯著降低。

圖源：kguttag

上圖6中顯示的圖像效果減弱是針對(duì)單個(gè)鏡頭的。接下來(lái)，我們要考慮將這些鏡頭堆疊起來(lái)的效果。HD3公開的所有視頻都只是短序列的低分辨率相機(jī)鏡頭，無(wú)法判斷整體圖像質(zhì)量。

約翰卡·馬克（John Carmack）

有關(guān)變焦顯示器的評(píng)論

Oculus CTO約翰卡·馬克在Connect 2021有關(guān)Horizon Beta的現(xiàn)場(chǎng)問(wèn)答環(huán)節(jié)中回答有關(guān)變焦問(wèn)題時(shí)，似乎對(duì)變焦的的態(tài)度比Lanman更悲觀。引述約翰卡的部分發(fā)言：

圖源：kguttag

問(wèn)：變焦顯示器對(duì) VR 的未來(lái)有多重要？

約翰卡：變焦是我們?cè)谝恍┰驮O(shè)備的顯示器中做演示的東西，再次重申，我的個(gè)人觀點(diǎn)不必映射到其他人身上。

一個(gè)完美的變焦系統(tǒng)顯然可以讓系統(tǒng)變得更好，為此必須考慮：成本、體積、重量、散熱多重因素。還有一問(wèn)題，不完美的變焦可能不會(huì)起到好的效果。做對(duì)了就有價(jià)值。

但是近似值的形狀是什么？質(zhì)量一般的變焦鏡頭，有限的調(diào)整范圍，或者聚焦的最終物體并不精確，都會(huì)導(dǎo)致難以實(shí)現(xiàn)大部分的價(jià)值或甚至是產(chǎn)生負(fù)向影響。

如果能夠通過(guò)眼動(dòng)追蹤某物來(lái)確定希望焦平臺(tái)工作的距離，在不是非常準(zhǔn)確或快速響應(yīng)情況下，在看某物時(shí)，它可能會(huì)變得比原先更加模糊。

所以我并不認(rèn)為現(xiàn)在可以說(shuō)我們有了一個(gè)完美的方案來(lái)真正做到保證高價(jià)值，凈值范圍就更不用說(shuō)了。我們的系統(tǒng)從能夠在實(shí)驗(yàn)室某個(gè)人身上運(yùn)行良好到擴(kuò)展應(yīng)用到更廣泛的人群，這個(gè)過(guò)程中會(huì)有很多問(wèn)題出現(xiàn)。

關(guān)于變焦的另一件事是，我支持很多事情，比如對(duì)屏幕的處理。但如果我們只是將屏幕放在焦平面用于變焦那些用例的位置，結(jié)果可能為凈負(fù)值 。因此，它僅適用于具有潛在積極因素的用例之外的用例，并且它仍然可能不會(huì)成為真正的積極因素或凈積極因素。

Carmack 似乎在降低期望值，并暗示 Oculus/Meta 在變焦方面存在技術(shù)分歧。他似乎還透露了眼動(dòng)追蹤還不夠好，并且對(duì)是否有任何離散變焦技術(shù)能夠很好地工作有著擔(dān)心。

兼具Pancake光學(xué)元件

與可變焦菲涅爾透鏡的HD3

Meta 在 SPIE Photonics Europe 發(fā)表了一篇論文《論沉浸式近眼顯示器的光學(xué)：瞳孔游動(dòng)/大小和重量/雜散光》，論文包含了 Pancake 和菲涅爾光學(xué)之間的比較（Lanman 是 18 頁(yè)論文的 16 位作者之一） 。

HD3兼具Pancake光學(xué)元件與菲涅爾LC透鏡。

左下方的一組圖顯示了菲涅爾透鏡的衍射效果，下面的表1顯示了Pancake光學(xué)的對(duì)比圖。表2給出了折射光學(xué)與菲涅爾、Pancake光學(xué)優(yōu)缺點(diǎn)的高級(jí)總結(jié)。

圖源：kguttag

同一篇論文中的圖 12 顯示了由Pancake光學(xué)引起的各種重影。

圖源：kguttag

正如《Meta Cambria Electricly Controlable LC Lens for VAC 》一文中所討論的那樣，如下圖所示，顯示器的光穿過(guò)各種表面，其中一些來(lái)自兩個(gè)方向。從這些表面散射的光都將隨著焦點(diǎn)的變化被放大，并被光路中的任何后續(xù)光學(xué)器件轉(zhuǎn)換，從而導(dǎo)致不同大小、位置和焦點(diǎn)的多個(gè)重影，如上圖 12 所示。

圖源：kguttag

由于 HD3 同時(shí)具有菲涅爾 LC 透鏡和 Pancake 光學(xué)元件，人們會(huì)關(guān)心兩種光學(xué)元件的組合會(huì)不會(huì)產(chǎn)生什么問(wèn)題。要注意，這些問(wèn)題在精心制作的視頻中可能并不明顯。

卡爾在最后總結(jié)了Cambria是否采用可變焦的理由：

采用

• Meta 投身可變焦的研究至少已有6年
• Cambria發(fā)布的時(shí)間，距離Lanman在2020年說(shuō)出“HD3幾乎準(zhǔn)備好迎接黃金時(shí)間”兩年多時(shí)間
• Meta在 Connect 2021 展示的視頻當(dāng)中的圖看起來(lái)與 HD3 相關(guān)的專利申請(qǐng)相似
• Meta每年花費(fèi)約百億美金并擁有10000名頂尖AR和VR人才來(lái)解決此類問(wèn)題

不采用

• 卡馬克在 Meta Connect 2021 的問(wèn)答環(huán)節(jié)中對(duì)可變焦持懷疑態(tài)度
• 即使光學(xué)系統(tǒng)工作得足夠好，眼動(dòng)追蹤也有可能會(huì)不夠好
• Meta 2021 年 6 月 SID ICDT 論文中提到的 LC 鏡頭問(wèn)題，看起來(lái)仍然很像一個(gè)研究項(xiàng)目
• 將菲涅爾 LC 可變焦距光學(xué)元件與Pancake固定光學(xué)元件混合使用的圖像質(zhì)量問(wèn)題

結(jié)論

總的來(lái)說(shuō)，卡爾認(rèn)為變焦/HD3 似乎還沒(méi)有為未來(lái)幾年的高端產(chǎn)品做好準(zhǔn)備。

雖然Meta 確實(shí)聲明并表明 Cambria 會(huì)基于Pancake光學(xué)，但正如 Meta 最近的論文所示，Pancake光學(xué)在對(duì)比度方面做出了妥協(xié)，導(dǎo)致了與高端產(chǎn)品不相符的重影產(chǎn)生。

“可以運(yùn)行”與滿足客戶對(duì)圖像質(zhì)量與成本的期待之間也可能存在很大差距，特別是在 AR 和 VR 中，某些技術(shù)可以很好地打動(dòng)人們，但距離成為產(chǎn)品還很遠(yuǎn)。解決看似“最后10%”的問(wèn)題以使技術(shù)產(chǎn)品有價(jià)值，可能需要付出100多倍的努力。

對(duì)Meta而言，發(fā)展到了某個(gè)階段，終需將其許多的先進(jìn)研發(fā)“落地”到產(chǎn)品中。Quest系列似乎就到了這個(gè)階段，Meta 需要將他們的一些非常先進(jìn)的研發(fā)“落地”到其中。

但Quest系列的成功在卡爾看來(lái)，更多的是以低于成本銷售獲得市場(chǎng)份額的能力而聞名，而不是在推動(dòng)技術(shù)向前發(fā)展。相比之下，他認(rèn)為Meta 聯(lián)合雷朋推出的智能眼鏡則展示了AR顯示器能多大程度上適用于一副雷朋眼鏡。

原文鏈接：

https://kguttag.com/2021/12/13/metas-cambria-part-2-is-it-half-dome-3/