文/VR陀螺 萬(wàn)里

Karl Guttag（卡爾·古塔格）是國(guó)外的一個(gè)近眼顯示專家，在計(jì)算機(jī)圖形、顯示器和人機(jī)視覺界面方面擁有40多年的經(jīng)驗(yàn)。

近期，他專門針對(duì)Meta Quest Pro（后簡(jiǎn)稱MQP）的全彩透視效果進(jìn)行了深度體驗(yàn)，他表示：“對(duì)于一些VR愛好者和YouTuber而言，他們會(huì)對(duì)MQP所展現(xiàn)的大屏幕以及多窗口感到驚訝。不過(guò)它的像素顆粒感、聚散調(diào)節(jié)沖突以及閃爍問(wèn)題，使得它在商業(yè)應(yīng)用中表現(xiàn)不佳。”

圖源：Meta

在Meta的官方描述中，它表示MQP朝外的攝像頭能捕捉的像素量為Quest 2的四倍，從而實(shí)現(xiàn)“物理世界和數(shù)字世界”無(wú)縫的體驗(yàn)。不過(guò)Karl Guttag卻表示MQP全彩透視效果一般，體驗(yàn)很難稱之為“無(wú)縫”。

為了直觀展示MQP在實(shí)際表現(xiàn)中存在的問(wèn)題，Karl Guttag進(jìn)行了一系列測(cè)試。下面的圖像/視頻來(lái)源主要有兩種，一是使用Meta Quest Developer HUB ( MQDH ) 軟件對(duì)顯示畫面進(jìn)行截屏/錄屏，二是使用相機(jī)對(duì)屏幕進(jìn)行拍攝。拍攝設(shè)備為佳能R5，8192 x 5464像素，鏡頭約16毫米，水平FOV約106°，垂直FOV 約81°，相機(jī)解析力接近于人眼所看到的效果。

圖源：Karl Guttag

 畫面有桶形失真，分辨率表現(xiàn)不佳

下圖為通過(guò)MQDH軟件截取的畫面，可以看到畫面出現(xiàn)了旋轉(zhuǎn)效果，這是因?yàn)镸QP的物理顯示器進(jìn)行了21°反向旋轉(zhuǎn)處理。

根據(jù)海外分析師SadlyItsBradley的說(shuō)法，Meta之所以會(huì)采用旋轉(zhuǎn)屏幕設(shè)計(jì)，原因可能有兩點(diǎn)：一是能提供更大的垂直FOV、二是因?yàn)樵O(shè)備使用Pancake光學(xué)方案，光學(xué)器件更靠近用戶的臉，這樣可以給鼻子的三角形區(qū)域留出空間。

圖源：Karl Guttag

上圖出現(xiàn)了桶形失真，即四個(gè)邊都向外彎曲，而桶形失真用于糾正MQP Pancake光學(xué)元件所導(dǎo)致的枕形失真問(wèn)題（很多VR光學(xué)元件都有類似的失真糾正機(jī)制）。這使得畫面外圍的像素被光學(xué)拉長(zhǎng)，因此分辨率較低。

下面一張圖中，左1為截屏畫面，左2為相機(jī)拍屏畫面，右1為相機(jī)直接拍攝真實(shí)環(huán)境的照片。對(duì)比左邊兩張圖，可以發(fā)現(xiàn)最左邊圖像已經(jīng)經(jīng)過(guò)失真糾正處理，不過(guò)它書柜處的外部像素因?yàn)楣鈱W(xué)畸變而被顯著拉伸超過(guò)兩倍。

圖源：Karl Guttag

下面的測(cè)試中，Karl Guttag進(jìn)一步給我們展示了MQP全彩透視糟糕的分辨率表現(xiàn)。

下圖左為MQP開啟全彩透視所拍攝到的Snellen視力表畫面，右為相機(jī)直接拍攝畫面（畫面經(jīng)過(guò)了局部放大處理）。在美國(guó)，看不到第一行的“E”基本上等同于“盲人”，而MQP的顯示效果介于20/200（“法定盲人”）和10/200（“視障者”）之間。

此外，在顏色方面，左圖還出現(xiàn)了很多問(wèn)題，如書柜顏色過(guò)度飽和，視力表上方出現(xiàn)了色彩偏移，其他地方又有欠飽和等問(wèn)題。相比之下，右邊相機(jī)所拍攝的畫面與肉眼觀感較為接近。

左為MQP透視效果，右為相機(jī)直接拍攝畫面，圖源：Karl Guttag

SadlyItsBradley表示，MQP的彩色透視功能使用了兩個(gè)分辨率為1280x1024的IR攝像頭為顯示器提供亮度信息（兼做追蹤和SLAM算法），此外，它還有一個(gè)1600萬(wàn)像素的RGB攝像頭，主要用于圖像著色。

兩顆1280X1024像素的攝像頭，從圖像采集到最終屏幕成像，會(huì)經(jīng)歷裁剪、旋轉(zhuǎn)和桶形扭曲等過(guò)程，最終生成的圖像像素質(zhì)量約500x500，由于MQP單眼視場(chǎng)角約85度，簡(jiǎn)單換算它的圖像PPD約為6。

為了更直觀展示MQP相機(jī)的分辨率表現(xiàn)，Karl Guttag還設(shè)置了三組對(duì)比照片，左1為MQP的截屏畫面，左2為相機(jī)拍攝的畫面（約70PPD），右2為經(jīng)過(guò)適當(dāng)壓縮處理的相機(jī)拍攝畫面（約6PPD）。

圖源：Karl Guttag

下面為局部放大圖，（最右邊補(bǔ)充了Quest 2的透視效果圖）。從下圖左2可以看到，MQP透視的分辨率確實(shí)不理想，它的表現(xiàn)甚至要比左3以6.4PPD模擬的圖片還要糟糕。因此，Karl Guttag指出，佩戴MQP時(shí)，最佳中心視力只有約人類良好視力的 1/10。

圖源：Karl Guttag

對(duì)于透視的成像效果問(wèn)題，Meta的工程師理應(yīng)清楚，將單個(gè)彩色攝像頭與兩個(gè)跟蹤攝像頭結(jié)合使用會(huì)嚴(yán)重?fù)p害圖像質(zhì)量。不過(guò)在這種情況下，它們依舊愿意犧牲圖像質(zhì)量來(lái)?yè)Q取虛實(shí)物體位置的穩(wěn)定。Meta團(tuán)隊(duì)實(shí)現(xiàn)了這一目標(biāo)，但代價(jià)是圖像質(zhì)量以及失真程度（特別是觀察近距離物體時(shí)）表現(xiàn)糟糕。

SadlyItsBradley指出，Meta Quest 3將配備兩顆高分辨率的彩色攝像頭，每只眼睛各一個(gè)（或類似于奇遇MIX的方案），這樣應(yīng)該能實(shí)現(xiàn)更好的全彩透視效果。不過(guò)，如果試圖通過(guò)實(shí)時(shí)跟蹤和深度感應(yīng)相機(jī)信息映射真實(shí)世界的畫面，仍可能會(huì)出現(xiàn)失真問(wèn)題。因?yàn)槿释敢暦浅Ｒ蕾囂幚砥餍阅?，并且?duì)于續(xù)航而言也是一大負(fù)擔(dān)。

即將發(fā)布的Quest 3爆料圖片，圖源：SadlyItsBradley

 透視效果動(dòng)態(tài)范圍表現(xiàn)慘淡，M2P時(shí)延約50ms

除靜態(tài)畫面外，Karl Guttag還針對(duì)MQP彩色透視的視頻效果做了相應(yīng)測(cè)試。他指出，MQP彩色透視的動(dòng)態(tài)范圍表現(xiàn)簡(jiǎn)直可以用慘淡來(lái)形容。

由于MQP使用的是對(duì)紅外線敏感的跟蹤相機(jī)，這使得它拍攝任何明亮或發(fā)光的東西，畫面都會(huì)顯得發(fā)白，而在光線不好的情況下，畫面會(huì)變得非常嘈雜。

下面視頻中不難發(fā)現(xiàn)MQP彩色透視所呈現(xiàn)的動(dòng)態(tài)范圍低、畫面以及顏色失真等問(wèn)題。近距離物體表現(xiàn)很糟糕，但是距離較遠(yuǎn)的物體也會(huì)發(fā)生奇怪的扭曲現(xiàn)象。

在其他一些測(cè)試場(chǎng)景中，MQP所拍攝的燈光和電腦屏幕都出現(xiàn)了過(guò)曝現(xiàn)象，并且紙張由于出現(xiàn)扭曲變得基本無(wú)法閱讀。

下面的視頻中，里面放置了一個(gè)貼有斯內(nèi)倫圖表的計(jì)時(shí)器，還有一個(gè)電腦計(jì)時(shí)器（用于實(shí)現(xiàn)頭顯視頻錄制以及相機(jī)拍攝畫面的幀同步）。由于過(guò)曝問(wèn)題，電腦屏幕亮度需要設(shè)置成最低，不然無(wú)法看清楚屏幕畫面。

從視頻里面擺動(dòng)的指針可以發(fā)現(xiàn)，在運(yùn)動(dòng)場(chǎng)景下，它的畫面失真較為嚴(yán)重，并且畫面顏色填充要明顯滯后于運(yùn)動(dòng)。

值得注意的一點(diǎn)是，雖然錄屏畫面看起來(lái)顏色還原較為準(zhǔn)確，但是拍屏畫面顏色已經(jīng)過(guò)飽和，實(shí)際肉眼觀看也如此?？紤]到在VR模式下，MQP顏色還原十分準(zhǔn)確，但透視模式的顏色表現(xiàn)卻不如人意，這點(diǎn)讓人有些費(fèi)解。

左為拍屏畫面，右為視頻錄制畫面，圖源：Karl Guttag

除了顏色問(wèn)題，Karl Guttag還發(fā)現(xiàn)錄屏軟件所捕獲到的視頻畫面每3幀就會(huì)出現(xiàn)一次畫面撕裂的情況，而通過(guò)相機(jī)拍攝的畫面（4K60幀拍攝）并沒(méi)有這一問(wèn)題。原因可能在于軟件錄制的視頻源與頭顯播放的視頻源并不同步。

錄屏情況下發(fā)生的畫面撕裂現(xiàn)象，圖源：Karl Guttag

錄屏畫面與拍屏畫面顯示效果有差異不僅在Karl Guttag的測(cè)試中有所反映，很多用戶也表示他們所錄制的視頻源觀感要優(yōu)于親眼看到的效果。

因此Karl Guttag懷疑MQP在成像時(shí)會(huì)優(yōu)先照顧運(yùn)動(dòng)到光子的時(shí)延（M2P）而不是畫面整體質(zhì)量，而在錄屏?xí)r則剛好反了過(guò)來(lái)，這時(shí)候會(huì)優(yōu)先考慮畫面質(zhì)量而非M2P時(shí)延。

Karl Guttag使用光傳感器測(cè)量發(fā)現(xiàn)，設(shè)備的M2P時(shí)延約為40-50ms。

 使用視頻透視做MR，許多老大難問(wèn)題還沒(méi)解決

AR/VR設(shè)備的透視方式主要可以分為視頻透視（Video See-Through，VST）和光學(xué)透視（Optical See-Through，OST）兩種。一些資料指出，光學(xué)透視方案下，用戶通過(guò)放置在眼前的半透明光學(xué)合成器看到外界真實(shí)世界，同時(shí)光學(xué)合成器也將計(jì)算機(jī)生成的圖像反射到用戶的眼睛里，從而將真實(shí)世界和虛擬世界結(jié)合起來(lái)。

而視頻透視則是通過(guò)相機(jī)捕捉到真實(shí)世界的實(shí)時(shí)視圖，然后與計(jì)算機(jī)圖像技術(shù)結(jié)合在一起，展示在不透明的顯示器上，最終進(jìn)入用戶的視野。

視頻透視是VR的主流透視方案，如果細(xì)分的話還包含黑白透視，全彩透視等。此前Karl Guttag曾經(jīng)討論了用視頻透視做AR的一些優(yōu)缺點(diǎn)。

資料來(lái)源：Karl Guttag

用視頻透視做AR通常是不安全的，因?yàn)樗梢酝ㄟ^(guò)多種方式掩蓋現(xiàn)實(shí)世界的危險(xiǎn)。以至于有人把它稱之為”VR to the ER“（從VR到急診室）。

MQP的透視模式緩解了部分VR視覺安全問(wèn)題，不過(guò)還有很多問(wèn)題沒(méi)有解決：

• 頭顯仍然會(huì)擋住用戶的大部分視線；
• VR內(nèi)容完全阻隔現(xiàn)實(shí)世界；
• 動(dòng)態(tài)范圍太差，昏暗環(huán)境下基本不可用；
• 現(xiàn)實(shí)世界的分辨率很差；
• 透視模式下的視頻可能會(huì)出現(xiàn)高度失真問(wèn)題。

除此之外，頭顯還面臨著輻輳調(diào)節(jié)沖突、閃爍等問(wèn)題。

 結(jié)語(yǔ)

MQP的透視模式相比Quest 2有了很大的提升，但是離真正的MR設(shè)備還離得很遠(yuǎn)。

彩色透視可用于在現(xiàn)實(shí)世界中尋找物件以及為VR應(yīng)用設(shè)置安全邊界，但是它在AR/MR應(yīng)用方面表現(xiàn)很糟糕，Meta把MQP稱之為混合現(xiàn)實(shí)設(shè)備著實(shí)有點(diǎn)名不符實(shí)。

Meta在元宇宙花費(fèi)了超過(guò)300億美元，而MQP是他們所打造的價(jià)值1500美元的專業(yè)設(shè)備。從人類視覺因素的角度來(lái)看，MQP犯了很多錯(cuò)誤，以至于Karl Guttag表示，這款設(shè)備強(qiáng)化了他對(duì)于"Passthrough AR擁有眾多缺點(diǎn)”的刻板印象。

資料來(lái)源：

https://kguttag.com/2023/01/03/meta-quest-pro-part-1-unbelievably-bad-ar-passthrough/