文/VR陀螺 小鉆風(fēng)
VR/AR想要實(shí)現(xiàn)接近人眼的視覺體驗(yàn),模擬人眼對(duì)世界的感知是必要方向。人眼的視覺系統(tǒng)關(guān)鍵的一項(xiàng)要素是隨人眼的移動(dòng),自動(dòng)對(duì)焦。
為了實(shí)現(xiàn)自動(dòng)對(duì)焦,出現(xiàn)了各種變焦方案,這些變焦方案多基于可變焦鏡頭或顯示器的移動(dòng),再結(jié)合眼動(dòng)追蹤與算法實(shí)現(xiàn)。
這些方案實(shí)現(xiàn)了對(duì)VR/AR體驗(yàn)的提升,但離真正的人眼視覺系統(tǒng)還有一定距離。
光場依然是VR/AR頭顯顯示最接近人眼的解決方案
2018年,F(xiàn)acebook在F8大會(huì)上提到的Oculus Half Dome頭顯原型所采用的變焦方案就是較為典型的代表。
該頭顯原型具備眼動(dòng)追蹤功能,主要用于與該原型設(shè)備的變焦顯示器相配合。通過顯示器的調(diào)節(jié),讓顯示器與眼動(dòng)追蹤在眼睛對(duì)焦距離處相結(jié)合,實(shí)現(xiàn)對(duì)焦點(diǎn)的動(dòng)態(tài)追蹤。
Oculus Half Dome(圖源:網(wǎng)絡(luò))
但這類變焦方案無法實(shí)現(xiàn)人眼的連續(xù)對(duì)焦,而且從視覺呈現(xiàn)來講,對(duì)人眼真實(shí)世界的模擬還有一段距離。
在變焦的實(shí)現(xiàn)手段上,還有一種方式,那就是光場技術(shù)。
“光場(Light Field)是空間中同時(shí)包含位置和方向信息的四維光輻射場。”簡單點(diǎn)說就是光線在傳播過程中的所有信息。
光場技術(shù)通過模擬光場,讓光源追蹤人眼,并結(jié)合模擬物體的實(shí)際光影效果將激光投射到人的視網(wǎng)膜,讓人眼在VR中的使用接近真實(shí)世界。比如隨人頭部的移動(dòng),實(shí)現(xiàn)注視點(diǎn)的轉(zhuǎn)移。
光場相關(guān)技術(shù)難度非常高,因此能夠?qū)嵤┻@項(xiàng)技術(shù)的公司并不多,瑞士的創(chuàng)企Creal是其中一個(gè)。
Creal位于瑞士,是一家VR/AR創(chuàng)企,專注于為VR/AR頭顯提供光場顯示器。這家看似平平無奇的創(chuàng)企,團(tuán)隊(duì)背景似乎很不一般。
Creal 2017年底成立,由前歐洲核子研究中心(英文簡稱CERN)的工程師共同創(chuàng)立,這些工程師曾從事大型強(qiáng)子對(duì)撞機(jī)的ATLAS探測器項(xiàng)目。
截至去年末,該團(tuán)隊(duì)擁有18名員工,吸納了英特爾Vaunt智能眼鏡項(xiàng)目、Magic Leap、瑞士聯(lián)邦理工以及多家初創(chuàng)公司的研究經(jīng)驗(yàn)。
Creal合照(圖源:Creal)
如此硬核的團(tuán)隊(duì)近日展示了最新光場顯示技術(shù)成果,從展示的視頻來看,Creal在不使用眼動(dòng)追蹤的前提下,實(shí)現(xiàn)了對(duì)任意深度場景下的對(duì)焦。而且在視覺呈現(xiàn)上模擬了人眼注視點(diǎn)高度清晰,周邊環(huán)境模糊的效果。
將光場投影儀嵌入智能眼鏡框,讓合成光場模擬真實(shí)光場
Creal研究光場技術(shù),是希望在VR/AR中展示真實(shí)世界的深度。Creal對(duì)光場的定義是:“光在真實(shí)世界中的真實(shí)代表。”
Creal光場顯示器生成的圖像與我們?nèi)庋劭吹秸鎸?shí)世界的光非常相符。具體點(diǎn)說,光場顯示器支持人類視覺系統(tǒng)的兩大聚焦機(jī)制:聚光與調(diào)節(jié),可以像真實(shí)世界一樣可以進(jìn)行焦深的調(diào)節(jié)。
圖源:Creal
與前文所述變焦調(diào)節(jié)方式不同的是,Creal的焦點(diǎn)轉(zhuǎn)移全部在攝像頭捕捉場景的過程中完成。攝像頭可以像人眼一樣在不使用追蹤技術(shù)的前提下對(duì)任意深度的場景進(jìn)行對(duì)焦。
據(jù)Creal官網(wǎng)介紹,他們是通過在VR/AR頭顯或智能眼鏡臂中嵌入光場投影儀,做到在每一個(gè)數(shù)字場景中以多種視角投射到人眼,并保持每秒6000張圖像的發(fā)送頻率,合成光場模擬真實(shí)世界的光呈現(xiàn)在人眼視野。從Creal官網(wǎng)的動(dòng)圖演示來看,似乎采用了孔陣列結(jié)構(gòu)。
圖源:Creal
再通過光場顯示器與普通顯示器的結(jié)合,模擬人眼注視點(diǎn)高清、周圍視頻模糊的視覺效果,可為用戶帶來幾近真實(shí)的體驗(yàn)感。
2019年,Creal曾在CES上展示其采用了光場顯示器的VR/AR頭顯原型。據(jù)介紹,AR頭顯原型 60° 視場角的分辨率為1000*1000,并且是“無限”分辨率。
圖源:roadtovr
這里所說的無限是指連續(xù)聚焦,并非真實(shí)的無限,而是每個(gè)焦深之間的步長要遠(yuǎn)小于人眼分辨率,人眼幾乎無法察覺。
當(dāng)時(shí)所展示的AR頭顯原型需要線纜連接,采用了IntelRealSense傳感器進(jìn)行6DOF追蹤,Ultraleap進(jìn)行手動(dòng)追蹤。Creal表示會(huì)將眼鏡的功耗從當(dāng)前的2W降低至0.5W,并將眼動(dòng)范圍擴(kuò)大到8mm。
當(dāng)時(shí),Creal創(chuàng)始人Sluka告訴外媒,他們通過投影儀以某種方式對(duì)光進(jìn)行調(diào)制,圖像并非全息圖,也并未使用微透鏡陣列。據(jù)稱,這種方法非常新穎,所合成的光場比Creal所知的任何其他光場都更接近模擬光場。
(圖源:Creal)
Sluka表示該系統(tǒng)支持“從0到無窮大的數(shù)百個(gè)深度平面”,并具有對(duì)數(shù)分布,也就是較高密度的平面更靠近眼睛,較低密度的平面距離眼睛更遠(yuǎn)。他還說可以在眼睛“后面”實(shí)現(xiàn)深度平面,這意味著該系統(tǒng)適用于近視眼鏡。
與2019年前類似電腦主機(jī)形式的光場顯示器相比,兩年后的Creal已將光場顯示器似乎縮小至接近普通VR/AR頭顯,這兩款頭顯在2021年CES上以線上形式進(jìn)行過展示。
(圖源:Creal)
據(jù)介紹,該原型VR頭顯采用注視點(diǎn)架構(gòu)(每只眼睛采用兩個(gè)重疊的顯示器),光場顯示器的分辨率與視網(wǎng)膜接近,覆蓋視野中心30°范圍,周圍視場則采用更低分辨率(1600*1400)非光場顯示器填充至100°范圍。
觀察文章開篇部分的視頻,可以看到顯示器的中心部分(光場部分)與視野其他區(qū)域相比非常清晰。Creal表示這部分顯示器的分辨率與視網(wǎng)膜接近,并且能以240Hz的刷新率運(yùn)行。
Creal AR眼鏡規(guī)格(圖源:Creal)
Creal VR眼鏡規(guī)格(圖源:Creal)
Creal的VR/AR頭顯形態(tài)還在進(jìn)一步縮小中,公司預(yù)計(jì)2022年底能夠做到讓光場顯示器縮小至更為合理的大小。對(duì)適用于AR的技術(shù)也在進(jìn)行調(diào)整,之后可能做到更加小型化以適應(yīng)緊湊型AR眼鏡。
Creal VR、AR眼鏡未來迭代路線圖:
圖源:Creal
Creal制作VR、AR頭顯原型僅用于展示光場顯示技術(shù),便于與其他公司合作,讓其將光場技術(shù)整合到這些公司的頭顯當(dāng)中,自身并不打算制造頭顯。
考慮到需要對(duì)光場進(jìn)行合成,有猜測認(rèn)為用于Creal頭顯光場顯示器的視圖渲染工作會(huì)非常昂貴,對(duì)此Creal并未正面回答此問題,只表示正在對(duì)沉浸技術(shù)進(jìn)行進(jìn)一步優(yōu)化。
從Creal在今年CES上展示的VR與AR頭顯來看,與兩年前類似計(jì)算機(jī)主機(jī)的形態(tài)相比,其光場顯示器已能應(yīng)用于VR/AR頭顯。但受疫情影響今年CES在線上舉辦,因此沒有機(jī)會(huì)真實(shí)體驗(yàn)其產(chǎn)品。
2021年Creal在2021年CES上的展示視頻
根據(jù)Creal計(jì)劃的迭代路線圖,Creal目前已成功實(shí)現(xiàn)光場顯示器的小型化,VR與AR頭顯尺寸已接近市面上的普通頭顯。
一年之后,頭顯原型將會(huì)進(jìn)一步縮小,尤其是AR眼鏡,幾乎與普通眼鏡沒有差別??紤]到AR眼鏡2021與2022兩款原型的形式差別較大,實(shí)現(xiàn)上有一定難度,陀螺君保持期待態(tài)度。如果真的能夠?qū)崿F(xiàn),對(duì)智能眼鏡而言或許會(huì)是一項(xiàng)大的突破。
2022年Creal AR眼鏡(圖源:Creal)
Creal只提供光場顯示器并不從事頭顯的制造,因此采取與VR/AR頭顯制造商合作的模式。Creal官網(wǎng)上已列出合作需求,這讓陀螺君開始期待其光場顯示器是否已具備量產(chǎn)的能力。
畢竟光場技術(shù)早在幾年前便受眾多大廠追捧,只是落地應(yīng)用這一日何日到來還未可知。
大廠追逐的光場,落地成謎
像光場這樣對(duì)VR/AR顯示可能產(chǎn)生顛覆性效果的技術(shù),對(duì)VR/AR大廠而言并不新鮮,早在幾年前VR/AR熱潮時(shí)便廣受關(guān)注,包括谷歌、微軟、Facebook在內(nèi)的一些大廠都對(duì)此保持關(guān)注。
英偉達(dá)早在幾年前便展示利用了光場顯示技術(shù)的VR頭顯,據(jù)稱,該頭顯不會(huì)讓佩戴者產(chǎn)生暈動(dòng)癥。
英偉達(dá)的這款頭顯采用了近眼光場顯示系統(tǒng)(Near-Eye Light Field Displays),該系統(tǒng)與斯坦福大學(xué)聯(lián)合研發(fā),從原理上看與光場相機(jī)類似,采用一系列人眼所能識(shí)別的最小焦距的微透鏡陣列。
微透鏡陣列會(huì)在給定的場景中捕獲光照強(qiáng)度等信息,以及光線在空間內(nèi)的傳播方向,以讓圖像中捕獲的景深距離顯得更加立體,從而減少暈動(dòng)癥。
英偉達(dá)光場立體頭顯原理圖(圖源:網(wǎng)絡(luò))
與Creal類似,英偉達(dá)的顯示方案同樣采用兩塊顯示器重疊的方式。從上圖可以看到,兩塊間隔5毫米的LCD面板做成分層顯示器,被靠近用戶眼鏡的圓形觀看鏡片與后端的背光板夾在中間。
2018年,曾有消息稱谷歌或以4000萬美元收購以光場相機(jī)出名的Lytro,雖然收購并未發(fā)生,但谷歌確實(shí)接納了Lytro解散后的部分員工。同年還推出光場技術(shù)實(shí)驗(yàn)平臺(tái)Welcome to Light Fields。
Welcome to Light Fields(圖源:網(wǎng)絡(luò))
Welcome to Light Fields通過改裝的GoPro Odyssey Jump相機(jī)平臺(tái),將其彎曲在16個(gè)鏡頭的垂直弧形并安裝在旋轉(zhuǎn)的平臺(tái)上,對(duì)進(jìn)入空間的不同光線進(jìn)行捕捉。
2020年中旬,谷歌還發(fā)布了一項(xiàng)新的球形光場視頻捕捉方案。
該光場捕捉方案與此前推出的光場技術(shù)平臺(tái)類似,為球型結(jié)構(gòu),由46個(gè)攝像頭組成,其原理類似于蒼蠅的復(fù)眼,可通過環(huán)式分布的攝像頭從不同角度對(duì)周圍的場景進(jìn)行捕捉。
谷歌球形光場視頻捕捉方案(圖源:網(wǎng)絡(luò))
蘋果近年也有專利表明其正致力于全景光場捕獲技術(shù),但與前面介紹的實(shí)現(xiàn)方式有所不同。
在其專利設(shè)想下,普通消費(fèi)者可通過手勢移動(dòng)設(shè)備來捕獲特定場景的大光場全景。蘋果系統(tǒng)可利用iPhone、iPad中的傳感器進(jìn)行位置、運(yùn)動(dòng)、圖像等多種數(shù)據(jù),再將其結(jié)合起來構(gòu)成光場全景。
蘋果光場捕獲、處理、查看圖像的過程(圖源:網(wǎng)絡(luò))
這只是光場方案中的幾則案例,很多廠商都有研究光場并提出各種不同的解決方案,但卻并沒有真實(shí)成功實(shí)現(xiàn)大規(guī)模落應(yīng)用的,可見光場技術(shù)目前還未有標(biāo)準(zhǔn)出現(xiàn),即使是不乏大廠的參與,受到多方追捧,離實(shí)際落地應(yīng)用始終還有一段距離。
自動(dòng)對(duì)焦功能是VR/AR頭顯的必然需求,因此最近幾年涉足AR/VR廠商依然在進(jìn)行積極探索,只是不比當(dāng)時(shí)Magic Leap時(shí)代熱鬧。
此次Creal作為一家團(tuán)隊(duì)成員不及20人的創(chuàng)企敢于嘗試光場顯示技術(shù),并在短短兩年內(nèi)實(shí)現(xiàn)小型化,讓人眼前一亮??紤]到光場技術(shù)的落地難度,在其光場顯示器真實(shí)落地量產(chǎn)前陀螺君依然保持關(guān)注態(tài)度。
結(jié)語
光場技術(shù)是VR/AR頭顯對(duì)更優(yōu)質(zhì)顯示體驗(yàn)的必然需求,雖然目前尚未達(dá)到可大規(guī)模應(yīng)用的階段,但廠商們?nèi)栽趶亩鄠€(gè)角度不斷進(jìn)行研發(fā)。
不僅僅是大廠商,如今像Creal這樣僅擁有十幾人團(tuán)隊(duì)的創(chuàng)企也開始加入研發(fā)陣營,這意味著光場顯示技術(shù)已經(jīng)吸引了更多關(guān)注,應(yīng)用于VR/AR顯示光場技術(shù)也將擁有更有解決方案。
或許我們離光場技術(shù)的應(yīng)用比我們想象中要更近了一步。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
版權(quán)申明:本文為VR陀螺原創(chuàng),任何第三方未經(jīng)授權(quán)不得轉(zhuǎn)載。如需轉(zhuǎn)載請(qǐng)聯(lián)系微信:vrtuoluo233 申請(qǐng)授權(quán),并在轉(zhuǎn)載時(shí)保留轉(zhuǎn)載來源、作者以及原文鏈接信息,不得擅自更改內(nèi)容,違規(guī)轉(zhuǎn)載法律必究。文中有圖片、視頻素材來自互聯(lián)網(wǎng)或無法核實(shí)出處,如涉及版權(quán)問題,請(qǐng)聯(lián)系本網(wǎng)站協(xié)商處理。
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息