文/VR陀螺 案山子
在經(jīng)歷了冗長的iPhone、iPad、Apple Watch、Mac產(chǎn)品與系統(tǒng)介紹后,現(xiàn)場的所有觀眾,以及遠程所有沉浸在“不眠之夜”里的從業(yè)者們,在庫克的一聲“One more thing”下,開始轟動起來。沉寂的現(xiàn)場也響起了轟鳴的掌聲和尖叫聲。
不知從何時起,蘋果發(fā)VR/AR設(shè)備的消息,就像從業(yè)者心中的一塊大石,一直懸著,牽動著整個產(chǎn)業(yè)……
直到今天,這顆大石終于落下,蘋果MR終端——Vision Pro正式發(fā)布。而基于蘋果加入XR戰(zhàn)局,產(chǎn)業(yè)將迎來一個全新的時代。
VR陀螺有幸在現(xiàn)場見證這一時刻,懷著無比激動的心情,我們也不禁想要剖析,蘋果的首款MR設(shè)備,究竟蘊含了什么意義,哪些技術(shù)點值得關(guān)注。
圖源:VR陀螺
新的空間計算時代開啟,向著終極目標(biāo)——AR
“今天標(biāo)志著計算技術(shù)新時代的開端”。蘋果公司CEO Tim Cook(以下簡稱庫克)說興奮地說道。
“如同 Mac將我們帶入個人計算時代, iPhone將我們帶入移動計算時代,Apple Vision Pro將帶我們進入空間計算時代。基于 Apple 數(shù)十年的創(chuàng)新積累,Vision Pro 是遙遙領(lǐng)先的空前之創(chuàng),帶來革命性的全新輸入系統(tǒng)和數(shù)以千計的創(chuàng)新技術(shù)。它為用戶帶來絕佳體驗,并為開發(fā)者帶來振奮人心的新機會。”
計算平臺從PC發(fā)展至手機,雖然屏幕實現(xiàn)了從大到小,使用場景從家用到移動便攜,從非智能到智能,但是人機交互、人與人、人與世界的交互方式,仍然被局限于一塊2D的顯示屏中,它有界限,所以無法提供極致的沉浸感,這也是VR一出現(xiàn)就讓萬千從業(yè)者興奮不已的原因所在。
未來的互聯(lián)網(wǎng)形態(tài),將是3D空間互聯(lián)網(wǎng),將徹底改變?nèi)伺c機器、人與人、物與物之間的交互方式。而未來3D空間互聯(lián)網(wǎng)的入口,在實現(xiàn)腦機接口之前,VR陀螺認為一定會是VR、AR終端。
但究竟是VR還是AR終端,如果單從業(yè)界目前對產(chǎn)品的劃定來看,蘋果Vision Pro從形態(tài)和技術(shù)路徑上來看,顯然會被劃入到VR的行列中,它通過全彩“Video See Through”(以下簡稱VST)來實現(xiàn)MR融合效果,在此之前,包括Meta、PICO以及其他的創(chuàng)業(yè)公司VR頭顯均已在此方向推出相關(guān)產(chǎn)品。
MR的光學(xué)形態(tài)分為VST與OST,相比VR通過攝像頭先將現(xiàn)實捕捉下來再傳入到虛擬世界,通過算法進行融合,AR產(chǎn)品則直接通過光學(xué)(Optical)實現(xiàn)了真實世界的透視,通過對真實環(huán)境的感知讓虛擬物體與之融合。
圖源:蘋果
以上是目前核心的兩種產(chǎn)品形態(tài)下,實現(xiàn)MR的技術(shù)形式。而蘋果之所以并沒有直接在現(xiàn)階段推出基于OST的AR產(chǎn)品,而選擇了基于VST的VR產(chǎn)品,這背后與底層技術(shù)發(fā)展、供應(yīng)鏈、產(chǎn)業(yè)生態(tài)息息相關(guān)。
VR在多年的發(fā)展迭代過程中,很多東西都已經(jīng)逐步形成標(biāo)準,如光學(xué)從菲涅爾透鏡過渡到Pancake,相應(yīng)的技術(shù)路徑、實現(xiàn)效果以及生產(chǎn)工藝都已經(jīng)得到驗證和完善;其他相關(guān)技術(shù),如VST融合、眼動追蹤、手勢識別等等,也都應(yīng)用相對廣泛。此外,VR的產(chǎn)品形態(tài)和內(nèi)容生態(tài)也在多年的積累中,達到2000多萬臺出貨量級,于消費市場有了一定的認知和生態(tài)基礎(chǔ)。
反觀AR,對于所有人理想中的終極目標(biāo)——如普通眼鏡般輕薄、大FOV、低功耗、長續(xù)航、多場景、全天候佩戴……底層光學(xué)技術(shù)還處于極其分散的狀態(tài),棱鏡、自由曲面、Birdbath、陣列波導(dǎo)、衍射波導(dǎo)、體全息波導(dǎo)并存,針對不同場景采用不同的光學(xué)方案也不一致。而面向消費市場,能夠滿足終極目標(biāo)要求的產(chǎn)品,所涉及到的光學(xué)技術(shù)、顯示、交互、量產(chǎn)工藝、電池、功耗等等,都還需要時間迭代。另一方面,面向消費市場的AR產(chǎn)業(yè)生態(tài)基礎(chǔ)也更為薄弱,特別是內(nèi)容開發(fā)生態(tài),以及內(nèi)容的商業(yè)模式,它們尚未跑通。
圖源:VR陀螺
諸多因素下,現(xiàn)階段顯然相較于AR,VR路徑更為靠譜。
在不久前,VR陀螺曾經(jīng)發(fā)布一篇文章《蘋果MR頭顯,一次創(chuàng)新的折中》,從2016年開始,庫克幾乎有超過20次在公開場合表達對AR的看好,部分的交流中還提到了他對VR和AR的態(tài)度差異??偨Y(jié)來看,庫克的目標(biāo)一直很清晰——AR。
“VR和AR都很有意思,但我目前認為二者之間,AR將更具價值。AR可以讓我們兩個人都坐下來并且面對面彼此交談,并且我們還能看到一些其他的東西。這些東西可能與我們正在談?wù)摰氖虑橛嘘P(guān),可能是一些不在場的人假裝在場。”
“我非常相信AR。它可以增強我們正在進行的對話,增強學(xué)習(xí)能力,并真正放大技術(shù)與人的價值,而不是封閉或關(guān)閉現(xiàn)實世界。”
“AR最終會像一日三餐一樣成為每個人生活的一部分,就像iPhone一樣。與AR相比,盡管VR也很重要,但它的應(yīng)用領(lǐng)域不會那么大。”
“我認為AR非常有趣,是一種核心技術(shù)。所以,我們談到(我們在)幕后做了很多事情。”
“AR對于世界的影響將與互聯(lián)網(wǎng)本身一樣深遠。”
“我認為這(AR)將是一個像智能手機一樣的大創(chuàng)意,會像智能手機一樣適合所有人。”
圖源:網(wǎng)絡(luò)
庫克對AR的熱情不必多言,只是,多年傳言多年跳票的MR設(shè)備,為什么會在這樣的一個時間點發(fā)布,VR陀螺認為可能會有多方面因素。
技術(shù)路徑確定了之后,首先產(chǎn)品端的完成度達到了一定程度。不論是VR還是AR終端,核心技術(shù)涉及諸多板塊,特別是蘋果封閉的生態(tài)下需要做的基礎(chǔ)工作會更多。產(chǎn)品、光學(xué)、交互、算法、芯片、系統(tǒng),一套新的技術(shù)形態(tài)和技術(shù)范式下,很多東西都需要從頭開始,而蘋果也為此布局了多年,才能夠?qū)崿F(xiàn)如今各層面的打通,當(dāng)然它仍然不完美,所以才有了發(fā)布前傳聞蘋果內(nèi)部出現(xiàn)對產(chǎn)品不同聲音的消息。
其次筆者認為,庫克自身對推動革命性技術(shù)范式的產(chǎn)品是有“執(zhí)念”的。自2011年8月成為蘋果CEO開始,庫克至今正式任職已超過4302天,超過了史蒂夫·喬布斯的4249天。而據(jù)媒體報道,在10年任期屆滿前一年,董事會又授予了他新的股票期權(quán),準備挽留他到2025年。
庫克商業(yè)能力無可厚非,但一直被詬病創(chuàng)新不足,而VR、AR恰巧是跨時代的創(chuàng)新產(chǎn)品。
正如庫克所說,“今天(Vision Po發(fā)布)標(biāo)志著計算技術(shù)新時代的開端”。或許這既是執(zhí)念,也是庫克自身對蘋果的“使命”所在。
極限堆料,蘋果MR頭顯技術(shù)拆解!
行業(yè)之所以如此相信蘋果能引領(lǐng)風(fēng)向,必然離不開蘋果的產(chǎn)品力。風(fēng)格獨特、標(biāo)簽鮮明,不去問用戶需要什么然后去滿足,而是創(chuàng)造一種產(chǎn)品去引導(dǎo)用戶需求。在這樣的產(chǎn)品理念下,蘋果在整個消費電子市場上取得了巨大的成功,也成為了產(chǎn)業(yè)技術(shù)的風(fēng)向標(biāo)。
這也是為何所有人都期待蘋果為產(chǎn)業(yè)帶來變革。
首先看一下蘋果Vision Pro產(chǎn)品參數(shù)及核心功能:
圖源:VR陀螺
在VR陀螺看來,蘋果Vision Pro產(chǎn)品,讓行業(yè)見證了不計成本堆料,以實現(xiàn)天花板級效果的產(chǎn)品思路。最終也導(dǎo)致了售價達到3500美金。
在Vision Pro中,有幾個部分的技術(shù)板塊比較值得關(guān)注:
1.42英寸Micro OLED 4K顯示屏
顯示方面,Vision Pro主顯示屏采用Micro OLED,單眼分辨率達到4K,這是目前市場上首次出現(xiàn)的使用Micro OLED實現(xiàn)雙目8K效果的產(chǎn)品,而事實也證明了,超高分辨率所獲得的視覺體驗反饋總體非常正向,已知的體驗了產(chǎn)品的人幾乎都給出了相當(dāng)高的評價。
目前市場上大部分的VR產(chǎn)品,出于成本考慮,大多采用LCD或者Mini LED背光+LCD的形式,優(yōu)勢很明顯,成本低、量產(chǎn)成熟良率高,缺點也明顯,亮度、ppi、對比度和色域等各方面參數(shù)也更低。
不同屏幕參數(shù)對比,圖源:VR陀螺
所以如Quest 2、PICO 4價格都在2000-3000元之間。而Micro OLED單塊屏的價格就已高達上百甚至數(shù)百美元。據(jù)了解,蘋果的Mirco OLED為完全定制,尺寸達到1.42英寸,屬于目前尺寸最大的Micro OLED屏。
Micro OLED顯示屏需要采用半導(dǎo)體工藝,在量產(chǎn)工藝上實際已經(jīng)成熟,只是之前大部分的產(chǎn)品應(yīng)用于單反相機的取景器等領(lǐng)域,出貨已經(jīng)達到百萬級別;此外,這幾年Birdbath方案的AR眼鏡也是Micro OLED的一個重要應(yīng)用陣地;但前面這些領(lǐng)域所使用的屏幕尺寸都在1英寸以內(nèi),如AR眼鏡所采用的尺寸多為0.71、0.68、0.49英寸三個尺寸,而之所以沒有出更大尺寸的產(chǎn)品,是由于之前并沒有相關(guān)的市場需求。
如今應(yīng)用到VR產(chǎn)品中,為了獲得更大的FOV,也就需要更大的屏幕支撐,所以供應(yīng)鏈企業(yè)都在著力研發(fā)1.3英寸以上的Micro OLED屏幕。這也意味著對量產(chǎn)工藝有更高的要求,因為即便工藝成熟,但要在擴大兩倍的屏幕上,維持同樣的質(zhì)量標(biāo)準,如色彩、灰階、亮度、均勻性、壞點等都不超出原有質(zhì)量標(biāo)準,所以提升良率是目前Micro OLED廠商需要面對和解決的問題核心。
M2+R1雙芯片搭配
雙芯片搭配也是目前MR設(shè)備(主要指VR)中首次出現(xiàn)的方案。M2原本就屬于蘋果最高規(guī)格系列SOC,主要用于Mac電腦中,所以用在此次的MR設(shè)備中相當(dāng)于將PC端的處理能力帶到了移動端。
M2芯片性能圖,圖源:網(wǎng)絡(luò)
由于M2是2022年發(fā)布的芯片平臺,其性能在此不過多贅述。相比M2,此次發(fā)布的M2 Ultra也非常值得關(guān)注。它由1340億個晶體管組成,比M1 Ultra多200億個。雖然尚未用在MR設(shè)備中,但介紹的很多技術(shù)性能顯然是有針對性的優(yōu)化的。如GPU性能是M2 Max的兩倍,可實現(xiàn)極快的ProRes加速。在配備M2 Ultra的Mac Studio上使用Octane渲染3D效果,比配備M1 Ultra的Mac Studio快3倍;32核神經(jīng)網(wǎng)絡(luò)引擎,每秒可提供31.6萬億次運算,比M1 Ultra快40%;具有專用的、支持硬件的 H.264、HEVC和ProRes編碼和解碼功能,能夠播放多達22個8K ProRes 422視頻流;顯示引擎最多支持六個Pro Display XDR,驅(qū)動超過1億像素。
核心運算、3D渲染、AI神經(jīng)網(wǎng)絡(luò)、視頻解碼、顯示支持等,都是MR中極其需要的核心能力,而且其性能遠超現(xiàn)有的VR一體機使用的移動平臺SOC的性能。
已經(jīng)有了如此強大的主處理芯片,為何還要使用協(xié)處理芯片也是產(chǎn)品設(shè)計中值得玩味的地方。
協(xié)處理芯片在AR中目前即將開始應(yīng)用,如高通發(fā)布的AR2,就是針對AR眼鏡實現(xiàn)Slam及無線功能的協(xié)處理芯片,將空間定位數(shù)據(jù)用單獨的芯片來進行處理,以減輕對主處理器的負荷。如果說AR是基于輕量化和無線化考慮的話,那蘋果之所以會用協(xié)處理,看起來似乎更像是傳感器過多,所帶來的處理壓力需要分擔(dān)出來。
在蘋果Vision Pro上,共有12個攝像頭,5個傳感器(其中 1*LiDAR、2*結(jié)構(gòu)光深度傳感、2*IR紅外傳感),他們分別用來處理Slam空間環(huán)境感知、手勢識別、三維建模和眼動追蹤等功能。
圖源:蘋果
對運算比較高的主要來自實現(xiàn)VST的兩個4K RGB攝像頭,這是實現(xiàn)高清VST效果的關(guān)鍵,并且其長時間屬于運行狀態(tài)。Quest Pro上僅搭載1個1600萬像素的RGB,所以傳輸?shù)窖坨R中的現(xiàn)實畫面清晰度較低。
Vision Pro支持虛擬和現(xiàn)實環(huán)境無縫切換。與其他產(chǎn)品直接從虛擬一鍵切換到現(xiàn)實的效果不同的是,Vision Pro通過旋鈕實現(xiàn)精準絲滑的漸變效果。而為了實現(xiàn)這個效果,協(xié)處理器中RGB VST的處理需要一直工作,即便在純虛擬環(huán)境下也處于工作狀態(tài),以便為用戶隨時切換。雙4K RGB攝像頭以每秒60幀頻率不斷拍攝,為數(shù)據(jù)處理帶來了龐大的計算量,以及相應(yīng)的功耗,所以作為協(xié)處理芯片,R1的制程達到了5nm。
高清+流暢的VST效果是Vision Pro的技術(shù)亮點之一,根據(jù)官方公布的數(shù)據(jù),其圖像延遲低于12ms。
據(jù)了解,延遲分為物理延遲和入眼延遲,蘋果此處所指應(yīng)為物理延遲。
所謂的物理延遲也就是傳感器出來經(jīng)過協(xié)處理器,到直接上屏的時間。但是上屏幕之前算法必須要做補償,算法不補的延遲稱為物理延遲,算法補完后稱為入眼延遲。
據(jù)了解,如果使用Meta這種不經(jīng)過協(xié)處理器的情況下,經(jīng)過CPU、GPU處理,物理延遲約30-40ms,物理延遲越大,算法補出來的效果就會稍微有點欠缺。所以蘋果物理延遲做到極致以后,它算法補出來的效果就會特別的好,這也是為什么VST效果幾乎感覺不到延遲的主要原因。
協(xié)處理芯片與主處理芯片處理VST的路徑差異,圖源:VR陀螺
對比兩種不同的處理路徑,顯然協(xié)處理在VST這個板塊效率要更高。
除此兩個4K RGB攝像頭的圖像處理之外,Vision Pro其他傳感器的使用數(shù)量也遠遠超過其他VR設(shè)備。以Quest Pro為例,頭顯上的攝像頭+傳感器為10個;蘋果達到了17個。蘋果增加了1個激光雷達和2個結(jié)構(gòu)光深度傳感器,用來實現(xiàn)更好的三維空間建模和空間感知,以及用于創(chuàng)建Avatar的面部三維重構(gòu)。應(yīng)用場景中的3D圖像和視頻拍攝就是基于這些傳感器結(jié)合RGB攝像頭來實現(xiàn)。
在眼動追蹤部分,蘋果也采用了4個攝像頭,與此對應(yīng)的Quest Pro僅使用2個,不得不說,為了效果蘋果似乎完全沒考慮成本。
瘋狂堆料同時也帶來了一些弊端——功耗大,單眼4K的Micro OLED屏+眾多傳感器數(shù)據(jù)處理,導(dǎo)致了外掛的電池續(xù)航僅有2個小時,此外發(fā)熱應(yīng)該也是其需要解決的核心問題之一。
(本部分內(nèi)容感謝協(xié)處理芯片企業(yè)耀宇視芯杜逢博博士的大力支持)
外置電池,圖源:蘋果
3P Pancake,光學(xué)效果>工藝難度、重量
Pancake折疊光路是目前VR設(shè)備的主流光學(xué)方案,蘋果也不例外采用了該方案。相比傳統(tǒng)VR顯示光機(菲涅爾和非球面),Pancake折疊光路設(shè)計可以大幅減小厚度,其核心原理是圖像源進入半反半透功能的鏡片之后,光線在鏡片、相位延遲片以及反射式偏振片之間多次折返,最終從反射式偏振片射出。
相比PICO 雙鏡片的方案,蘋果采用了3片鏡片,從而實現(xiàn)更好的光學(xué)效果。
2P Pancake光學(xué)方案原理圖,圖源:網(wǎng)絡(luò)
相比于1P、2P Pancake設(shè)計(TTL基本在20mm以上),3P Pancake光機模組不僅能帶來更高的清晰度、更小的畸變以及色差之外,經(jīng)過多次折返其厚度還能進一步縮短。但劣勢也比較明顯,會增加工藝難度以及物料成本、重量,可見在光學(xué)方面,蘋果為了實現(xiàn)最好的視覺效果,選擇了工藝最難的方向。
此外,由于Pancake的光損較大,所以需要高亮度的屏幕來實現(xiàn)更高的入眼亮度,這也是Micro OLED的優(yōu)勢之一。
從蘋果真機厚度來看,(目測)去掉海綿眼罩的頭顯厚度約30多毫米,得益于優(yōu)秀的工業(yè)設(shè)計(視覺錯位),整體觀感會覺得頭顯很輕薄。
頭顯實拍圖,圖源:VR陀螺
隱私安全的最佳方案:虹膜識別
數(shù)日前,七鑫易維、騰訊微信支付聯(lián)合推出的眼動追動+虹膜識別VR/AR內(nèi)的支付方案的消息公布,VR陀螺也第一時間到創(chuàng)維公司體驗了搭載該模組的方案,這也是國內(nèi)首次在商用VR頭顯中搭載虹膜識別支付方案。
VR/AR內(nèi)的支付一直是困擾企業(yè)的痛點,基于VR/AR的產(chǎn)品形態(tài)和交互方式,目前常用的指紋、面部、密碼并不適用,由于難以在體驗過程中無縫實現(xiàn)支付,所以大部分的應(yīng)用采用了在手機APP端以一次性付費下載的方式進行。
虹膜被視為是未來VR/AR中理想的隱私安全技術(shù)方案,首先其相比指紋、面部、密碼的安全系數(shù)更高。虹膜的特征人各有異,連同卵雙胞胎也不例外。在出生18個月后,虹膜就已定型,終生不變,受外界氣候環(huán)境變化、身體變化等影響非常小,是一項非常穩(wěn)定的生物特征。這決定了虹膜特征的獨特性,同時也決定了身份識別的唯一性。因此,人們發(fā)現(xiàn),將虹膜作為密碼,具有更好的長期安全性。
圖源:蘋果
虹膜識別實際上也是比較成熟的技術(shù),早是20多年前就已經(jīng)應(yīng)用于安防級別較高的軍事、科研單位等,如今也逐漸開始應(yīng)用到消費市場,包括部分手機上。
虹膜的主要原理是通過圖像采集系統(tǒng),采集虹膜照片后對圖像預(yù)處理,從采集圖像中,準確定位找出虹膜,并進行圖像增強處理;接下來提取虹膜特征,采用特定的算法從虹膜圖像中提取出虹膜識別所需的特征點,并對其進行編碼;最后匹配虹膜身份,將特征提取得到的特征編碼與數(shù)據(jù)庫中的虹膜圖像特征編碼逐一匹配,判斷是否為相同虹膜,從而達到身份識別的目的。
其核心方式與面部、指紋相似,安全系數(shù)更高主要在與虹膜的重合率極低,且不會輕易被別人采集用于違法等活動。
同時,其與VR/AR天然結(jié)合。據(jù)了解,在VR/AR設(shè)備中可以直接共用眼動追蹤模組來對虹膜進行拍攝和識別,不需要額外的硬件模組,并且,其對于捕捉端的像素要求不高,200萬像素就可以實現(xiàn)比較好的效果。
在識別率和適用性上,虹膜幾乎對所有不同瞳色的人,都能實現(xiàn)很準確的識別,即便是青光眼、白內(nèi)障等眼疾人群,理論上也不會影響,因為眼疾影響的不是虹膜信息,而是晶狀體部位。但是有些疾病,比如說不小心把眼睛的瞳孔變成橢圓或者方形,那基本上就很難識別了。
可以預(yù)見的是,國內(nèi)騰訊推動,海外蘋果MR內(nèi)置的虹膜功能,或許很快就能在更多的VR終端中看到。
(本部分內(nèi)容感謝虹膜識別企業(yè)點與面科技程總的大力支持)
圖源:VR陀螺
實時+高自由,空間音頻射線追蹤技術(shù)
相比視覺,聽覺的重視程度并不高,不過蘋果在這方面也有所布局,在此次Vision Pro中有所呈現(xiàn)。
就像光線追蹤一樣,聲音也可以用射線追蹤,這種被稱為幾何聲學(xué)(GA)。早在2021年,蘋果就公布了相關(guān)的技術(shù)專利。
與可視化類似,虛擬環(huán)境的所謂 "聽覺化 "描述了聲音在圍墻內(nèi)傳播的模擬,其中幾何聲學(xué)(GA)的方法可用于模仿合成聲波的某些現(xiàn)實行為帶來的聽覺刺激。
圖源:VR陀螺
據(jù)了解,在這種模擬中,可以生成空間音頻信號,其考慮到了三維環(huán)境中的各種聲波反射模型,以及聲波混響模型。這種空間音頻可以例如使用數(shù)字音頻工作站(DAW)軟件等生成,并可用于各種應(yīng)用,如房間規(guī)劃和/或音樂及建筑聲音模擬。
目前的空間音頻合成軟件通??梢怨芾韺崟r模擬移動接收器周圍的移動聲源的計算負荷,然而,這些模擬往往是基于靜態(tài)混響的。在現(xiàn)實世界的場景中,聲波和反射性/阻礙性表面之間存在著顯著的相互作用,例如,在進入或離開房間的時候會出現(xiàn)變化。此外,當(dāng)用戶(或虛擬用戶)聽著合成的音頻信號瀏覽真實世界(或虛擬)環(huán)境時,房間里的各種門戶(如門、窗、屋頂)可能動態(tài)地打開和/或關(guān)閉。房間的建筑或場景構(gòu)成中的每一個變化都會對房間里的聲波在任何給定瞬間的實時模擬方式產(chǎn)生重大影響。
圖源:蘋果
這樣一來,就需要改進虛擬三維環(huán)境的實時物理精確聽覺化技術(shù)。這包括其中任何(或全部)的環(huán)境:聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時產(chǎn)生的動態(tài)變化。這種技術(shù)也可應(yīng)用于增強現(xiàn)實(AR)場景,例如,將額外的聲音信息添加到聽眾的現(xiàn)實環(huán)境中,以準確模擬聽眾現(xiàn)實環(huán)境中不存在的 “虛擬”聲源對象。
所以當(dāng)用戶不論走到虛擬空間中的哪個位置,都能聽到實時處理的遍布于空間內(nèi)擬真的聲音效果,這些聲音會根據(jù)空間內(nèi)的物體位置、甚至材質(zhì),以及實時移動的人產(chǎn)生變化,從而使其更真實。
不過據(jù)了解,該技術(shù)當(dāng)空間中物體復(fù)雜、人很多的時候,其需要處理的聲音射線也將程指數(shù)級增長,從而對性能產(chǎn)生一定的負載。
但是,基于該技術(shù),未來在虛擬環(huán)境中也能夠獲得更為真實的聲音效果。當(dāng)然與之相對應(yīng)的,可能未來虛擬場景內(nèi)的三維物體不僅需要定義光學(xué)的反射材質(zhì),同時還需要定義聲學(xué)的材質(zhì),如桌子、墻面、窗簾都需要逐一設(shè)定。
結(jié)語
由于篇幅有限,本文暫時只介紹硬件中的幾個較為顯性的技術(shù)部分,后續(xù)將針對場景和生態(tài)進一步解讀。
蘋果對Vision Pro的官方定義——一臺革命性的空間計算設(shè)備,從技術(shù)上來看,蘋果在從視覺、聽覺、交互多方面來體現(xiàn)它的革命性。
*聲明:本文為VR陀螺原創(chuàng),禁止一切形式轉(zhuǎn)載
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息