Jetson TX1 開發(fā)板官方圖
其次,假設(shè)使用的是TX1,TX1是Nvidia針對(duì)機(jī)器學(xué)習(xí)推出的嵌入式系統(tǒng)平臺(tái),處理器性能提升并不明顯,側(cè)面反映了Magic Leap設(shè)備目前通用計(jì)算的量不大,而含256個(gè)CUDA核心的GPU肯定是為了MR設(shè)備的高圖形運(yùn)算需求而生的,但是帶來(lái)了另外的發(fā)熱以及功耗方面的困擾: 巨大的風(fēng)扇和開發(fā)板直接用AC電源輸出,這塊峰值功率達(dá)到10W的開發(fā)板,不知未來(lái)小型化的前景如何,雖然一個(gè)“外置式”的計(jì)算模塊對(duì)重量要求可能會(huì)降低,但是“板磚”估計(jì)也不能被接受的。 技術(shù)總是在不斷衍進(jìn)的。剛剛發(fā)布的Nitendo Switch就搭載了Nvidia最新一代的Tegra Parker處理器。不排除Magic Leap已經(jīng)跳過(guò)了TX1直接上Parker平臺(tái),畢竟TX1硬傷太明顯,Nvidia并沒(méi)有在這一代平臺(tái)上發(fā)力,有可能集中精力在做下一代Parker平臺(tái)。 附上Parker與TX1、TK1 Spec對(duì)比 看上去是干活的,但是究竟干得怎么樣? 首先,這里要明確一個(gè)觀點(diǎn):技術(shù)的邊界是趨同的(特別是做軟件、算法層面的公司)。在對(duì)真正前沿科技的探索上,同領(lǐng)域的頂級(jí)公司技術(shù)差距其實(shí)并不大(因?yàn)榇蠹矣玫募夹g(shù)框架其實(shí)都很類似)。 舉個(gè)例子, 在圖像識(shí)別領(lǐng)域,每年ImageNet的比賽頂級(jí)team之間的差距并不大(標(biāo)準(zhǔn)實(shí)驗(yàn)室環(huán)境下),每年的冠軍也是輪流換,真正有巨大提升的,是Hinton12年用深度學(xué)習(xí)來(lái)做圖像識(shí)別那一年,之后大家都換成了深度學(xué)習(xí)框架,競(jìng)爭(zhēng)又變成了一個(gè)兩個(gè)百分點(diǎn)的競(jìng)爭(zhēng)。 當(dāng)然如果變成了復(fù)雜環(huán)境或者說(shuō)真實(shí)環(huán)境,大家的技術(shù)體驗(yàn)就更相似了:40%正確率和60%正確率,對(duì)于用戶來(lái)說(shuō)都是一樣的:不準(zhǔn)! 另外一個(gè)例子就是VR行業(yè):Oculus相對(duì)VIVE,起步早一些,但是實(shí)際能拿出的產(chǎn)品從體驗(yàn)上來(lái)看區(qū)別不大,甚至PS VR雖然技術(shù)指標(biāo)不如前兩者,實(shí)際上卻是出貨量最大也最受好評(píng)的VR平臺(tái)。 所以,如果我們把Hololens所定義的MR當(dāng)做這個(gè)行業(yè)目前的標(biāo)桿,躋身行業(yè)一線玩家行列,需要具備什么樣的條件呢? 首先是空間視覺能力,或者說(shuō)是基于嵌入式平臺(tái)的SLAM(即時(shí)定位與地圖構(gòu)建,或并發(fā)建圖與定位)。Hololens之所以帶來(lái)這么大的震撼,主要也是因?yàn)檫@是第一個(gè)公開銷售并集成了Inside-out追蹤技術(shù)的HMD系統(tǒng)(什么是Inside-out空間定位技術(shù),簡(jiǎn)單來(lái)說(shuō)就是利用設(shè)備自身,而不依靠外部的傳感器等配件,實(shí)現(xiàn)虛擬場(chǎng)景里的空間定位,以及更多的人機(jī)交互)。 在這之前,所有HMD搭載的定位系統(tǒng)都是outside-in方案,即需要外置的攝像頭拍攝頭盔或者控制器的mark點(diǎn)來(lái)定位。從使用難度來(lái)講相去不可以道里計(jì)(用過(guò)VIVE的都懂)。Inside-out技術(shù)簡(jiǎn)示
其次,光有Inside-out本身是不足以支撐混合現(xiàn)實(shí)體驗(yàn)的,還需要空間信息或者說(shuō)深度信息的疊加,才能夠真正實(shí)現(xiàn)定位+空間重建來(lái)支撐完整的混合現(xiàn)實(shí)體驗(yàn)。深度信息與SLAM的疊加從技術(shù)難度上來(lái)說(shuō)并不高,但是目前鑒于大家連inside-out還沒(méi)做好,空間信息的疊加還需等待。 SLAM本身并不是一個(gè)新東西,國(guó)內(nèi)也有相當(dāng)多的團(tuán)隊(duì)在做,比較突出的包括速感科技,Perceptin等等,但是目前都還是作為一個(gè)雙目空間攝像頭模塊存在,Ximmerse拿出了自己的inside-out方案,也是取了個(gè)巧,利用攝像頭拍攝手柄上的光點(diǎn)進(jìn)行定位,還不能算是廣義上的inside-out方案。 國(guó)外目前在做空間視覺的創(chuàng)業(yè)公司包括Infinity AR,Occitipal等等,今年CES2017幾家公司也均有參展,Infinity AR的Demo是一個(gè)飛機(jī)在桌子上起落飛翔的動(dòng)態(tài)演示,但是跑道與桌子的貼合包括整體影像的晃動(dòng)都很劇烈,演示效果離Hololens的穩(wěn)定狀態(tài)還有比較大的差距。 相比之下Occitpal的演示則更令人印象深刻,整體體驗(yàn)非常好,但我個(gè)人懷疑是針對(duì)特定的演示場(chǎng)景做了優(yōu)化,實(shí)際產(chǎn)品能達(dá)到什么樣的效果尚數(shù)未知。 大公司方面,Oculus去年宣布了自己的一體機(jī)Santa Cruz,承諾會(huì)有inside-out定位功能,Google Tango一直是移動(dòng)SLAM的先行者,蘋果也收購(gòu)了相當(dāng)多AR相關(guān)的公司,據(jù)傳也在研究眼鏡產(chǎn)品,高通也已經(jīng)發(fā)布了自己的VR一體機(jī)產(chǎn)品,號(hào)稱有inside-out追蹤功能,其他公司包括ODG,Lumus,Meta等等,目前還都是在提供基于不同光學(xué)方案的AR眼鏡產(chǎn)品,由于不具有空間視覺功能,尚不能認(rèn)定為MR產(chǎn)品。 第二點(diǎn),就是要有好的AR光學(xué)方案,Hololens包括Magic Leap都是采用了全息波導(dǎo)衍射光柵的光學(xué)鏡片,而其他公司如ODG及Meta等則采用自由曲面、棱鏡或者幾者混合的光學(xué)方案。 顯示技術(shù)應(yīng)當(dāng)說(shuō)在目前來(lái)看,技術(shù)迭代的路線整體是向光波導(dǎo)光學(xué)靠攏的,只有光波導(dǎo)才能做到真正像現(xiàn)在正常眼鏡一樣大小輕重的HMD產(chǎn)品。 但是目前光波導(dǎo)鏡片面臨量產(chǎn)難度大,成本高,F(xiàn)OV(field of view, 簡(jiǎn)單來(lái)說(shuō),就是玩家游戲時(shí)的視野)不足的問(wèn)題,相對(duì)來(lái)說(shuō)自由曲面或者棱鏡的光學(xué)方案則門檻更低,相對(duì)供應(yīng)鏈更成熟,顯示效果跟目前成熟的光波導(dǎo)鏡片來(lái)看也完全不差甚至猶有過(guò)之。 Meta用很笨拙的方案就做到了90度FOV,而今年CES Lumus展出的50度光波導(dǎo)鏡片方案已經(jīng)是目前最領(lǐng)先的光波導(dǎo)鏡片了,更不要說(shuō)他巨大的頭部器件和發(fā)熱。本人實(shí)測(cè)Lumus
第三點(diǎn),就是一些硬件包括其背后體現(xiàn)的思路,具體應(yīng)當(dāng)說(shuō)包含三點(diǎn):四攝像頭SLAM,結(jié)構(gòu)光以及HPU。 首先是四攝像頭,感興趣的同學(xué)大概已經(jīng)發(fā)現(xiàn)了一個(gè)奇怪的巧合:Oculus的一體機(jī)Santa Cruz也是采用了四攝像頭方案(不過(guò)Hololens的方案是左右各兩個(gè),Santa Cruz的方案是上下各兩個(gè))。 我猜Magic Leap也會(huì)采用四攝像頭的方案,主要是為了在保證mapping的angular resolution的基礎(chǔ)上,同時(shí)兼顧tracking的FOV,說(shuō)白了,就是為了看得更準(zhǔn)更寬,從而保證了定位和追蹤的穩(wěn)定性,這是雙目甚至單目解決不了的。 結(jié)構(gòu)光:Hololens的深度信息均來(lái)自結(jié)構(gòu)光攝像頭,包括手勢(shì)識(shí)別,但這里一個(gè)有意思的事情是,很多人做SLAM的時(shí)候也會(huì)結(jié)合結(jié)構(gòu)光信息來(lái)做,但這在HMD上是無(wú)法應(yīng)用的,因?yàn)榻Y(jié)構(gòu)光在做空間識(shí)別的時(shí)候,識(shí)別范圍較遠(yuǎn),是不能夠識(shí)別近距離的手的具體信息的,所以如果使用了結(jié)構(gòu)光來(lái)做SLAM,實(shí)際上是無(wú)法同時(shí)應(yīng)用手勢(shì)識(shí)別的。 在Hololens具體操作時(shí),也是預(yù)先掃描了周邊環(huán)境的深度信息,然后才開始做手勢(shì)識(shí)別交互。 HPU是另一個(gè)被傳得神乎其神的東西,實(shí)際上是微軟定制的Cadence Tensilica的DSP,內(nèi)含24個(gè)核心,主要用來(lái)處理跟視覺,手勢(shì),環(huán)境感知相關(guān)的一切算法。 所以算力提升對(duì)于MR行業(yè)來(lái)說(shuō)仍然是亟需解決的問(wèn)題,想想Magic Leap開發(fā)板上巨大的散熱器~ 所以總結(jié)來(lái)看,目前除了微軟,行業(yè)內(nèi)的其他玩家都或多或少的缺乏MR產(chǎn)品的一部分核心能力,而Magic Leap,無(wú)論從其展示的思路還是靠譜的小道消息,是最靠近這個(gè)技術(shù)路線并且已經(jīng)有相當(dāng)技術(shù)積累的公司。 所以,那些神視頻到底怎么回事? 首先,Magic Leap總共發(fā)布過(guò)4段視頻(辦公室機(jī)器人大戰(zhàn)、太陽(yáng)系、A new morning以及星戰(zhàn))+2個(gè)動(dòng)圖Demo(鯨魚以及手心小象)。 其中辦公室機(jī)器人大戰(zhàn)、鯨魚以及手心小象都是特效視頻,其余的均為“Shot directly from Magic Leap”。所以之前很多媒體報(bào)道中所謂“均為特效”是不實(shí)的,不過(guò)實(shí)拍的內(nèi)容中細(xì)琢磨的話也有很多小tricks,下面詳細(xì)分析一下: 1. 兩張截圖分別來(lái)自兩段視頻,但都非常清晰的顯示了一個(gè)問(wèn)題:桌子可以非常完美的把R2D2的身體擋住,當(dāng)機(jī)器人走到桌子旁邊或者鏡頭位置變化到有物體在前面“遮擋”圖像的時(shí)候,被遮擋的圖像就完美的不顯示了!這是怎么做到的呢? 我們知道眼鏡類的產(chǎn)品,鏡片是所有光線進(jìn)入眼睛的最后一道門戶,理論上鏡片上的圖像是疊加在所有外在信息之上的,這種“被遮擋”的錯(cuò)覺顯然是因?yàn)檠坨R根據(jù)深度信息發(fā)現(xiàn)圖像產(chǎn)生了“被遮擋”的關(guān)系,從而停止渲染那部分區(qū)域的圖像,讓自然光線透過(guò)鏡片,實(shí)現(xiàn)了類似“被遮擋”的效果。 道理都說(shuō)得通,問(wèn)題是這里的被遮擋關(guān)系展現(xiàn)的太完美了,不僅圖像穩(wěn)定清晰,被遮擋的邊緣也沒(méi)有絲毫誤差,這就很有意思了。可以對(duì)比一下Hololens在使用環(huán)境下,雖然也能做到部分的“被遮擋”效果,但是會(huì)產(chǎn)生很頻繁的畫面抖動(dòng),因?yàn)椴⒉淮_定被遮擋的邊緣以及面積到底有多少。 竊以為Magic Leap在這些演示視頻中,雖然確實(shí)是實(shí)時(shí)渲染而且是實(shí)拍的,但是肯定對(duì)場(chǎng)景做了預(yù)先的精細(xì)掃描和建模,才能夠達(dá)到這么好的效果。 這也是平時(shí)在看SLAM項(xiàng)目的時(shí)候的一大問(wèn)題:演示視頻或者場(chǎng)景由于有事先特定的優(yōu)化,能夠?qū)崿F(xiàn)比真實(shí)使用中好得多的效果,有的時(shí)候限于時(shí)間因素不能反復(fù)測(cè)試,經(jīng)常會(huì)被這樣的“小把戲”欺騙,等真的詳細(xì)DD的時(shí)候,又發(fā)現(xiàn)了這樣那樣技術(shù)上難以克服的問(wèn)題。 2. 關(guān)于太陽(yáng)系的這一段視頻也是非常有趣的,展現(xiàn)了Magic Leap的“光場(chǎng)顯示”技術(shù),即在不同的景深上可以成像。演示視頻中一會(huì)兒太陽(yáng)很清晰,一會(huì)兒地球很清晰,是很明顯的光場(chǎng)顯示技術(shù)的應(yīng)用。 這里又有一個(gè)很有趣的問(wèn)題了,不是說(shuō)好了用光波導(dǎo)的嗎?光場(chǎng)技術(shù)到底是什么情況?實(shí)際上Magic Leap確實(shí)是有很深的光場(chǎng)顯示包括光纖顯示技術(shù)的儲(chǔ)備,但是由于種種問(wèn)題,離真正產(chǎn)品化路還非常遠(yuǎn),應(yīng)該說(shuō)這段視頻只是秀肌肉,短時(shí)間之內(nèi)是不可能看到類似的產(chǎn)品面世的。 光場(chǎng)顯示其實(shí)國(guó)內(nèi)有團(tuán)隊(duì)在做,我也在中科院某所看過(guò)類似的Demo,整個(gè)光學(xué)系統(tǒng)就比目前的頭盔還大,還只能實(shí)現(xiàn)7個(gè)焦距上的光場(chǎng)顯示,完全不具備產(chǎn)品化價(jià)值(Magic Leap據(jù)說(shuō)要好很多)。 而光纖顯示,大家從光纖的屬性上其實(shí)也能推測(cè)到,這么脆弱的介質(zhì),稍微用一用就會(huì)有變形,錯(cuò)位等等的問(wèn)題,產(chǎn)品化的路也很漫長(zhǎng)。 3. 關(guān)于其他的演示視頻 其實(shí)除了鯨魚那段演示視頻確實(shí)是太浮夸了之外(其實(shí)你想象所有人都戴著眼鏡但是P掉了就好),其余無(wú)論小象的demo還是機(jī)器人大戰(zhàn)的demo,都是在目前的技術(shù)環(huán)境下可以實(shí)現(xiàn)的,大家完全不必對(duì)技術(shù)這么悲觀,這段算勉強(qiáng)洗個(gè)地。 最后,最重要的是MR(混合現(xiàn)實(shí))的未來(lái) 之所以說(shuō)了這么久Magic Leap的故事,是因?yàn)镸R讓我振奮。以下簡(jiǎn)單說(shuō)說(shuō)我的觀點(diǎn): 1. VR、AR殊途同歸,未來(lái)只有MR。 設(shè)想一下,VR一體機(jī)和AR眼鏡,最主要的區(qū)別是什么呢?其實(shí)就是一個(gè)是透明的,一個(gè)是不透明的。 目前來(lái)看VR擁有更大視角以及不透明的視野,而AR眼鏡視角小,但是能看到現(xiàn)實(shí)世界。無(wú)論VR還是AR的創(chuàng)業(yè)者,都很明白空間視覺的重要性,因?yàn)樗举|(zhì)上就是用戶體驗(yàn),更大的視角,更透明的世界,他們都想要。 另一方面來(lái)說(shuō),眼球追蹤,手勢(shì)識(shí)別,全景音效以及更好的人體工學(xué)也都是所有從業(yè)者共同追求的,未來(lái)會(huì)成為所有HMD產(chǎn)品的標(biāo)配。而大視角、高分辨率也會(huì)是所有產(chǎn)品的一個(gè)共同追求。 這樣看來(lái),透明或者不透明,其實(shí)就不是問(wèn)題了,只要多做一個(gè)遮罩,甚至是鏡片上附一層可調(diào)透光度的膜,就可以解決這個(gè)問(wèn)題。目前所有VR/AR從業(yè)者所努力的方向可以說(shuō)是統(tǒng)一的,那就是VR與 AR合二為一。 2. 從實(shí)際技術(shù)演進(jìn)來(lái)看,MR設(shè)備更容易成熟。 2016-2017年,VR行業(yè)在國(guó)內(nèi)可以說(shuō)從天堂到地獄,從16年初的萬(wàn)人空巷到17年初的慘慘戚戚,客觀上反映了VR設(shè)備在普及上遇到的問(wèn)題,其中最最主要的問(wèn)題就是眩暈感遲遲無(wú)法解決,用戶的平均使用時(shí)間基本上在15分鐘左右,根本無(wú)法支撐真正優(yōu)質(zhì)內(nèi)容的產(chǎn)生,從而導(dǎo)致了惡性循環(huán)。 在我看來(lái),眩暈感或許是5年內(nèi)VR設(shè)備無(wú)法邁過(guò)的門檻,除非用類似萬(wàn)向跑步機(jī)的外設(shè),否則簡(jiǎn)單的“房間級(jí)”追蹤,還是無(wú)法完美解決用戶的暈動(dòng)癥問(wèn)題。藥物可能是解決這個(gè)問(wèn)題的最佳方案。而MR設(shè)備則不同,能看到外面的場(chǎng)景包括相對(duì)小很多的FOV,都會(huì)讓用戶在實(shí)際使用中更容易接受。 3. PC、手機(jī)之后,下一代計(jì)算平臺(tái)將會(huì)是以語(yǔ)音交互為核心的HMD產(chǎn)品。 如果你留心看CES2017,一個(gè)很大的改變就是AR作為一個(gè)單獨(dú)的品類開始參展,ODG,Lumus,Vuzix,Sony,Infinity AR,Occitipal等等,成為了CES 2017少有的亮點(diǎn)。今年VR參展的數(shù)量很少,不過(guò)用VR進(jìn)行展示的企業(yè)很多,VR已經(jīng)變成一個(gè)Feature。 無(wú)論是Oculus開始招募AR團(tuán)隊(duì),還是蘋果要發(fā)布自己的AR產(chǎn)品,華為招募了前Oculus大牛做AR/VR/MR技術(shù)負(fù)責(zé)人等等,都清晰的說(shuō)明了一個(gè)信息:巨頭正在跑步入場(chǎng)。 正如之前所提過(guò)的,技術(shù)的邊界是趨同的,當(dāng)巨頭們看到Hololens這樣的產(chǎn)品是可實(shí)現(xiàn)的之后,相關(guān)的創(chuàng)新包括探索也會(huì)層出不窮,相關(guān)的技術(shù)人才、技術(shù)儲(chǔ)備也會(huì)導(dǎo)致整個(gè)市場(chǎng)的百花齊放,我們正處在快速迭代的時(shí)代,科技水平的發(fā)展真的要用“日新月異”來(lái)形容。 以語(yǔ)音交互為核心的HMD作為下一代計(jì)算平臺(tái)出現(xiàn)在尋常百姓家的日子,已經(jīng)越來(lái)越近了。 來(lái)源;洪泰幫 關(guān)注微信公眾號(hào):VR陀螺(vrtuoluo),定時(shí)推送,VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息