上篇我們了解了IMU、環(huán)境感知攝像頭、深度攝像頭這三種傳感器的作用，接下來(lái)就可以深究傳感器是如何解決上篇最開(kāi)始的兩個(gè)問(wèn)題的。 IMU包含有陀螺儀（就不多說(shuō)了）、環(huán)境感知攝像頭和深度攝像頭，（說(shuō)人話！明明不就是攝像頭嘛！手機(jī)也有攝像頭啊？）區(qū)別就是，HoloLens有深度攝像頭，這種攝像頭和普通攝像頭的不同就是能夠獲得拍攝對(duì)象的深度信息，也就讓HoloLens獲得了環(huán)境三維立體數(shù)據(jù)。如下圖所示。 從HoloLens中SLAM技術(shù)揭秘（上）的小測(cè)試?yán)?，我們知道，“我在哪兒（定位）”“我周?chē)惺裁矗ㄈS場(chǎng)景重建）”離不開(kāi)環(huán)境感知攝像頭。HoloLens的定位不依賴深度攝像頭，而對(duì)周?chē)S環(huán)境構(gòu)建也不僅僅依賴深度攝像頭。那么問(wèn)題來(lái)了，環(huán)境感知攝像頭是怎么知道HoloLens在空間中的位置呢？深度攝像頭又是如何重建三維場(chǎng)景呢？這就涉及到SLAM了。 SLAM作為一個(gè)三維感知的基礎(chǔ)技術(shù)并不新鮮，SLAM從提出到現(xiàn)在已經(jīng)三十多年，用于解決實(shí)現(xiàn)機(jī)器人的自主定位和導(dǎo)航。微軟的SLAM項(xiàng)目早在2001年11月5日就創(chuàng)立了。目前SLAM體系發(fā)展已經(jīng)相當(dāng)龐大。

[圖片1 SLAM主要研究方法 來(lái)自 bbsmax-yhexie 《SLAM學(xué)習(xí)筆記（2）SLAM算法》]

今天我們只談HoloLens使用的技術(shù)，就是攝像機(jī)里的單目視覺(jué)和RGBD類(lèi)。 單目視覺(jué)，就是依靠一個(gè)攝像頭去完成SLAM。HoloLens有4個(gè)環(huán)境感知攝像頭，仔細(xì)看下，你會(huì)發(fā)現(xiàn)，靠?jī)?nèi)的兩個(gè)攝像頭朝向前方，靠外的兩個(gè)攝像頭分別朝向左右兩邊。主要起作用的是靠?jī)?nèi)的攝像頭，只要靠?jī)?nèi)的攝像頭有一個(gè)不被遮擋，即使其他三個(gè)攝像頭被遮擋，也不會(huì)影響HoloLens對(duì)空間位置的感知。HoloLens正是用單目SLAM。首先提取圖像中的特征，然后根據(jù)相鄰幀圖像的特征去匹配，識(shí)別出場(chǎng)景某些特征點(diǎn)位置，并通過(guò)圖像的變化反向計(jì)算出相機(jī)的運(yùn)動(dòng)。

[圖2 相機(jī)位置追蹤 來(lái)自 極客頭條-張哲《SLAM剛剛開(kāi)始的未來(lái)》]

由于有深度攝像頭，HoloLens并不需要靠環(huán)境感知攝像頭去獲得場(chǎng)景每個(gè)像素的深度值，只需要根據(jù)一些匹配上的關(guān)鍵特征點(diǎn)計(jì)算出攝像頭相對(duì)場(chǎng)景位置即可。否則僅僅依靠環(huán)境感知攝像頭計(jì)算場(chǎng)景所有深度信息，代價(jià)相當(dāng)大。 RGBD類(lèi)。最大的特點(diǎn)是可以通過(guò)紅外結(jié)構(gòu)光或Time-of-Flight原理，直接測(cè)出圖像中各像素離相機(jī)的距離。因此，它比傳統(tǒng)相機(jī)能夠提供更豐富的信息，也不必像單目或雙目那樣費(fèi)時(shí)費(fèi)力地計(jì)算深度。HoloLens的深度攝像頭用的便是Time-of-Flight原理，即通過(guò)從投射的紅外線脈沖反射回來(lái)的時(shí)間來(lái)獲得Depth的信息。由于使用紅外線，也正是為什么HoloLens對(duì)黑色表面識(shí)別不好的原因。 HoloLens的三維場(chǎng)景重建利用的是Richard Newcombe發(fā)明的Kinect Fusion。為了更好理解Kinect Fusion，可以想象下，我們?cè)谕娴袼?。先是有一個(gè)巨大的方塊，我們一個(gè)角度去挖，挖到想要成型樣子的表面就不挖了。挖多深，用的就是深度圖的信息。然后不斷換角度，繼續(xù)重復(fù)上面的，這樣多個(gè)角度后，雕塑的樣子慢慢浮現(xiàn)出來(lái)。 具體重建三維場(chǎng)景流程如下圖。

[圖片3 來(lái)自 Microsoft Developer Network]

a）讀入的深度圖像轉(zhuǎn)換為三維點(diǎn)云并且計(jì)算每一點(diǎn)的法向量。 b）相機(jī)的追蹤。Kinect Fusion是計(jì)算得到的帶有法向量的點(diǎn)云，和通過(guò)光線投影算法根據(jù)上一幀位置從模型投影出來(lái)的點(diǎn)云，利用 ICP 算法配準(zhǔn)計(jì)算位置，但深度攝像頭的精細(xì)度并不高，如果HoloLens采用深度圖數(shù)據(jù)來(lái)計(jì)算HoloLens位置，誤差會(huì)挺大，全息場(chǎng)景也不會(huì)穩(wěn)定固定在空間里。相機(jī)的位置用的是環(huán)境感知攝像頭計(jì)算出來(lái)的。 c）根據(jù)相機(jī)的位置，將當(dāng)前幀的點(diǎn)云融合到網(wǎng)格模型中去。 d）根據(jù)當(dāng)前幀相機(jī)位置利用光線投影算法從模型投影得到當(dāng)前幀視角下的點(diǎn)云，并且計(jì)算其法向量，用來(lái)對(duì)下一幀的輸入圖像配準(zhǔn)。 如此是個(gè)循環(huán)的過(guò)程，通過(guò)移動(dòng)相機(jī)獲取場(chǎng)景不同視角下的點(diǎn)云，重建完整的場(chǎng)景表面。 現(xiàn)在，你應(yīng)該對(duì)HoloLens中SLAM技術(shù)的使用有個(gè)清晰的認(rèn)識(shí)了吧！ 目前對(duì)SLAM的研究依然還在繼續(xù)，由于產(chǎn)品和硬件高度差異化，而SLAM相關(guān)技術(shù)的整合和優(yōu)化又很復(fù)雜，導(dǎo)致算法和軟件高度碎片化，市場(chǎng)上真正能在實(shí)際應(yīng)用中運(yùn)用SLAM的產(chǎn)品不多。而能夠?qū)MU 、環(huán)境感知攝像頭、深度攝像頭各取所長(zhǎng)，完美融合在一起，這里要給我軟硬實(shí)力手動(dòng)比心。 相關(guān)鏈接： HoloLens中SLAM技術(shù)揭秘（上） 來(lái)源：微軟HoloLens 關(guān)注微信公眾號(hào)：VR陀螺（vrtuoluo）,定時(shí)推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。