編譯/VR陀螺

從理論上講，控制飛行的無(wú)人機(jī)幾乎就像是在駕駛直升機(jī)，但用戶并不能真的像駕駛直升機(jī)那樣在駕駛室控制無(wú)人機(jī)，因此這使得用戶很難看到無(wú)人機(jī)相對(duì)于各種環(huán)境障礙的位置。人們對(duì)控制無(wú)人機(jī)的視覺是二維的，并依賴于操縱桿和攝像機(jī)。

上周，香港科技大學(xué)的研究人員Shaojie Shen 和 Chuhao Lio公布了一項(xiàng)新穎而有趣的創(chuàng)新技術(shù)，該技術(shù)使用全息增強(qiáng)現(xiàn)實(shí)硬件生成實(shí)時(shí)3D地形圖，并使無(wú)人機(jī)飛行員可以簡(jiǎn)單地將已經(jīng)可視化的目標(biāo)指向任何目標(biāo)以進(jìn)行操控。

全息界面使用了多種技術(shù)來(lái)進(jìn)行渲染。為了顯示，微軟 HoloLens頭顯以彩色體素貼圖的形式生成AR內(nèi)容，用戶可以從任何角度進(jìn)行查看。它通過(guò)自主無(wú)人機(jī)的深度攝像機(jī)以及實(shí)時(shí)位置數(shù)據(jù)來(lái)提供信息。該系統(tǒng)為操作員提供了實(shí)時(shí)、具有高度空間感的環(huán)境海拔高度和深度，并且使用戶可以很容易地從第三人稱視角看到無(wú)人機(jī)并重新定位。

HoloLens頭顯隨后將命令反饋給無(wú)人機(jī)，并通過(guò)將佩戴者的手勢(shì)和注視點(diǎn)變?yōu)轭愃泣c(diǎn)擊的控件來(lái)確定其在全息圖內(nèi)的下一個(gè)目標(biāo)。隨后，自主無(wú)人機(jī)可以在移動(dòng)3D地圖的同時(shí)更新到新位置。

但是，由于帶寬限制，該無(wú)人機(jī)將僅能向增強(qiáng)現(xiàn)實(shí)界面提供3D地圖數(shù)據(jù)，并且不會(huì)提供隨附的第一人稱視頻。

研究人員團(tuán)隊(duì)仍有一些方法可以部署全息無(wú)人機(jī)控制系統(tǒng)。無(wú)人機(jī)的數(shù)據(jù)最初是在室內(nèi)測(cè)試空間中通過(guò)Wi-Fi共享的，但對(duì)于室外應(yīng)用，一旦5G網(wǎng)絡(luò)超出了其當(dāng)前的無(wú)人機(jī)限制階段，就有可能使用低延遲的5G蜂窩連接。研究人員指出，由于第一組測(cè)試人員的“AR視野非常有限”，因此效果并不理想。即將推出的HoloLens2 AR頭顯可以解決這個(gè)問(wèn)題。由于先前測(cè)試人員對(duì)增強(qiáng)現(xiàn)實(shí)硬件不熟悉，所以研究團(tuán)隊(duì)可能要求第一組測(cè)試人員進(jìn)行練習(xí)以更加精通3D定位，這種情況可能也會(huì)出現(xiàn)在不完善的3D UI或手勢(shì)識(shí)別中。

但是，3D地圖數(shù)據(jù)將比真人視頻具有更高的帶寬效率。每秒更新10次時(shí)，它僅需要272MB的數(shù)據(jù)。實(shí)時(shí)視頻需要1.39GB的數(shù)據(jù)才能以每秒30幀的速度傳輸?shù)谝蝗朔Q視頻圖像。將來(lái)，該團(tuán)隊(duì)還旨在將兩種流類型合并在一起，以使最終用戶受益，幫助優(yōu)化數(shù)據(jù)以滿足網(wǎng)絡(luò)的最小帶寬水平。

盡管存在這些初期問(wèn)題，但全息增強(qiáng)現(xiàn)實(shí)系統(tǒng)仍具有巨大潛力。除了新穎的視覺界面外，它還為用戶提供了許多便捷的控制遠(yuǎn)程無(wú)人機(jī)的方法，只需使用簡(jiǎn)單的便攜一體式增強(qiáng)現(xiàn)實(shí)頭顯即可，而不必依靠傳統(tǒng)的功能齊全的計(jì)算機(jī)、顯示器和操縱桿。

研究人員計(jì)劃在定于2020年10月25日至29日舉行的國(guó)際智能機(jī)器人及系統(tǒng)大會(huì)（International Conference on Intelligent Robots and Systems）上提出將AR與自動(dòng)無(wú)人機(jī)合并的“第一步”。

來(lái)源：virtualrealitytimes