文/VR陀螺 ZJ

劍橋大學(xué)、牛津大學(xué)和倫敦大學(xué)學(xué)院的研究人員宣布開發(fā)出一種專為汽車平視顯示器（HUD）設(shè)計(jì)的AR全息系統(tǒng)，該系統(tǒng)利用激光雷達(dá)（LiDAR）點(diǎn)云投射4K視頻。這項(xiàng)技術(shù)通過顯示實(shí)時(shí)3D全息圖像，在尺寸和距離上與現(xiàn)實(shí)世界中的物體保持一致，為駕駛員提供潛在道路危險(xiǎn)的全面視圖，從而大大提高了道路安全性。

研究人員表示，識(shí)別隱藏在駕駛員視野之外的道路障礙物可確保交通道路安全。目前的駕駛輔助系統(tǒng)（如2D HUD）僅限于汽車擋風(fēng)玻璃上的投影區(qū)域。為此，研究團(tuán)隊(duì)開發(fā)了一種AR全息點(diǎn)云視頻投影系統(tǒng)，可在駕駛員視野范圍內(nèi)顯示與現(xiàn)實(shí)物體大小和距離一致的物體。

該系統(tǒng)用3D激光掃描儀收集的光探測(cè)和LiDAR點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成由40萬(wàn)個(gè)點(diǎn)組成的分層3D回放場(chǎng)對(duì)象。GPU加速計(jì)算生成實(shí)時(shí)全息圖的速度是CPU處理時(shí)間的16.6倍。全息投影是通過空間光調(diào)制器（SLM，3840×2160 px）和虛擬菲涅爾透鏡實(shí)現(xiàn)的，它能將駕駛員的Eye Box放大到25 mm × 36 mm。

3D投影可從駕駛員視野的任何角度提供危險(xiǎn)信息，并讓駕駛員的注意力始終集中在道路上而不是擋風(fēng)玻璃上，并通過投影顯示隱藏在駕駛員視野之外的道路障礙物來提供幫助。

通過全息投影展示道路障礙

研究人員在其論文中指出，預(yù)計(jì)互聯(lián)和自動(dòng)駕駛汽車市場(chǎng)價(jià)值將從2022年的16億美元增長(zhǎng)到2028年的110億美元。自動(dòng)駕駛汽車有助于減少因人為失誤導(dǎo)致的事故數(shù)量，并提高交通舒適度?；邳c(diǎn)云的互聯(lián)汽車技術(shù)可在不同交通場(chǎng)景下提供實(shí)時(shí)交通數(shù)據(jù)，從而增強(qiáng)障礙物和交通檢測(cè)機(jī)制。車對(duì)車、車對(duì)路邊基礎(chǔ)設(shè)施等“車對(duì)萬(wàn)物（V2X）”技術(shù)在確保公共道路安全和安保的準(zhǔn)確性方面變得越來越重要。

由此，基于微機(jī)電系統(tǒng)（MEMS）的光探測(cè)和測(cè)距（LiDAR）平臺(tái)被開發(fā)出來，以促進(jìn)運(yùn)輸過程中的安全問題。自動(dòng)駕駛汽車（SAE國(guó)際標(biāo)準(zhǔn)J3016中的第4級(jí)自動(dòng)駕駛）依賴于結(jié)合傳感和數(shù)據(jù)處理技術(shù)的視覺系統(tǒng)。目前，Uber、Waymo、寶馬和豐田主要利用MEMSLiDAR生成100米范圍內(nèi)周圍環(huán)境的精準(zhǔn)3D地圖。由于分辨率標(biāo)準(zhǔn)的原因，LiDAR傳感器目前還不符合第4級(jí)自動(dòng)駕駛車輛在公共道路上行駛的安全標(biāo)準(zhǔn)（ISO/TS 19 159）。

為此，研究團(tuán)隊(duì)開發(fā)了一套4K全息裝置，用于在360°視頻模式下顯示LiDAR導(dǎo)出的點(diǎn)云對(duì)象，以實(shí)現(xiàn)精準(zhǔn)的障礙物檢測(cè)和駕駛員警報(bào)系統(tǒng)。為駕駛員投影360°障礙物評(píng)估的概念源于細(xì)致的數(shù)據(jù)處理，這些數(shù)據(jù)能確保每個(gè)物體的深度清晰可見。

雖然從不同地點(diǎn)收集更多數(shù)據(jù)可提高準(zhǔn)確性，但該研究的獨(dú)特之處在于，通過從特定物體（如卡車、建筑物）的單次掃描中明智地選擇數(shù)據(jù)點(diǎn)，以實(shí)現(xiàn)360°視角。這種方法能夠?qū)Φ缆肺ｋU(xiǎn)進(jìn)行全面評(píng)估，是HUD研究的創(chuàng)新之舉，滿足了駕駛員安全的關(guān)鍵需求。

此外，這項(xiàng)工作還展示了一種3D點(diǎn)云方法的GPU增強(qiáng)加速，該方法能夠?qū)⑦x定的LiDAR 4K 3D物體實(shí)時(shí)整合到駕駛員的視野中。使用地面LiDAR掃描儀增強(qiáng)了駕駛員對(duì)公共道路上隱藏障礙物的視野。

這項(xiàng)工作解決了駕駛員目前面臨的挑戰(zhàn)?，F(xiàn)在人們通常使用HUD將2D投影儀投射到擋風(fēng)玻璃的一小塊區(qū)域，以實(shí)現(xiàn)信息娛樂的目的。這迫使駕駛員需要在行駛過程中將視線從路面轉(zhuǎn)移到擋風(fēng)玻璃上，這可能會(huì)分散駕駛員對(duì)主要駕駛?cè)蝿?wù)的注意力。

本論文中描述的方法和結(jié)果主要針對(duì)當(dāng)前的駕駛輔助系統(tǒng)，以進(jìn)行導(dǎo)航和減少道路事故。這項(xiàng)工作的新穎性體現(xiàn)在三個(gè)方面，首先在AR方面，由于道路障礙物是全息投影，其深度在大小和距離上與現(xiàn)實(shí)生活中的物體一致，所以駕駛員能在自己的視野中盡可能自然地查看道路環(huán)境。

其次，該系統(tǒng)從收集的點(diǎn)云數(shù)據(jù)集中提取360° LiDAR障礙物，加速GPU并行處理，使25個(gè)點(diǎn)的處理時(shí)間縮短至4.8秒。再次，點(diǎn)云數(shù)據(jù)收集和障礙物提取形成了一個(gè)龐大的點(diǎn)云場(chǎng)景和存儲(chǔ)，具有車與車之間共享的概念。因此，處于危險(xiǎn)區(qū)域的駕駛員將自動(dòng)收到警報(bào)。

研究團(tuán)隊(duì)在采集LiDAR數(shù)據(jù)時(shí)使用了3D坐標(biāo)地面激光掃描儀。掃描儀的參考光束波長(zhǎng)為1550 nm，光束發(fā)散度為0.35 mrad，測(cè)量范圍為600 m，數(shù)據(jù)捕獲率為122 kHz，測(cè)距精度為5 mm，重復(fù)精度為3 mm。

團(tuán)隊(duì)利用直立和傾斜位置的LiDAR掃描儀對(duì)一條公共道路（英國(guó)倫敦馬利特街）的 11 個(gè)不同位置進(jìn)行了勘測(cè)。收集到的點(diǎn)云數(shù)據(jù)集包含多種隱藏障礙物，這些障礙物可顯示在HUD上，提醒駕駛員注意。

研究人員選擇了5個(gè)不同的主要障礙物來展示提取隱藏道路物體的概念。選擇這些障礙物的標(biāo)準(zhǔn)是：位于不同位置、大小不同、包含不同數(shù)量的點(diǎn)。

圖1 來源：Advanced Optical Materials

圖 1a 展示了掃描對(duì)象所在的馬利特街鳥瞰圖。數(shù)據(jù)被轉(zhuǎn)換成x、y和z點(diǎn)云數(shù)據(jù)，經(jīng)過后處理，在任意坐標(biāo)系中生成共存點(diǎn)云。研究人員使用開源Python庫(kù)進(jìn)行材料分離、幾何特征識(shí)別和結(jié)構(gòu)分析。

在數(shù)據(jù)集中，研究人員對(duì)每個(gè)物體都進(jìn)行了評(píng)估，以確定從掃描角度可見的3D道路障礙物和隱藏物體。他們還針對(duì)不同的數(shù)據(jù)可視化場(chǎng)景選擇了3D圖像，以評(píng)估LiDAR 3D點(diǎn)云數(shù)據(jù)對(duì)駕駛員的優(yōu)勢(shì)。

圖1b-f展示了下列LiDAR反射圖像：(i)道路物體前的一棵樹；(ii)附近站著行人的自行車架；(iii-iv)停在路邊的一輛卡車；(v)一幢建筑物。每個(gè)點(diǎn)云對(duì)象都按特定尺寸縮放，以匹配現(xiàn)實(shí)生活中的投影對(duì)象。 

本研究采用的顯示技術(shù)是硅基液晶（LCoS）。SLM的工作原理是通過改變每個(gè)像素的相移和遲滯中施加的電場(chǎng)方向和強(qiáng)度來控制雙折射液晶分子的排列（圖 2a）。

該裝置由夾在導(dǎo)電ITO層和反射涂層之間的液晶層組成。要顯示的像素被組織成單獨(dú)的鋁電極，通過向系統(tǒng)施加電壓形成電場(chǎng)，從而根據(jù)電場(chǎng)強(qiáng)度對(duì)準(zhǔn)液晶模塊。像素的延遲或相移取決于液晶的排列模式。

圖2 來源：Advanced Optical Materials

圖2b顯示了SLM的布局和配置，包括HDMI/USB輸入、驅(qū)動(dòng)板和4K LCoS面板（插圖）。研究團(tuán)隊(duì)設(shè)計(jì)了一套CGH裝置，用于投射LiDAR點(diǎn)云的浮動(dòng)3D回放場(chǎng)圖像（圖 2c）。

光學(xué)裝置采用了4K SLM（3840×2160 px）和He-Ne激光器（λ = 632.8 nm，5 mW）。激光束通過一個(gè)非球面透鏡（L1，f = 3.30 mm，NA = 0.47）、消色差雙透鏡（L2，f = 75 mm）、兩個(gè)設(shè)置為45°的線性偏振片（P1/2，透射率38%）、一個(gè)聚合物零階半波板（HW）、一個(gè)非偏振分光鏡（BS，50:50 分光，30 mm）傳播，然后投射到4K SLM的面板上（圖 2d）。

精確度、準(zhǔn)確度和銳利度等圖像特性由調(diào)制傳遞函數(shù)（MTF）表征，該函數(shù)基于光學(xué)系統(tǒng)對(duì)給定照明的空間頻率響應(yīng)。

空間頻率越高，回放場(chǎng)中的圖像就越清晰。有效光學(xué)系統(tǒng)的分辨率是通過定義的測(cè)試圖確定的。分辨率由可分辨的最小細(xì)節(jié)組之間的距離決定。

為確保超高清回放場(chǎng)結(jié)果的準(zhǔn)確性，研究人員進(jìn)行了校準(zhǔn)測(cè)試，在視野內(nèi)投射測(cè)試目標(biāo)：線條、棋盤格、Secchi盤、陰陽(yáng)圖和西門子星狀圖，并測(cè)量每個(gè)位置的強(qiáng)度（圖2e-h）。

圖2e展示了目標(biāo)的原始分辨率圖，其中虛線代表分析的投影區(qū)域。

從龐大點(diǎn)云提取3D物體，實(shí)時(shí)投射給駕駛員

總的來說，本研究的重點(diǎn)是一種3D點(diǎn)云方法，該方法能夠從龐大的點(diǎn)云中提取選定的3D物體，并將這些物體以 4K 和360°實(shí)時(shí)投射到駕駛員的視野中。此外，該研究還提出了一種監(jiān)測(cè)回放結(jié)果中每個(gè)像素亮度的方法，以準(zhǔn)確再現(xiàn)3D物體的陰影和遮擋。

與單點(diǎn)處理相比，當(dāng)點(diǎn)數(shù)增加時(shí)，并行處理算法得到改進(jìn)，時(shí)間也縮短了。因此，1000個(gè)點(diǎn)的算法處理時(shí)間僅為26.02秒，10000個(gè)點(diǎn)的算法處理時(shí)間為243.24秒。

圖4 來源：Advanced Optical Materials

圖4顯示了明確可視化和評(píng)估隱藏障礙物所需的點(diǎn)數(shù)，即1000個(gè)點(diǎn)。對(duì)于4K分辨率，所需的點(diǎn)數(shù)為400000個(gè)點(diǎn)。此外，點(diǎn)云點(diǎn)的密度在任何時(shí)候都是受控的，可以降低密度，以便為駕駛員實(shí)時(shí)投射出障礙物的輪廓。

通過部署LiDAR點(diǎn)云，導(dǎo)航系統(tǒng)的精度和3D物體評(píng)估得以不斷提高。這種方法可在AR模式下實(shí)時(shí)實(shí)現(xiàn)LiDAR點(diǎn)云對(duì)象，以增強(qiáng)HUD功能。

這種點(diǎn)云方法可與交互式城市環(huán)境相結(jié)合，以監(jiān)控交通安全并為自主導(dǎo)航提供基礎(chǔ)。以前的研究通過生成一種算法，在所選的10厘米位置顯示3D回放場(chǎng)圖像，探索了點(diǎn)云數(shù)據(jù)的全息重建。

這種近眼顯示技術(shù)是通過引入一個(gè)能夠?qū)崟r(shí)繪制和擦除3D圖像的交互式全息系統(tǒng)實(shí)現(xiàn)的。此外，通過整合Phong照明模型，全息圖可由帶有遮擋的點(diǎn)云生成。因此，在回放場(chǎng)結(jié)果中會(huì)產(chǎn)生反射和陰影。通過重新定位點(diǎn)云網(wǎng)格，利用GPU加速實(shí)現(xiàn)了全彩全息回放場(chǎng)結(jié)果，分辨率為1080×1080 px。

點(diǎn)云數(shù)據(jù)可以存儲(chǔ)并用于智慧城市的交通預(yù)警場(chǎng)景。通過LiDAR點(diǎn)云的方法，隱藏的道路障礙物，如卡車后面的騎車人或遮擋路牌的樹木，可以360°投射到駕駛員的視野中，從而減少交通事故。這項(xiàng)工作引入了控制每個(gè)像素亮度、點(diǎn)密度控制和全物體旋轉(zhuǎn)的計(jì)算方法。

不過，在未來的研究中，可以使用液晶控制的雙軸掃描儀對(duì)LiDAR掃描儀進(jìn)行改進(jìn)，掃描范圍為水平方向360°和垂直方向10°。光束擴(kuò)散角的工作原理為垂直方向0.3° × 0.8°，頻率可達(dá)100 Hz，旋轉(zhuǎn)角度為0.8°至 3.5°。

例如圖1中的卡車和建筑物體只需一次掃描即可采集，這使得人們能夠隨時(shí)在汽車環(huán)境中捕捉360°視角，并為道路危險(xiǎn)評(píng)估提供了寶貴的補(bǔ)充。在研究團(tuán)隊(duì)中，不同的研究小組已經(jīng)對(duì)LiDAR點(diǎn)云3D場(chǎng)景識(shí)別進(jìn)行了探索，其他研究小組則將重點(diǎn)放在旋轉(zhuǎn)不變部分與神經(jīng)網(wǎng)絡(luò)的集成上。未來基于LiDAR點(diǎn)云的研究可以探索環(huán)境3D幾何信息識(shí)別，并將旋轉(zhuǎn)不變神經(jīng)網(wǎng)絡(luò)與GPU加速集成，以實(shí)現(xiàn)精準(zhǔn)的場(chǎng)景識(shí)別和共享選項(xiàng)。

在回放場(chǎng)中，當(dāng)投影40萬(wàn)個(gè)點(diǎn)的障礙物時(shí)，確定了全3D 4K精度。從100個(gè)點(diǎn)到40萬(wàn)個(gè)點(diǎn)的調(diào)整對(duì)于不同的應(yīng)用（如駕駛員安全）至關(guān)重要。駕駛員需要少于40萬(wàn)個(gè)點(diǎn)來全面評(píng)估障礙物。

在點(diǎn)云采樣應(yīng)用方面，其他研究人員引入了非均勻采樣的2D圖像，這些圖像經(jīng)過處理，并根據(jù)全息圖生成、波前記錄平面和深度網(wǎng)格生成創(chuàng)建了3D彩色全息圖像。對(duì)于一個(gè)由1162890個(gè)點(diǎn)和6000個(gè)深度網(wǎng)格組成的物體，CPU的總運(yùn)行時(shí)間為366.838秒。

其他研究人員則將重點(diǎn)放在了點(diǎn)云點(diǎn)處理的加速方面，他們利用波前記錄平面（WRP）方法和FPGA上的遞推公式進(jìn)行定向可分離卷積。例如，使用提議的方法在271秒內(nèi)處理了4110805個(gè)點(diǎn)的蝴蝶，而使用基于層的方法則需要313秒。

不過，對(duì)于動(dòng)態(tài)導(dǎo)航系統(tǒng)等其他道路安全應(yīng)用來說，4K分辨率至關(guān)重要。未來的研究可以將光通量重新分配到點(diǎn)云中的各個(gè)點(diǎn)上。未來工作的另一個(gè)重要方面是，回放場(chǎng)景的結(jié)果不會(huì)讓用戶產(chǎn)生視覺疲勞。

未來的研究還可能會(huì)涉及駕駛員手勢(shì)識(shí)別，在基于單層元曲面的傅里葉區(qū)域提供靈活的 FOV和點(diǎn)云點(diǎn)密度設(shè)計(jì),這可以通過改進(jìn)算法的邏輯架構(gòu)來實(shí)現(xiàn)。另一個(gè)重點(diǎn)領(lǐng)域是點(diǎn)云數(shù)據(jù)存儲(chǔ)和與交互式城市環(huán)境的按需共享，以便提前告知駕駛員不同的交通情況。這項(xiàng)工作展示了從掃描的LiDAR點(diǎn)云數(shù)據(jù)中提取的實(shí)時(shí)4K全息AR視頻HUD投影。

注：該研究團(tuán)隊(duì)目前正在與谷歌合作，在實(shí)際車輛中測(cè)試該系統(tǒng)，道路試驗(yàn)可能于2024年開始。

原文鏈接：

https://onlinelibrary.wiley.com/doi/10.1002/adom.202301772