文/VR陀螺 萬里

2023年，伴隨著一篇名為《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的論文發(fā)表，3D高斯濺射（后簡稱3DGS）技術(shù)進(jìn)入了大眾視野并很快成為了今年計算機圖形學(xué)、自動駕駛、三維建模等領(lǐng)域的一大熱門，以至于這段時間幾乎每天都有3DGS相關(guān)論文發(fā)布。

在VR/AR行業(yè)，3DGS的應(yīng)用落地也頗為神速，蘋果、Meta、谷歌、Niantic等企業(yè)均發(fā)表了相應(yīng)的研究成果，而基于3DGS的三維掃描已經(jīng)迅速向市場普及，并有望成為未來元宇宙/空間計算內(nèi)容生態(tài)的UGC創(chuàng)作工具基石。本文將回顧這一年以來3DGS的飛躍式進(jìn)展。

基于高斯濺射技術(shù)所開發(fā)的AR傳送門體驗，圖源：Niantic

 實時渲染，改變3D掃描建模規(guī)則的高斯濺射技術(shù) 

在3DGS以前，三維重建領(lǐng)域主要基于攝影測量、NeRF兩種解決方案。攝影測量通過分析從不同角度拍攝的多張圖像來創(chuàng)建三維模型，它具有不錯的生成質(zhì)量，但局限在于對于光照條件敏感，對于天空等開放場景或者透明物體等生成效果不佳。

而NeRF（神經(jīng)輻射場）則是近些年來的一大熱門，其在2020年后得到普及，同樣基于不同視角拍攝圖像渲染3D場景，里面引入了深度學(xué)習(xí)，可以解決前面所提到的攝影測量的一些局限，并且可以捕捉攝影測量容易缺失的細(xì)節(jié)，不過它對于算力要求較高，渲染較慢。

3DGS與NeRF一樣同樣基于2D圖像重建3D場景，不過NeRF基于神經(jīng)渲染技術(shù)，通常使用體積光線以實現(xiàn)捕獲場景的新視角合成，而3DGS則利用點云數(shù)據(jù)創(chuàng)建場景的體積表示。

有關(guān)資料指出，3DGS的核心技術(shù)是通過數(shù)百萬個微小的、半透明的橢球體（即“高斯濺射”）來創(chuàng)建和渲染3D場景。每個濺射點包含了位置、顏色、大小和透明度的信息。

3DGS擁有如下優(yōu)點：可以捕捉精確的細(xì)節(jié)以及燈光效果，并且最低只需數(shù)張照片即可創(chuàng)建高斯濺射，相比之下攝影測量往往需要數(shù)十張高分辨率圖片才能生成三維模型。不僅如此，3DGS可以適應(yīng)從小物件到大型建筑物的不同3D場景，適用范圍很廣。

得益于其高效的數(shù)據(jù)表示和優(yōu)化的渲染管道，3DGS可以實現(xiàn)實時或近實時的渲染速度；在前面所提到的3DGS核心研究論文中透露，3DGS相較于InstantNGP、Plenoxels等NeRF技術(shù)無論是在渲染速度、訓(xùn)練時間以及視覺質(zhì)量方面均具有明顯優(yōu)勢，此外，同等條件下只有3DGS能夠勝任實時渲染的需求，它可以適用于游戲、空間計算等對于實時互動具有較高要求的場景。

其他方面，3DGS對于計算資源的消耗也會明顯少于NeRF，因而它也更利于引入手機、頭顯等設(shè)備觀看，如Niantic旗下的《Scaniverse》3DGS方案的三維重建已經(jīng)支持在手機端直接掃描生成3D圖案；3DGS存儲的是點云數(shù)據(jù)，因而也便于集成到第三方3D引擎當(dāng)中。

3DGS的出現(xiàn)，引起了行業(yè)的極大振奮。Niantic空間計算研究員Charlie Houseago于去年夏天看到了3DGS論文并分享給了Niantic研究小組，隨即它立即引起了整個公司的關(guān)注。

而此前國內(nèi)AI創(chuàng)企知天下創(chuàng)始人兼CEO宋寬博士也曾表示，“3DGS技術(shù)具有劃時代的意義，它將使三維點云算法從‘小眾’變成‘大殺器’”。

業(yè)內(nèi)之所以會對3DGS這項技術(shù)如此興奮，筆者認(rèn)為原因無非有兩點，一是基于3DGS可以加速以往3D內(nèi)容創(chuàng)建過程，此外，它也足夠簡單易用，并且能將掃描場景接入到游戲、工作流當(dāng)中，實現(xiàn) 3D創(chuàng)作的平民化。

 這一年VR/AR企業(yè)在忙什么？3D掃描工具到高擬真Avatar

現(xiàn)如今，我們對于3DGS技術(shù)最容易接觸到的渠道無疑是3D掃描APP，在相關(guān)論文發(fā)布不久后，市場上一眾3D掃描APP均在這一年以內(nèi)宣布實現(xiàn)了對3DGS的支持，（知名應(yīng)用有《Polycam》、《LumaAI》、《KIRI Engine》、《Scaniverse》等）。這里以《KIRI Engine》為例，它于去年11月宣布為iPhone、Android以及Web客戶端引入3DGS掃描生成功能，并于今年一步步完善了3DGS編輯、導(dǎo)出到Blender等能力。

KIRI Engine的3DGS使用流程，圖源：網(wǎng)絡(luò)

《Scaniverse》于今年3月引入了對高斯濺射的支持，《Scaniverse》采用免費的形式提供，掃描生成模型可以上傳到云端分享或者以PLY格式導(dǎo)出。今年Niantic工程主管Brian McClendon接受采訪時也提到了這一項新技術(shù)的潛力：

早些時候，該應(yīng)用需要借助iPhone的LiDAR傳感器進(jìn)行高質(zhì)量3D掃描，而2023年以后，應(yīng)用進(jìn)一步支持以攝影測量的方式生成3D模型。后者在生成速度方面會優(yōu)于前者，但是依然需要一定時間。

現(xiàn)如今，借助高斯濺射，用戶大約1分鐘內(nèi)即可掃描一個空間并生成漂亮的3D模型，此外，該模型還具備了傳統(tǒng)網(wǎng)格處理無法實現(xiàn)的照明和透明效果。

而在本月，《Scaniverse》再次迎來重磅更新，企業(yè)專門針對Quest頭顯開發(fā)了網(wǎng)頁應(yīng)用《Into the Scaniverse》（同樣采用免費制），后續(xù)會進(jìn)一步上線VR APP客戶端。用戶可以通過APP端掃描生成3D，然后再借助頭顯端查看3D模型圖案，用戶通過瀏覽器可以在里面走動探索，獲得更多維度的體驗。

官網(wǎng)指出，“從開始到結(jié)束的過程（在iOS上掃描、處理、上傳、在Meta Quest中查看）只需不到五分鐘。”目前平臺上已經(jīng)有來自100多個國家的數(shù)萬個3DGS素材可供體驗。

在撰稿之前筆者其實并沒有3D掃描的需求，近期心血來潮體驗了《Scaniverse》這款應(yīng)用，并把自己的房間簡單掃描了一遍（可能花費了20分鐘）。這個過程中我發(fā)現(xiàn)，某方面而言，3D掃描甚至可能比空間拍攝更實用，因為它能記錄的信息更多，并且還能多視角觀看，互動感更強。

來源：VR陀螺

對于VR/AR廠商而言，最近動作比較大的新聞是扎克伯格在今年9月的Connect大會期間官宣了一款基于3DGS技術(shù)開發(fā)的應(yīng)用《Hyperscape》。在實現(xiàn)原理方面，《Hyperscape》同樣基于手機端掃描捕捉場景，然后基于云端處理生成3D場景。終端用戶體驗時，3D內(nèi)容會以視頻流傳輸?shù)筋^顯，云端會以每秒72或90幀的速度渲染，并通過預(yù)測用戶觀察的方向渲染并傳輸特定的內(nèi)容。目前《Hyperscape》已經(jīng)在Quest平臺開放下載，不過掃描生成功能暫未開放。（技術(shù)團隊曾表示掃描APP將會在不久的將來發(fā)布）

圖源：Meta

除了虛擬3D資產(chǎn)外，如何為頭顯引入高保真Avatar是Meta團隊一直努力的目標(biāo)，隨著3DGS技術(shù)的出現(xiàn)，這給Meta的研究提供了全新的方向。去年年底，Meta發(fā)表了一篇題為《Relightable Gaussian Codec Avatars》的論文，里面提到了基于3DGS生成逼真幾何模型，并基于輻射傳輸（radiance transfer）可重新照明外觀模型實現(xiàn)了實時的光傳輸和全頻率反射，可為眼睛、頭發(fā)等特殊材質(zhì)帶來更好的顯示效果。（無獨有偶，蘋果也曾于去年12月發(fā)布了一篇題為《HUGS: Human Gaussian Splats》的論文，它可基于視頻生成動態(tài)3D化身，里面同樣出現(xiàn)了高斯濺射的身影）

圖源：Meta

Meta前面所展示的兩項3DGS最新成果無疑都瞄準(zhǔn)了元宇宙社交的終極未來：未來某一天，玩家將能自行掃描生成3D空間并上傳到Meta的VR社交平臺《Horizon Worlds》,并在熟悉的空間中進(jìn)行交流互動，能夠快速為平臺生態(tài)補充資源；高保真Codec Avatar無需借助昂貴的掃描裝置即可快速生成，同時細(xì)節(jié)又讓人足夠信服，足以達(dá)到以假亂真的效果。

Reality Labs產(chǎn)品總監(jiān)Marcello Typrin曾在播客節(jié)目中提到了3DGS這項新技術(shù)的一些特性：3DGS可以提供精細(xì)的細(xì)節(jié)，但沒有結(jié)構(gòu)，因而它仍無法實現(xiàn)傳統(tǒng)3D模型（如小球）碰撞反彈等物理效果，目前團隊正著手于將網(wǎng)格和更傳統(tǒng)的創(chuàng)建3D體驗的方法疊加在splat之上，并使高斯濺射成為一種更熟悉的3D構(gòu)建和創(chuàng)建方法。

除Meta以外，國內(nèi)的PICO于今年8月宣布PICO 4 Ultra原生支持3D高斯點渲染，并為Unreal Engine 5.3構(gòu)建了一個3DGS渲染開源插件并于本月上線了Beta版本，此舉也在為開發(fā)者提供了更多創(chuàng)作可能性。

PICO展示的3DGS應(yīng)用，圖源：PICO

在VR應(yīng)用市場，其實我們也已經(jīng)能看到不少圍繞3DGS所構(gòu)建的應(yīng)用，如Quest Store平臺的《Gracia》，該應(yīng)用發(fā)布于今年8月，可以在上面觀看體積視頻，當(dāng)前平臺的應(yīng)用內(nèi)容體驗還十分有限，用戶也可以自行導(dǎo)入PLY文件在頭顯端進(jìn)行觀看。在PICO商城，也有不乏《知天下》等3D模型APP，玩家可以在里面看到大量名勝景點。此前知天下團隊曾透露，“在3DGS的加持下，通過無人機拍攝的大規(guī)模建筑的二維畫面，可以在數(shù)小時內(nèi)轉(zhuǎn)化為栩栩如生的三維模型。”

《知天下》APP，圖源：網(wǎng)絡(luò)

同為本月，谷歌悄然亮相了其面向XR設(shè)備的全新操作系統(tǒng)Android XR，新系統(tǒng)中谷歌地圖其實是一個很大的亮點。根據(jù)外媒評測指出，用戶可以在里面體驗以3D視角體驗谷歌沉浸式地圖。與此同時，谷歌還在積極基于高斯濺射技術(shù)補齊房間、餐廳、博物館等室內(nèi)場景，用戶可以通過3D地圖提前看到想去的地點的裝潢信息，而開發(fā)人員也可以基于地圖數(shù)據(jù)快速構(gòu)建LBS AR體驗。也就是說，谷歌、Niantic都有雄心為用戶補足一個地球級的數(shù)字孿生資源，而3DGS是加速內(nèi)容開發(fā)的一個重要技術(shù)支撐。

谷歌地圖，圖源：網(wǎng)絡(luò)

 拓展用例：商業(yè)培訓(xùn)、電商、游戲建模、VR大空間 

除了前面所提到的3D掃描、VR社交等方面的用例外，3DGS背后對應(yīng)的是一個龐大的3D市場，它在商業(yè)、電商等場景潛力同樣不容小覷。

教育培訓(xùn)。芬蘭頭顯制造商Varjo于今年6月演示了一款名為《Teleport》的iOS應(yīng)用并于11月底正式上線，這同樣是一款基于3DGS的3D掃描應(yīng)用，不過與《KIRI Engine》等APP不同之處在于該應(yīng)用旨在面向商業(yè)客戶，Varjo認(rèn)為相關(guān)解決方案可以應(yīng)用于遠(yuǎn)程培訓(xùn)、協(xié)作等場景，以提升工作及運營效率。其他方面，《Teleport》基于云端渲染，并且具備VR、PC等多設(shè)備觀看的能力。應(yīng)用采用收費制，目前定價為29.99歐元/月。

在公告中Varjo同樣難掩對3DGS的溢美之詞，里面提到，“測試人員只需5-10分鐘的掃描即可捕捉到地點，比標(biāo)準(zhǔn)攝影測量工作流程所需的數(shù)小時或數(shù)天要快得多。”而Varjo首席產(chǎn)品官Patrick Wyatt也表示：“《Teleport》是目前市場上視覺效果最令人印象深刻的3D掃描解決方案，也是唯一能夠?qū)?shù)字孿生直接帶入虛擬現(xiàn)實的解決方案。”

據(jù)了解，目前《Teleport》已經(jīng)應(yīng)用于文旅、教育等多個場景中，并且獲得了不錯的反饋，如在芬蘭國家歌劇院和芭蕾舞團當(dāng)中，基于3D掃描所生成的帶有真實尺寸以及豐富細(xì)節(jié)的舞臺布景，相較于傳統(tǒng)的照片和CAD圖像能讓人更為直觀的了解場所外觀以及舞臺適合度；埃迪斯科文大學(xué)通過將工業(yè)和建筑工地等數(shù)字孿生引入課堂，能夠有效加強學(xué)生對于真實維度信息的理解。

圖源：Varjo

游戲建模。除了教育培訓(xùn)外，目前高斯濺射還有幾個比較大的潛在應(yīng)用場景，一是目前有大量3D游戲需要用到掃描資產(chǎn)，比如今年比較火的《黑神話·悟空》，里面所出現(xiàn)的晉城玉皇廟、天津薊縣獨樂寺、重慶大足石刻等便是3D掃描生成的產(chǎn)物（攝影測量），隨著游戲的火熱，甚至帶火了這些旅游景點。

《黑神話·悟空》里面出現(xiàn)的實景建模畫面，圖源：網(wǎng)絡(luò)

電商。今年伴隨著Vision Pro的發(fā)售，里面逐步上線了《淘寶》、《得物》、《GUCCI》等電商APP，在里面我們可以查看大件電器的真實尺寸、家居用品的搭配、以及鞋包服飾的紋理細(xì)節(jié)等。3D購物是傳統(tǒng)網(wǎng)頁、APP購物的一種升維，具有廣闊前景，由于MR購物里面所展示的3D商品均需要基于掃描生成，因而背后同樣具備極大的市場潛力。

《GUCCI》APP，圖源：網(wǎng)絡(luò)

VR大空間。VR大空間是今年頗為熱門的行業(yè)項目之一，有關(guān)數(shù)據(jù)指出今年新增的大空間項目已破百個，里面其實已經(jīng)出現(xiàn)了很多基于實景掃描的體驗，比較典型的是《消失的法老》，里面有大量的場景來自胡夫金字塔的真實掃描數(shù)據(jù)。其他運用到了掃描資產(chǎn)的VR大空間項目還有《永恒之美·巴黎圣母院》、《神秘的東方古堡》、《奇遇三星堆》等。隨著后續(xù)3DGS技術(shù)的引入，無疑能夠有效為VR大空間項目降本增效。

 寫在最后 

筆者了解到，目前3DGS想要全面落地，還需要面臨內(nèi)存消耗高、第三方創(chuàng)作工具、插件偏少、重建結(jié)果幾何精度欠佳等問題，不過瑕不掩瑜，得益于3DGS在掃描生成速度、實時渲染等方面的優(yōu)勢，它有望成為未來全面普及3D的“敲門磚”技術(shù)。

我們可以看到Meta、蘋果廠商的積極布局，也可以看到一眾初創(chuàng)企業(yè)的跑馬圈地，可以預(yù)見，未來3D資產(chǎn)的splats含量將越來越高。