8月26日，AWE Asia 2024大會(huì)在新加坡博覽中心展開。Niantic高級副總裁Brian McClendon受邀并發(fā)表了《空間計(jì)算需要一張新地圖》這一主題演講，展示了Niantic正在構(gòu)建的第三代地圖技術(shù)，旨在實(shí)現(xiàn)沉浸式混合現(xiàn)實(shí)體驗(yàn)。

VR陀螺在現(xiàn)場有幸與Brian McClendon展開對話，以下為采訪記錄（內(nèi)容略有調(diào)整）:

關(guān)于Niantic與Brian McClendon

Niantic是一家總部位于舊金山的軟件開發(fā)公司，曾與任天堂和寶可夢公司聯(lián)合開發(fā)了現(xiàn)象級的AR手游《寶可夢Go》而聞名。除此之外，該企業(yè)還開發(fā)了《Ingress》、《Pikmin Bloom》和《Peridot》等游戲。2023年，Niantic與Capcom合作推出《怪物獵人Now》，如今在全球也收獲了超過1000萬次下載。除游戲外，Niantic在AR行業(yè)還多有布局，如曾收購了6d.ai、8th Wall等AR公司，現(xiàn)如今，Niantic已經(jīng)推出了名為Lightship的AR開發(fā)平臺(tái)。

Brian McClendon曾在Silicon Graphics工作八年，主要負(fù)責(zé)開發(fā)包括GT、GTX、 RealityEngine和InfiniteReality在內(nèi)的高端3D圖形。2004擔(dān)任谷歌工程總監(jiān)，后任谷歌副總裁，專注于地理空間數(shù)據(jù)可視化應(yīng)用，曾開發(fā)過學(xué)校地圖、谷歌地球、街景、本地搜索、Uber地圖等等。2021年加入Niantic，擔(dān)任工程、測繪與增強(qiáng)現(xiàn)實(shí)技術(shù)高級副總裁。

Brian McClendon

空間計(jì)算時(shí)代需要新地圖，3D建模的潛力已經(jīng)顯現(xiàn)

VR陀螺：空間計(jì)算需要新地圖，這個(gè)“新”主要指什么？

Brian McClendon：我們看到谷歌地圖與谷歌地球已經(jīng)提供了一個(gè)完整的地圖圖形，且也很精準(zhǔn)。只是對于增強(qiáng)現(xiàn)實(shí)世界來說，我們需要一個(gè)更為精準(zhǔn)的地圖，例如利用高斯?jié)姙R技術(shù)，創(chuàng)建新型的3D地圖。

Niantic 新地圖的核心是視覺定位系統(tǒng) ，其精度可以達(dá)到厘米級，并且能夠根據(jù)用戶行為維護(hù)和更改數(shù)字內(nèi)容。我們在主要地點(diǎn)部署了超過250,000個(gè)高質(zhì)量VPS位置，并有望在2024 年達(dá)到100萬個(gè)地點(diǎn)。

本次現(xiàn)場也有展示我們自研的3D建模平臺(tái)Scaniverse，用戶可以1分鐘左右掃描一個(gè)空間然后立即生成3D模型，不需要借助云端，也沒有額外的處理成本，且可以免費(fèi)使用。創(chuàng)建的模型也支持多種格式導(dǎo)出，可用于游戲開發(fā)、SNS分享、視頻創(chuàng)作等。

補(bǔ)充：據(jù)了解，Scaniverse自上線以來已獲得多數(shù)好評（App Store：4.8），數(shù)百萬人使用它在手機(jī)上免費(fèi)捕獲物體和地點(diǎn)的3D圖像。陀螺君現(xiàn)場用手機(jī)掃描了桌上的玩偶，整體非常高效且精細(xì)，而且重點(diǎn)是能夠直接掃描生成Mesh模型。

VR陀螺：可以簡單介紹一下高斯濺射技術(shù)？

Brian McClendon：高斯濺射是Scaniverse的一項(xiàng)突破性功能，目前Niantic已將高斯分布作為Scaniverse中的輸出選項(xiàng)，這是一種可加快設(shè)備處理速度的體渲染技術(shù)，極大地提高了視覺保真度和實(shí)時(shí)觀看的性能。用戶可以快速掃描現(xiàn)實(shí)世界的位置和物體，并直接從手機(jī)共享它們。目前，Scaniverse可支持iOS和Android。

從手機(jī)到AR再到MR，LBS AR游戲還需要等待幾年

VR陀螺：從《寶可夢GO》到《怪物獵人Now》，LBS AR 游戲有哪些新的進(jìn)展？請舉例說明

Brian McClendon：《寶可夢GO》、《怪物獵人Now》以及《Peridot》的游戲邏輯都是基于位置探索地圖，也就是說基于實(shí)際位置服務(wù)的AR游戲。但從技術(shù)上來看，雖然《寶可夢GO》與《怪物獵人Now》的游戲邏輯相同，但底層技術(shù)并不相同。多年來Niantic在AR技術(shù)上的進(jìn)步與對現(xiàn)實(shí)場景構(gòu)建經(jīng)驗(yàn)的積累，已經(jīng)讓LBS AR游戲體驗(yàn)更為驚艷。

一方面，我們現(xiàn)在有了Lightship視覺定位系統(tǒng)，玩家可以在虛擬地圖上準(zhǔn)確定位到真實(shí)玩家的位置，并以厘米級精度跟蹤位置和方向，從而支持多人在線。另一方面，隨著3D映射技術(shù)不斷完善，在游戲中識(shí)別樹木、草叢等不同目標(biāo)時(shí)更為精準(zhǔn)靈活，從而使AR虛擬圖像與現(xiàn)實(shí)世界的融合更為自然。

因此，如今LBS AR游戲已經(jīng)為玩家提供了更為真實(shí)的體驗(yàn)，這也說明了開發(fā)視覺定位系統(tǒng)的重要性。

VR陀螺：之前Niantic的AR游戲都是基于手機(jī)開發(fā)的，您認(rèn)為這些游戲做到AR眼鏡上還存在哪些技術(shù)壁壘，或?qū)Ξa(chǎn)品有什么性能要求，未來是否可以實(shí)現(xiàn)？

Brian McClendon：LBS AR游戲很大的一個(gè)特點(diǎn)是在室外，我們鼓勵(lì)玩家到在戶外探索真實(shí)世界與虛擬世界的融合體驗(yàn)。至于說能否從手機(jī)轉(zhuǎn)移到AR眼鏡上或者是頭顯，有個(gè)很大問題就是，用戶能不能戴著這些產(chǎn)品到戶外行走，或者說用戶可以保持戴多久。

我們看到Apple Vision Pro與Meta Quest 3都是混合現(xiàn)實(shí)的頭顯，且都是很優(yōu)秀的產(chǎn)品，你可以通過攝像頭看到真實(shí)的世界，從而帶來虛實(shí)融合的增強(qiáng)體驗(yàn)，但很多體驗(yàn)都是在室內(nèi)完成的，很少會(huì)有用戶說要帶著一款VR頭顯到室外去行走。

因此，我們也希望接下來幾年可以看到更多的戶外AR眼鏡或者頭顯的好消息，已經(jīng)有不少公司在嘗試這個(gè)方向，我們也很期待可以在這些產(chǎn)品上打造一款LBS AR游戲，但是要等到一款高質(zhì)量且高體驗(yàn)的設(shè)備出行，可能還需要幾年。

VR陀螺：目前，Niantic有計(jì)劃為Apple Vision Pro開發(fā)MR游戲嗎？

Brian McClendon：Apple Vision Pro是一款很漂亮的產(chǎn)品，也是一款很專業(yè)的設(shè)備。從產(chǎn)品上來說，Vision Pro很適合被用來開發(fā)混合現(xiàn)實(shí)類的游戲，只是具體到LBS AR游戲，還是前面的問題，目前很難走到戶外。另一個(gè)問題是，開發(fā)成本會(huì)很高。我們期待蘋果能夠推出下一代MR產(chǎn)品，更低的價(jià)格，更低的成本，且具有更高的開發(fā)條件，我們會(huì)很有興趣為這款產(chǎn)品開發(fā)內(nèi)容。

VR陀螺：LBS AR游戲開發(fā)主要困難有哪些？

Brian McClendon：LBS AR游戲基于真實(shí)世界，然后去創(chuàng)建AR世界地圖，進(jìn)而讓真實(shí)世界的物體與虛擬世界的構(gòu)建互動(dòng)起來，最大的難題還是在地理位置上。你想在真實(shí)世界創(chuàng)建了一個(gè)自己的3D地圖，然后很多人都可以訪問，技術(shù)上是有很大難度的。

LBS AR游戲的體驗(yàn)很依靠技術(shù)的變化，以技術(shù)的力量連接真實(shí)世界與玩家。我們近期推出的Scaniverse就很好的解決了這個(gè)問題，用戶可以很快掃描真實(shí)世界的物體，生成3D模型，然后在共享地圖中快速加入自己掃描的部分。

VR陀螺：去年，Niantic宣布將在2024年為《寶可夢Go》融合AI技術(shù)，目前進(jìn)展如何？AI在LBS AR游戲的開發(fā)上有哪些具體表現(xiàn)？

Brian McClendon：我們正在將AI技術(shù)應(yīng)用于我們所開發(fā)的游戲中，AI技術(shù)的成熟應(yīng)用可以很快通過語義就能識(shí)別花、草、樹木等各種植物，也可以實(shí)時(shí)根據(jù)真實(shí)空間中的其他內(nèi)容做出反應(yīng)，并于虛擬世界展開深度互動(dòng)。我們也認(rèn)為AI技術(shù)的發(fā)展必將有益于游戲的開發(fā)，我們同樣期待看到AI更多的表現(xiàn)。感謝！

VR陀螺：非常感謝Brian McClendon抽出時(shí)間與我們對話，期待下次會(huì)見！