文/VR陀螺 小鉆風

近年來，云計算、云服務在微軟、亞馬遜、騰訊、阿里、華為等眾多大廠的競爭與參與下，成為了人們的關注焦點。

AR Cloud，連接虛擬世界與物理世界，被描述為真實世界的數字孿生，或者說是現(xiàn)實世界的數字副本，也是大廠默默發(fā)力的重點。

AWE創(chuàng)始人，同時也是Flyby（2016年被蘋果收購，成為ARKit基礎技術來源之一）聯(lián)合創(chuàng)始人的Ori Inbar，曾在Super Ventures投資博客中這樣評價AR Cloud：

“能實現(xiàn)移動AR大規(guī)模使用的，不是ARKit、ARCore，而是AR Cloud。”

可見AR Cloud在移動AR大規(guī)模應用中，扮演的角色之重要。近幾年，在AR Cloud上看似寂寂無聲的大廠其實都有動作。

比如蘋果發(fā)布AR Cloud，ARKit 4.0版本增加核心功能Location Anchor；微軟推出新AR平臺Spatial Anchors，今年還與ARwayKit合作構建AR Cloud；Facebook收購AR云地圖公司Space；Niantic收購AR Cloud公司6D.ai等等。不僅如此，還出現(xiàn)了與大廠們操作風格不一致的Open AR Cloud。

為什么說能實現(xiàn)移動AR大規(guī)模使用的是AR Cloud？大廠近期在AR Cloud上又有何具體動作？又為何會引起Open AR Cloud的出現(xiàn)？

移動AR缺的不僅是ARKit

而是虛擬與現(xiàn)實的連接介質AR Cloud

2017年，ARKit、ARCore由蘋果、谷歌相繼推出后，似乎一夜之間，開發(fā)者便可以輕松實現(xiàn)AR應用程序的免費創(chuàng)建。ARKit發(fā)布半年，便超1300萬下載。

然而開發(fā)者經歷過初期的新奇與追捧后，AR應用程序并未迎來預期的快速傳播。2017年10月，App Store中在ARKit上線應用約300款，之后這一數字卻快速減少，開發(fā)者的興趣逐漸退燒。

圖源：網絡

這樣幾近沉默的狀態(tài)，從2017年至今仍未有大的起色，有人這樣形容：“基于ARKit & ARCore創(chuàng)建的應用程序，就像90年代沒有網友的網上沖浪”。

AWE創(chuàng)始人Ori Inbar說：“ARKit的發(fā)布雖然對AR產業(yè)意義重大，但它無法承載AR應用程序的廣泛采用。”

AWE創(chuàng)始人Ori Inbar（圖源：網絡）

開發(fā)者們單依靠ARKit開發(fā)出的體驗，被限制在單人體驗，不具備互聯(lián)網的社交性與互通性，而且AR體驗并不持久，無法在真實世界與虛擬世界之間持續(xù)。

想要實現(xiàn)AR應用程序的廣泛采用，需要的是AR Cloud，讓AR體驗實現(xiàn)跨空間、時間與設備的持續(xù)存在。

在Ori Inbar的設想中，想要實現(xiàn)這一點，他對iPhone X的期待不是ARKit，而是后置深度攝像頭，用于感知周圍環(huán)境并創(chuàng)建用戶間可共享的豐富、精確的3D世界地圖。

去年9月，蘋果發(fā)布的iPhone 12 Pro搭載的雷達掃描儀LiDAR，終于契合了Ori Inbar對后置深度攝像頭的期待。

什么是AR Cloud？

有沒有玩過MMO（大型多人在線游戲）？在MMO的開放世界中，充斥著由游戲制作者設定的各類角色、故事情節(jié)與內容，玩家與其他玩家在這個世界中協(xié)同戰(zhàn)斗。

我們可以將AR Cloud想象成MMO，只是這個開放世界并非由游戲制作者設定，而是真實世界的數字版，所呈現(xiàn)的信息是與真實世界完美匹配的真實信息，玩家則是真實的伙伴。

正如前文所述，AR Cloud是真實世界的數字孿生，是地球上所有地點的數字副本。

AR Cloud系統(tǒng)需包含三大要素：

與現(xiàn)實世界坐標對齊的持久點云；

能夠實現(xiàn)在任何地點，多個設備上進行即時本地化，即讓虛擬世界與真實世界對齊；

能夠將虛擬內容放置在真實/虛擬世界中，并能通過設備與之實時進行遠程交互。

所謂點云，是指某個坐標系下點的數據集，點包含豐富的信息，比如三維坐標、顏色、分類值等等。

AR Cloud就是由這些點云數據構成，這些點云數據如何得來？通過類似LiDAR的激光掃描儀、深度攝像頭等本地設備從真實世界獲取后上傳共享。

AR Cloud由不同的用戶通過手機攝像頭獲取不同的數據，這些數據集合起來才能形成真正完整的AR Cloud。

在點云數據的采集中，會涉及一個關鍵性工具——深度攝像頭。深度攝像頭是非常重要的一個組件，它可以很大程度上幫助3D地圖的創(chuàng)建，這是普通攝像頭做不到的。

深度攝像頭搭配人工智能算法，可以更好地理解場景的幾何形狀，其算法的工作方法與常規(guī)智能手機類似，但捕獲的點云更密集、更精確，能產生更高質量的AR Cloud。

曾有少數設備提供這一功能但卻并未被大面積采用，Tango僅銷售數千臺，Occpital傳感器僅出售幾千套，基于Tango的聯(lián)想Phab 2 Pro是第一款帶有深度攝像頭的商用智能手機，同樣采用率不高，Asus ZenFone AR設備更輕薄，但采用率同樣理想。

也這是Ori Inbar為什么那么期待iPhone X搭載深度攝像頭的原因。

此外，為使AR應用能夠按創(chuàng)建者意圖將虛擬內容放置到真實世界中，設備需要理解攝像頭相對于環(huán)境的幾何位置。

為了找到合適的位置，設備需要將攝像視野中的關鍵特征與AR Cloud中的點云進行匹配。

為了實現(xiàn)即時定位，AR Cloud定位設備必須基于設備的方向以及GPS定位（或是Wifi、蜂窩信號等其他信號）縮小搜索范圍。搜索過程可通過使用更多的上下文數據與AR進行優(yōu)化。

一旦設備被定位后，ARKi t& ARCore可利用IMU、計算機視覺接管并執(zhí)行穩(wěn)定的追蹤。

現(xiàn)在已有多種解決方案用于像Google Tango、Occipital Sensor、ARKit & AR Core這樣的設備定位，但這些開箱即用的解決方案，只能一次針對一個本地點云進行本地化。微軟的HoloLens可以針對一組點云進行本地化，但僅限于HoloLens。

AR Cloud能做什么？

AR云能讓整個世界變成一個共享空間，可實現(xiàn)多用戶參與和協(xié)作。

基于ARKit & ARCore構建的應用均為單用戶體驗，而AR Cloud則可以實現(xiàn)共享體驗，讓用戶可以像是在真實世界中一樣，共同體驗交流，比如共同學習、討論、完成設計等等。

而且AR世界與真實世界相比，能實現(xiàn)更加快速的信息匹配。目前世界上大多數信息均以數字文檔、視頻等形式組織起來，存儲在服務器上，但這些信息需要通過某種形式的搜索去發(fā)現(xiàn)。

此前谷歌有數據顯示，超過50%的搜索是通過移動端實現(xiàn)的，人們對信息的及時性需求已經越來越強。

AR Cloud充當現(xiàn)實世界的3D副本，其自動識別與匹配能力可簡化搜索，面對識別物體呈現(xiàn)相對應的信息。

因此，有說法認為，誰控制了AR Cloud，誰就控制了下一代計算平臺組織與訪問世界信息的方式。

然而AR Cloud的構建并不容易。首先，用戶量得大，否則采集的范圍與AR Cloud的數據完整度會大大受限，目前能實現(xiàn)這一用戶量的設備，首選手機。

但數據采集有硬件上的要求，手機需搭載深度攝像頭，否則基于算法的AR始終難做到真實的虛實融合，目前看到能將LiDAR做到如此小型搭載到手機上的也僅蘋果一家。此外，三維空間重建所涉及的信息非常敏感，需要極高的安全保障。

那AR Cloud作為整個世界的數字孿生，誰有能力去建造如此大的項目？Ori認為只有蘋果、谷歌、微軟有這樣的實力去推出完整的AR Cloud。

AR Cloud創(chuàng)企呢？13th Lab被Facebook收購，Obvious Engineering/Seene與Cimagine被Snap收購，F(xiàn)lyby被蘋果收購，Georg Klein被Microsoft納入......

AR創(chuàng)企有前瞻性的眼光，但卻并不具備這樣的實力，優(yōu)秀的創(chuàng)企多被大廠直接收割。AR Cloud終究還是大型玩家們的游戲。

蘋果、微軟等一眾大廠

均圍繞AR平臺、硬件深耕AR Cloud

自Facebook以20億美元價格收購Oculus后，VR/AR產業(yè)迎來熱潮，不少創(chuàng)企開始從事類似ARKit & ARCore的研究，但在作為大廠的蘋果與Google推出ARKit、 ARCore后，他們的發(fā)展空間被擠壓。

在這樣的背景下，這些創(chuàng)企開始爭相調整自己在AR中的定位，其中一些創(chuàng)企尋找的方向便是AR Cloud。AR研究員與部分行業(yè)內部人士早已預見，世界實時空間地圖AR Cloud將成為計算中最為重要的軟件基礎架構。

然而就如前文所述，當中不少優(yōu)秀的創(chuàng)企直接被大廠收購，ARKit也是在蘋果收購Flyby后，在其基礎上研發(fā)的。

蘋果在AR上最引人注目的舉動是ARKit與LiDAR。2020年，繼iPad Pro搭載LiDAR后，iPhone 12 Pro/Pro MAX也搭載LiDAR，這直接降低了消費級設備可進行深度信息捕獲的門檻，實現(xiàn)了Ori對蘋果手機的設想。在iOS系統(tǒng)中，可通過ARKit獲取LiDAR的數據。

在推出iPhone 12系列的同時，蘋果將ARKit更新至4.0版本，其核心功能是Location Anchor（錨定位點）與深度API。

圖源：Apple

錨定位點可將AR體驗放置在特定的地方，例如某個地標。通過位置錨定點算法，用戶可以將AR創(chuàng)建錨定在特定的緯度，經度和海拔坐標上。用戶可以在虛擬對象周圍移動，并從不同的角度查看它們，就像通過攝像機鏡頭看到的真實對象一樣。

（“錨”的作用在于確保對象在空間中保持相同的位置與方向，每個錨點都有一個坐標系統(tǒng)，可以根據需要相對于其他錨點或參考系進行調整，以維持放置在現(xiàn)實世界中虛擬對象的視覺效果。）

深度API，在配備了LiDAR的設備上可理解周圍環(huán)境的每像素深度信息，比如實現(xiàn)周圍現(xiàn)實環(huán)境對AR虛擬物體的遮擋。ARKit 4.0版本加上激光雷達LiDAR，將能輕松實現(xiàn)三維重建、動捕以及虛實遮擋。

不僅如此，2020年6月，蘋果還發(fā)布AR Cloud，并對邁阿密、洛杉磯、舊金山、芝加哥和紐約這五個城市進行了本地化圖像描述，因此蘋果的AR Cloud只能在這五個區(qū)域使用。蘋果的AR Cloud可提高蘋果地圖的精度。

據了解，蘋果的AR Cloud最可能來自于Apple Look Around（蘋果地圖的環(huán)顧功能），部分原因是他們收購了一家名為C3 Technologies的公司，該公司幾乎無需使用人工輸入便可創(chuàng)建高質量與精細的3D地圖。

谷歌2017年推出ARCore對標ARKit，ARcore早已具備AR Cloud能力，官方將其稱為Cloud Anchors（云錨點）于2018年推出。

圖源：Google

通過 Google 的云服務托管錨點，可以讓多人在同一虛擬世界共享與互動，但受政策限制，其持久化功能限定在24小時，之后數據會清空。

之后更新的全新持久云錨點則加強了這一功能，讓用戶將虛擬內容“儲存”到任意現(xiàn)實場景中，將文字、影像信息，或3D人物虛擬內容的和現(xiàn)實世界地點關聯(lián)起來，永久保存共享。

不僅如此，在蘋果搭載LiDAR后，谷歌似乎有意為Pixel旗艦機型增加雙攝像頭立體深度支持。

微軟與蘋果、谷歌不同，它在AR上擁有領先的設備HoloLens，HoloLens很早便能實現(xiàn)世界錨點（World anchor）與持久化功能，這意味著微軟很早便看中AR Cloud市場。

2019年2月，微軟推出新的云AR平臺Microsoft Azure Spatial Anchors，Spatial Anchors使用戶可創(chuàng)建云錨，應用程序可在多個HoloLens，iOS和Android設備之間共享空間錨點。通過讓每個設備使用相同的空間錨點渲染全息圖，所有用戶都將看到全息圖出現(xiàn)在現(xiàn)實世界中的同一位置。這樣可以實現(xiàn)實時共享體驗。

圖源：微軟

還可以在HoloLens，iOS和Android設備之間實現(xiàn)異步全息圖的持久。通過共享持久的云空間錨，多個設備也可以隨時間觀察相同的持久全息圖，即使這些設備未同時出現(xiàn)。

今年3月，微軟還與ARwayKit合作構建AR Cloud，ARwaykit能提供AR軟件套件，讓開發(fā)者在短時間內構建數字世界，此外，ARWAY通過AI增強攝像頭設備讓需要能提供超精確定位的應用識別周圍環(huán)境。

圖源：ARWAY

開發(fā)人員可利用Azure Spatial Anchors使用ARwayKit創(chuàng)建高度可擴展的和位置持久的AR體驗。

Facebook也于去年2月收購AR云地圖公司Scape，據了解收購規(guī)模為4000萬美元；《Pokemon Go》開發(fā)商Niantic收購AR Cloud公司6D.ai ......

AR Cloud成為大廠的重要布局方向，但目前尚未有真正的勝利者出現(xiàn)。然而被私有大廠所掌握的AR Cloud卻也有顯而易見的弊端，隱私的不安全性與高度封閉性。

為此，一個名為Open AR Cloud的組織走出來，站在了大廠私有的AR Cloud對立面。

封閉or開放，大廠策略下的Open AR Cloud

Open AR Cloud，從名字可以看出它與AR Cloud的不同之處，它想要的是AR Cloud的開放性。

其使命是推動計算、數據、標準的開放性與可互操作性的發(fā)展，讓物理世界與數字世界更好的連接在一起，造福全人類。

微軟、蘋果、谷歌以及Facebook等大廠所構建的AR Cloud與其他競爭者之間豎立了圍墻。而Open AR Cloud恰恰相反，它試圖通過分布式體系結構與互操作性而構建的系統(tǒng)，將重點放在用戶隱私上。

這是一個很少人討論但是非常了不起的項目。與私有的AR Cloud相比，它能夠解決幾大關鍵性問題。

1、可訪問性

蘋果、微軟、Facebook已經在構建AR Cloud，但并非人人都能使用。用戶無法在AR中創(chuàng)建跨城市的AR體驗，僅能使用AR Cloud部分功能，比如共享錨點或是基于地理位置的應用程序，但無法在大的空間開發(fā)自己的共享持久性體驗。

圖源：The Ghost Howls

Open AR Cloud卻可以，AR Cloud的功能由創(chuàng)作者自己掌握。舉個例子，如果想使用Facebook將來的AR Cloud，想要在自己的城市做一個AR的安裝，需等待Facebook對自己的城市進行掃描，或者某些同樣使用Facebook AR Cloud用戶來到這個城市，進行掃描，F(xiàn)acebook將這位用戶的點云信息進行整合并批準，通過其API為該區(qū)域的每個人提供信息。

這個過程的控制權不在用戶手中。

Open AR Cloud卻可以，用戶可以直接去想要創(chuàng)建點云數據的地點，使用Augmented.City掃描應用程序，將掃描信息上傳至AR Cloud，隨后便可以使用。既無需征求任何形式的批準，也無需任何公司的人員來替她進行掃描。這對于在短時間內授權需要特定位置的內容創(chuàng)建者非常重要。

2、隱私問題

被巨頭所掌握的AR Cloud未來可能會受廣告的驅動，這可能會給用戶帶來巨大隱私問題。

Open AR Cloud建立在高標準的隱私保護基礎之上，不會將用戶數據出售給第三方，并會盡最大努力保證其存儲數據的安全性。

圖源：Open AR Cloud

分布式AR將引起巨大的隱私問題，如果我們都使用開放式系統(tǒng)，那么我們所有人都可以過上更安全的生活。我還詢問了私人場所的問題，弗拉德回答我，可以從AR Cloud系統(tǒng)中禁止某個位置，以便無法對其進行掃描（這對于私人場所，政府建筑物，軍營等都非常有用） …）。如果在禁止請求之前已經對系統(tǒng)進行了掃描，則系統(tǒng)會禁止將其用于本地化，因此無法再使用。

3、互操作性

Open AR Cloud的生態(tài)系統(tǒng)是開放的，只要用戶支持該組織的創(chuàng)建協(xié)議，便可成為系統(tǒng)的一部分。

目前Open AR Cloud中的AR Cloud并非由一個提供商提供，而是由Augmented.City、Immersal兩家公司提供。這兩公司共同遵循Open AR Cloud協(xié)議，因此兩個系統(tǒng)可以協(xié)作，互相開放，具有互操作性。

基于Open AR Cloud構建的游戲

4、收益共享

據介紹，用戶掃描某個位置并將其上傳到云中，Open AR Cloud可以將收到的有關該位置的所有呼叫收益分享給用戶。

當前世界上大部分地區(qū)尚未進行掃描，第一個掃描某區(qū)域的人，可能會獲得該區(qū)域所有AR操作的獎勵。因此一旦Open AR Cloud普及并建立了系統(tǒng)，或許是賺錢（獎勵的）好機會。

不過，目前該收益共享機制尚未確定下來。

5、掃描上傳過程簡單

使用Open AR Cloud相應的應用程序，用戶完成掃描后，系統(tǒng)將直接在云中與世界數字孿生的其他部分進行合并。目前該應用程序還處于公開測試階段。

結語

谷歌的衛(wèi)星地圖讓用戶從衛(wèi)星上鳥瞰地球已經令人咋舌，基于全球地理位置的AR Cloud如果構建完成并投入實際應用，隨時隨地瀏覽任意地點，并顯示相關信息，那將是更令人驚嘆的存在。

現(xiàn)在AR Cloud之所以暫時無法大力推行的一個重要原因，或許就在于安全問題而非技術。

Open AR Cloud為AR Cloud提出了新的解決方案，用以降低隱私問題的危害，并盡可能的將控制權交還給用戶。但面對多位強勢的大廠，這條路最終會走向何方并不清楚。

從陀螺君的角度來看，AR Cloud或許很長一段時間內或者是永遠，都將在限制下前行，難以完成全球數字孿生的宏大愿景。

如果人人都是信息的獲取者，能將信息自由保存、上傳至云端共享，即使有協(xié)議，有監(jiān)管，一旦開啟，如果沒有得到好的利用，將又是一扇難以關閉的大門。

參考鏈接：

https://skarredghost.com/2021/03/28/open-ar-cloud-pros/

https://medium.com/super-ventures-blog/arkit-and-arcore-will-not-usher-massive-adoption-of-mobile-ar-da3d87f7e5ad