HoloLens作為AR眼鏡高配，一直以來多被應(yīng)用于工業(yè)甚至是軍事領(lǐng)域。可這次，陀螺君居然在HoloLens上看到游戲應(yīng)用的出現(xiàn)，讓佩戴者與皮卡丘同框。

《Pokeman Go》HoloLens版

這是上周微軟在IT盛會(huì)Ignite 2021上與任天堂合作展示的HoloLens版本《Pokemon Go》。這個(gè)版本與此前的移動(dòng)端版本有所不同，玩家可與寵物小精靈進(jìn)行直接的互動(dòng)，而且兩位玩家在現(xiàn)實(shí)中相遇，能夠看到彼此的寵物小精靈，來一場寵物小精靈Battle。

相比于《Pokemon Go》，微軟的黑科技“全息傳送”再現(xiàn)更引人關(guān)注，微軟技術(shù)研究員基普曼通過全息投影出現(xiàn)在了大會(huì)現(xiàn)場。

無論是HoloLens版本的《Pokemon Go》，還是基普曼的全息投影的實(shí)現(xiàn)，都是基于微軟最新推出的服務(wù)平臺Microsoft Mesh。

什么是Microsoft Mesh ？

Mesh作為一個(gè)由Azure提供支持的新的混合現(xiàn)實(shí)平臺，在此次大會(huì)上被微軟正式推出。據(jù)微軟介紹，它將簡化多用戶XR應(yīng)用程序的創(chuàng)建。我們可以將Mesh理解為，是微軟為開發(fā)者提供用來創(chuàng)建多人XR應(yīng)用程序的開發(fā)工具。

Mesh平臺允許處于不同物理位置的人們通過不同類型的設(shè)備，以虛擬形象甚至是全息投影的方式進(jìn)行協(xié)作、共享，將最具真實(shí)感的自己投射在MR世界中與人交流，就像是在真實(shí)世界與人互動(dòng)。

圖源：微軟官網(wǎng)

基普曼表示：“你可以感受到自己與他人進(jìn)行內(nèi)容共享，或是通過不同MR設(shè)備進(jìn)行傳送，即使你們并不處在同一個(gè)物理位置。”

據(jù)微軟介紹，Mesh是微軟研發(fā)多年的成果，涉及內(nèi)容從手部、眼動(dòng)追蹤，Hololens的發(fā)展到創(chuàng)建持久性全息圖、創(chuàng)建個(gè)性化虛擬形象的人工智能模型。

云計(jì)算是微軟的核心業(yè)務(wù)，Mesh的底層就是云計(jì)算平臺Azure，受益于其龐大的計(jì)算資源、數(shù)據(jù)、人工智能以及MR服務(wù)。

因此Mesh是云計(jì)算的進(jìn)一步擴(kuò)展，Mesh所支持的全息傳送以及高精度的虛擬人物面部、動(dòng)作追蹤等，需要云計(jì)算去幫助解決運(yùn)算、硬件、渲染、儲存等諸多問題。

基普曼說：“我們將越來越多的價(jià)值建立在智能云Azure。在這些協(xié)作體驗(yàn)中，其內(nèi)容并存儲在設(shè)備或是應(yīng)用中，而是儲存在云端，需要特殊的鏡頭讓我們?nèi)タ吹剿?rdquo;

借助支持Mesh的應(yīng)用，無論地理位置如何，用戶都可使用3D物理模型（無論是小到家具，還是大到噴氣發(fā)動(dòng)機(jī)等等事物）在共享空間以自己虛擬形象或是全息投影形象出現(xiàn)在共享的虛擬空間中，在全息模型上進(jìn)行協(xié)作。

Mesh介紹視頻

那微軟為何要推出多用戶XR應(yīng)用程序開發(fā)平臺Mesh？

微軟在介紹中表示MR是繼大型主機(jī)、個(gè)人電腦、智能手機(jī)之后的第四波計(jì)算機(jī)浪潮，正在成為跨消費(fèi)與商業(yè)領(lǐng)域的主流。MR將人們從屏幕體驗(yàn)中解放出來，讓人們可以在自己的空間與人或物產(chǎn)生直接交互。

據(jù)介紹，世界上有數(shù)以億計(jì)的用戶通過手機(jī)進(jìn)行過任天堂的MR體驗(yàn)，《財(cái)富》雜志所統(tǒng)計(jì)的前五百強(qiáng)組織50%以上曾利用HoloLens等MR解決方案提高投資回報(bào)率，促進(jìn)業(yè)務(wù)發(fā)展。

鑒于此，MR發(fā)展至今能為人們帶來MR體驗(yàn)的應(yīng)用程序數(shù)量應(yīng)該非?？捎^，然而事實(shí)并非如此，因?yàn)橐恍╅_發(fā)條件限制了開發(fā)人員的MR體驗(yàn)的開發(fā)，特別是以下4個(gè)問題：

1、在MR體驗(yàn)中呈現(xiàn)具有真實(shí)感的人需要大量時(shí)間與資源；

2、跨時(shí)區(qū)與設(shè)備類型在共享MR空間保持全息圖的穩(wěn)定并非易事；

3、難以將擁有高保真度的3D模型引入MR體驗(yàn)以支持客戶所擁有的文件格式；

4、在地理位置相對分散的MR會(huì)話中，想要同步用戶的動(dòng)作與表情是一項(xiàng)復(fù)雜的工作。

微軟正是為了解決這些挑戰(zhàn)而推出Mesh：讓開發(fā)人員進(jìn)行多用戶MR應(yīng)用程序設(shè)計(jì)，而無需擔(dān)心復(fù)雜的技術(shù)挑戰(zhàn)。

那Mesh所實(shí)現(xiàn)的功能背后是怎樣的技術(shù)在支撐？

Mesh功能呈現(xiàn)及技術(shù)解析

微軟對于Mesh的定位，主要在于打造能夠跨屏幕、自然交互、與真實(shí)觀景和人互動(dòng)的體驗(yàn)。因此該平臺需要圍繞微軟現(xiàn)有的HoloLens平臺、MR頭顯平臺以及更多常用平臺進(jìn)行功能設(shè)計(jì)。

事實(shí)上，Mesh平臺從多個(gè)方面定義了未來XR應(yīng)用應(yīng)有的一些特質(zhì)，比如跨平臺支持、基于云端服務(wù)、支持LBA AR等等。每一項(xiàng)功能單拎出來看，都有與之對應(yīng)的企業(yè)及服務(wù)面向一部分特定用戶群體在蓬勃發(fā)展。

圖源：微軟官網(wǎng)

1、與微軟其他平臺、工具相互通

Mesh基于Azure打造，能與微軟其他平臺、工具相互通。借助Azure Active Directory和Microsoft帳戶等身份服務(wù)，在經(jīng)過適當(dāng)身份驗(yàn)證和授權(quán)后，能將用戶帶入安全且受信任的會(huì)話中。Microsoft Graph則可讓用戶將商業(yè)或是消費(fèi)者空間的內(nèi)容、聯(lián)系等信息接入。而且作為開發(fā)人員，而無需擔(dān)心計(jì)費(fèi)、音視頻傳輸、底層實(shí)時(shí)管理功能等核心基礎(chǔ)架構(gòu)。

除了核心平臺，微軟由AI支持的關(guān)鍵性功能讓Mesh能通過實(shí)現(xiàn)用于MR的大規(guī)模多用戶在線（MMO）場景來解決一些復(fù)雜的技術(shù)挑戰(zhàn)。

2、臨場感

Mesh提到的臨場感主要指兩點(diǎn)，第一點(diǎn)是有代表性的虛擬形象，在多用戶MR體驗(yàn)中，不同類型設(shè)備使用不同代表性虛擬形象，這些虛擬形象用戶可進(jìn)行個(gè)性化定制。Mesh通過設(shè)備的Inside-out傳感器為用戶提供有代表性的3D虛擬形象并做出呈現(xiàn)。Mesh平臺自帶虛擬形象與自定義制作工具，因此虛擬形象可直接使用。此外，該平臺還可以通過其AI驅(qū)動(dòng)的動(dòng)作模型幫助現(xiàn)有的虛擬形象捕獲與用戶動(dòng)作一致的動(dòng)作和表情。

第二點(diǎn)是通過Outside-in傳感器實(shí)現(xiàn)真實(shí)的360度全向拍攝，這些傳感器可進(jìn)行自定義相機(jī)的設(shè)置，比如通過 Mixed Reality Capture Studio將捕獲的3D圖像以高保真度保存下來，或是利用Azure Kinect捕獲深度感應(yīng)用圖像，用以幫助生成全息圖像。

Mixed Reality Capture Studio

當(dāng)全息圖生成后，可在XR頭顯或是手機(jī)、PC、平板電腦上啟用基于Mesh開發(fā)的應(yīng)用程序使用全息圖，并將其呈現(xiàn)給用戶。

3、空間地圖

在Mesh到來之前，各種設(shè)備只擁有自己局部世界的地圖，而借助Mesh，這些本地緩存地圖可進(jìn)行合并與優(yōu)化，形成一個(gè)對空間、環(huán)境的全局式了解。這個(gè)框架將內(nèi)容進(jìn)行錨定，視野進(jìn)行分享，并進(jìn)行3D協(xié)作。

Mesh幫助創(chuàng)建的地圖精度要高于GPS，甚至是在GPS無法進(jìn)行定位的空間進(jìn)行。它有助于交付可以與特定興趣點(diǎn)關(guān)聯(lián)的“世界鎖定全息圖”。此外，Mesh可以生成與給定對象的精確布局和幾何形狀對齊的相同理解，從而使開發(fā)人員可以輕松構(gòu)建可能需要將對象與視覺信息（如指令、服務(wù)記錄，以及其他重要數(shù)據(jù)）完全匹配的可視化信息覆蓋的應(yīng)用程序?qū)ο蟆?/span>

4、全息渲染

全息渲染是智能邊緣云計(jì)算和智能云架構(gòu)的典型實(shí)例，全息渲染在Mesh的支持下可以對設(shè)備的運(yùn)算與功耗不做要求的情況下，依然做到高保真度。Mesh允許開發(fā)者為每個(gè)場景與模型在本地獨(dú)立渲染與通過云連接進(jìn)行的遠(yuǎn)程渲染之間進(jìn)行選擇，賦予了開發(fā)者在進(jìn)行應(yīng)用程序設(shè)計(jì)時(shí)更高的靈活度，這些應(yīng)用程序可根據(jù)設(shè)備的不同進(jìn)行延遲與保真度的優(yōu)化。

不僅如此，全息渲染還支持大多數(shù)的3D文件格式，在啟用Mesh的應(yīng)用程序中進(jìn)行本地渲染，從而解決引入用戶已有3D模型進(jìn)行協(xié)作的問題。

5、多用戶同步

在虛擬協(xié)作會(huì)議中創(chuàng)建全息圖的共同視角，并且進(jìn)行互相交流對開發(fā)者而言是一個(gè)大的挑戰(zhàn)。在Mesh中，共享的內(nèi)容是通過多用戶同步啟用的，這將有助于對參與者姿勢、動(dòng)作、表情，或是空間中全息圖的變化進(jìn)行更新。所有這一些都發(fā)生在100毫秒的延遲內(nèi)，無論是在同一個(gè)物理空間或是異時(shí)區(qū)。Mesh中的空間音頻會(huì)對這些功能進(jìn)行增強(qiáng)，從而在多用戶場景中營造在相同物理空間的感覺。

據(jù)微軟介紹，為了利用這些功能，Mesh會(huì)為開發(fā)者提供跨平臺的SDK，以便開發(fā)者針對不同設(shè)備類型進(jìn)行應(yīng)用程序的創(chuàng)建。目前Mesh與C++與C#一起支持Unity，在接下來的幾個(gè)月中，Mesh將會(huì)支持Unreal、Babylon以及React Native。除了訪問功能外，SDK還提供預(yù)構(gòu)建的UX結(jié)構(gòu)，供開發(fā)人員在應(yīng)用程序中使用。這將使得開發(fā)人員更快速、簡潔地提供MR體驗(yàn)。

Mesh平臺的出現(xiàn)，將這一系列新功能集合到一起，共同成為XR應(yīng)用的特質(zhì)呈現(xiàn)。這種整合，將零星的技術(shù)方向化零為整，讓XR的概念逐步具象化，而這正是它的最大貢獻(xiàn)。

Mesh背后，Azure智能云帶來的價(jià)值

基于Mesh開發(fā)的XR應(yīng)用程序，能被廣泛的應(yīng)用于多個(gè)領(lǐng)域、多個(gè)場合，這主要?dú)w功于Azure智能云帶來的價(jià)值。

Mesh的虛擬協(xié)作特性，能讓跨時(shí)區(qū)的用戶通過數(shù)字化的方式匯聚在一起，共同探討理解有助于更快速地查看數(shù)據(jù)資料，并更好地做出決策。

用戶可進(jìn)行隨時(shí)隨的共同訓(xùn)練，得益于”Holoportation”（全息傳送：微軟公司開發(fā)的3D視頻捕捉系統(tǒng)）、全息共享與可視化功能，合作伙伴無需花費(fèi)時(shí)間與精力在旅途中，便可進(jìn)行面對面的學(xué)習(xí)。

例如，遠(yuǎn)程醫(yī)療，專家可以看到其他醫(yī)師的診斷，并進(jìn)行數(shù)據(jù)覆蓋以確保達(dá)成共識，更好地解決問題、共同制定決策。設(shè)計(jì)師、工程師可共同進(jìn)行3D設(shè)計(jì)，團(tuán)隊(duì)成員可在參與設(shè)計(jì)時(shí)利用不同設(shè)備進(jìn)行想法和創(chuàng)造力的分享。無論是在現(xiàn)實(shí)中親臨現(xiàn)場，還是通過全息傳輸，同事間都能在內(nèi)容上進(jìn)行實(shí)時(shí)協(xié)作。

Mesh的多應(yīng)用場景與基于云計(jì)算平臺Azure的性質(zhì)，意味著微軟云計(jì)算產(chǎn)業(yè)與MR業(yè)務(wù)的擴(kuò)展。

微軟技術(shù)研究員亞歷克斯·基普曼（Alex Kipman）表示：“從一開始，這就是混合現(xiàn)實(shí)的夢想。” 實(shí)際上，您可以感覺自己就像在與共享內(nèi)容的人在同一個(gè)地方，或者您可以從不同的混合現(xiàn)實(shí)設(shè)備進(jìn)行傳送，即使在身體不在一起的情況下也可以與人們在一起。”

他認(rèn)為，伴隨著越來越多的人在Mesh平臺活躍，我們所有人都是參與正在Azure智能云中建立價(jià)值的一環(huán)。在這些協(xié)作體驗(yàn)中，內(nèi)容不在目前用戶的設(shè)備或應(yīng)用程序內(nèi)部。全息內(nèi)容被上傳到到云端，這意味著用戶所佩戴的混合現(xiàn)實(shí)設(shè)備只需要負(fù)責(zé)沉浸式的呈現(xiàn)視覺效果和交互即可。對于有限算力的個(gè)體而言，這是一種飛躍。”

最重要的是，隨著XR應(yīng)用在Meah平臺的逐漸發(fā)展和成熟，更多的安全隱患和從未見過的網(wǎng)絡(luò)安全事件開始成為備受矚目的焦點(diǎn)。相比之前，在基于Azure智能云Meah平臺上獲得的新版AltspaceVR體驗(yàn)，可以使公司能夠使用企業(yè)級安全功能（包括安全登錄，會(huì)話管理和隱私合規(guī)性）在虛擬現(xiàn)實(shí)中舉行會(huì)議和工作聚會(huì)。

Azure智能云為Meah容納海量模型場景和人物提供先決條件，這令該平臺與傳統(tǒng)意義上的APP區(qū)分開來。你可以理解為在XR環(huán)境下，這種應(yīng)用間的穿梭更像是一種城市之間的一次旅行，期間不會(huì)產(chǎn)生下載的過程，更不會(huì)出現(xiàn)硬件算力適配的問題。

實(shí)際上，自2020年末開始，各個(gè)大廠開始權(quán)力推行基于云服務(wù)的平臺服務(wù)策略。其中，Epic的數(shù)字人平臺、HTC的VR社交平臺等等，均先后擁抱云技術(shù)。算力、資源的云端化，將為更加安全、高性價(jià)比的XR體驗(yàn)下放到每個(gè)普通消費(fèi)者身邊，這也是XR產(chǎn)業(yè)普及的曙光。

總結(jié)

微軟在XR方向布局不遺余力，也正如技術(shù)負(fù)責(zé)人Alex Kipman從“海底深處”突然“閃現(xiàn)”，之后用詩般浪漫的念白開場所述—— 一個(gè)人做夢只是夢而已， 所有人一起做的夢就叫現(xiàn)實(shí)。

錯(cuò)失移動(dòng)互聯(lián)網(wǎng)先機(jī)的微軟，正在MR領(lǐng)域結(jié)合云計(jì)算優(yōu)勢帶著每個(gè)人最近未來。Mesh，絕非是錦上添花的存在，如果保持這樣的優(yōu)勢，擁有XR底層開發(fā)系統(tǒng)與云計(jì)算支持的微軟或?qū)⒍xXR未來的某些標(biāo)準(zhǔn)。

而隨著蘋果、Facebook等紛紛以不同方向入局，這將為未來的MR產(chǎn)業(yè)帶來極為豐富的生態(tài)。