HoloLens作為AR眼鏡高配，一直以來多被應用于工業(yè)甚至是軍事領域。可這次，陀螺君居然在HoloLens上看到游戲應用的出現(xiàn)，讓佩戴者與皮卡丘同框。

《Pokeman Go》HoloLens版

這是上周微軟在IT盛會Ignite 2021上與任天堂合作展示的HoloLens版本《Pokemon Go》。這個版本與此前的移動端版本有所不同，玩家可與寵物小精靈進行直接的互動，而且兩位玩家在現(xiàn)實中相遇，能夠看到彼此的寵物小精靈，來一場寵物小精靈Battle。

相比于《Pokemon Go》，微軟的黑科技“全息傳送”再現(xiàn)更引人關注，微軟技術研究員基普曼通過全息投影出現(xiàn)在了大會現(xiàn)場。

無論是HoloLens版本的《Pokemon Go》，還是基普曼的全息投影的實現(xiàn)，都是基于微軟最新推出的服務平臺Microsoft Mesh。

什么是Microsoft Mesh ？

Mesh作為一個由Azure提供支持的新的混合現(xiàn)實平臺，在此次大會上被微軟正式推出。據(jù)微軟介紹，它將簡化多用戶XR應用程序的創(chuàng)建。我們可以將Mesh理解為，是微軟為開發(fā)者提供用來創(chuàng)建多人XR應用程序的開發(fā)工具。

Mesh平臺允許處于不同物理位置的人們通過不同類型的設備，以虛擬形象甚至是全息投影的方式進行協(xié)作、共享，將最具真實感的自己投射在MR世界中與人交流，就像是在真實世界與人互動。

圖源：微軟官網

基普曼表示：“你可以感受到自己與他人進行內容共享，或是通過不同MR設備進行傳送，即使你們并不處在同一個物理位置。”

據(jù)微軟介紹，Mesh是微軟研發(fā)多年的成果，涉及內容從手部、眼動追蹤，Hololens的發(fā)展到創(chuàng)建持久性全息圖、創(chuàng)建個性化虛擬形象的人工智能模型。

云計算是微軟的核心業(yè)務，Mesh的底層就是云計算平臺Azure，受益于其龐大的計算資源、數(shù)據(jù)、人工智能以及MR服務。

因此Mesh是云計算的進一步擴展，Mesh所支持的全息傳送以及高精度的虛擬人物面部、動作追蹤等，需要云計算去幫助解決運算、硬件、渲染、儲存等諸多問題。

基普曼說：“我們將越來越多的價值建立在智能云Azure。在這些協(xié)作體驗中，其內容并存儲在設備或是應用中，而是儲存在云端，需要特殊的鏡頭讓我們去看到他。”

借助支持Mesh的應用，無論地理位置如何，用戶都可使用3D物理模型（無論是小到家具，還是大到噴氣發(fā)動機等等事物）在共享空間以自己虛擬形象或是全息投影形象出現(xiàn)在共享的虛擬空間中，在全息模型上進行協(xié)作。

Mesh介紹視頻

那微軟為何要推出多用戶XR應用程序開發(fā)平臺Mesh？

微軟在介紹中表示MR是繼大型主機、個人電腦、智能手機之后的第四波計算機浪潮，正在成為跨消費與商業(yè)領域的主流。MR將人們從屏幕體驗中解放出來，讓人們可以在自己的空間與人或物產生直接交互。

據(jù)介紹，世界上有數(shù)以億計的用戶通過手機進行過任天堂的MR體驗，《財富》雜志所統(tǒng)計的前五百強組織50%以上曾利用HoloLens等MR解決方案提高投資回報率，促進業(yè)務發(fā)展。

鑒于此，MR發(fā)展至今能為人們帶來MR體驗的應用程序數(shù)量應該非常可觀，然而事實并非如此，因為一些開發(fā)條件限制了開發(fā)人員的MR體驗的開發(fā)，特別是以下4個問題：

1、在MR體驗中呈現(xiàn)具有真實感的人需要大量時間與資源；

2、跨時區(qū)與設備類型在共享MR空間保持全息圖的穩(wěn)定并非易事；

3、難以將擁有高保真度的3D模型引入MR體驗以支持客戶所擁有的文件格式；

4、在地理位置相對分散的MR會話中，想要同步用戶的動作與表情是一項復雜的工作。

微軟正是為了解決這些挑戰(zhàn)而推出Mesh：讓開發(fā)人員進行多用戶MR應用程序設計，而無需擔心復雜的技術挑戰(zhàn)。

那Mesh所實現(xiàn)的功能背后是怎樣的技術在支撐？

Mesh功能呈現(xiàn)及技術解析

微軟對于Mesh的定位，主要在于打造能夠跨屏幕、自然交互、與真實觀景和人互動的體驗。因此該平臺需要圍繞微軟現(xiàn)有的HoloLens平臺、MR頭顯平臺以及更多常用平臺進行功能設計。

事實上，Mesh平臺從多個方面定義了未來XR應用應有的一些特質，比如跨平臺支持、基于云端服務、支持LBA AR等等。每一項功能單拎出來看，都有與之對應的企業(yè)及服務面向一部分特定用戶群體在蓬勃發(fā)展。

圖源：微軟官網

1、與微軟其他平臺、工具相互通

Mesh基于Azure打造，能與微軟其他平臺、工具相互通。借助Azure Active Directory和Microsoft帳戶等身份服務，在經過適當身份驗證和授權后，能將用戶帶入安全且受信任的會話中。Microsoft Graph則可讓用戶將商業(yè)或是消費者空間的內容、聯(lián)系等信息接入。而且作為開發(fā)人員，而無需擔心計費、音視頻傳輸、底層實時管理功能等核心基礎架構。

除了核心平臺，微軟由AI支持的關鍵性功能讓Mesh能通過實現(xiàn)用于MR的大規(guī)模多用戶在線（MMO）場景來解決一些復雜的技術挑戰(zhàn)。

2、臨場感

Mesh提到的臨場感主要指兩點，第一點是有代表性的虛擬形象，在多用戶MR體驗中，不同類型設備使用不同代表性虛擬形象，這些虛擬形象用戶可進行個性化定制。Mesh通過設備的Inside-out傳感器為用戶提供有代表性的3D虛擬形象并做出呈現(xiàn)。Mesh平臺自帶虛擬形象與自定義制作工具，因此虛擬形象可直接使用。此外，該平臺還可以通過其AI驅動的動作模型幫助現(xiàn)有的虛擬形象捕獲與用戶動作一致的動作和表情。

第二點是通過Outside-in傳感器實現(xiàn)真實的360度全向拍攝，這些傳感器可進行自定義相機的設置，比如通過 Mixed Reality Capture Studio將捕獲的3D圖像以高保真度保存下來，或是利用Azure Kinect捕獲深度感應用圖像，用以幫助生成全息圖像。

Mixed Reality Capture Studio

當全息圖生成后，可在XR頭顯或是手機、PC、平板電腦上啟用基于Mesh開發(fā)的應用程序使用全息圖，并將其呈現(xiàn)給用戶。

3、空間地圖

在Mesh到來之前，各種設備只擁有自己局部世界的地圖，而借助Mesh，這些本地緩存地圖可進行合并與優(yōu)化，形成一個對空間、環(huán)境的全局式了解。這個框架將內容進行錨定，視野進行分享，并進行3D協(xié)作。

Mesh幫助創(chuàng)建的地圖精度要高于GPS，甚至是在GPS無法進行定位的空間進行。它有助于交付可以與特定興趣點關聯(lián)的“世界鎖定全息圖”。此外，Mesh可以生成與給定對象的精確布局和幾何形狀對齊的相同理解，從而使開發(fā)人員可以輕松構建可能需要將對象與視覺信息（如指令、服務記錄，以及其他重要數(shù)據(jù)）完全匹配的可視化信息覆蓋的應用程序對象。

4、全息渲染

全息渲染是智能邊緣云計算和智能云架構的典型實例，全息渲染在Mesh的支持下可以對設備的運算與功耗不做要求的情況下，依然做到高保真度。Mesh允許開發(fā)者為每個場景與模型在本地獨立渲染與通過云連接進行的遠程渲染之間進行選擇，賦予了開發(fā)者在進行應用程序設計時更高的靈活度，這些應用程序可根據(jù)設備的不同進行延遲與保真度的優(yōu)化。

不僅如此，全息渲染還支持大多數(shù)的3D文件格式，在啟用Mesh的應用程序中進行本地渲染，從而解決引入用戶已有3D模型進行協(xié)作的問題。

5、多用戶同步

在虛擬協(xié)作會議中創(chuàng)建全息圖的共同視角，并且進行互相交流對開發(fā)者而言是一個大的挑戰(zhàn)。在Mesh中，共享的內容是通過多用戶同步啟用的，這將有助于對參與者姿勢、動作、表情，或是空間中全息圖的變化進行更新。所有這一些都發(fā)生在100毫秒的延遲內，無論是在同一個物理空間或是異時區(qū)。Mesh中的空間音頻會對這些功能進行增強，從而在多用戶場景中營造在相同物理空間的感覺。

據(jù)微軟介紹，為了利用這些功能，Mesh會為開發(fā)者提供跨平臺的SDK，以便開發(fā)者針對不同設備類型進行應用程序的創(chuàng)建。目前Mesh與C++與C#一起支持Unity，在接下來的幾個月中，Mesh將會支持Unreal、Babylon以及React Native。除了訪問功能外，SDK還提供預構建的UX結構，供開發(fā)人員在應用程序中使用。這將使得開發(fā)人員更快速、簡潔地提供MR體驗。

Mesh平臺的出現(xiàn)，將這一系列新功能集合到一起，共同成為XR應用的特質呈現(xiàn)。這種整合，將零星的技術方向化零為整，讓XR的概念逐步具象化，而這正是它的最大貢獻。

Mesh背后，Azure智能云帶來的價值

基于Mesh開發(fā)的XR應用程序，能被廣泛的應用于多個領域、多個場合，這主要歸功于Azure智能云帶來的價值。

Mesh的虛擬協(xié)作特性，能讓跨時區(qū)的用戶通過數(shù)字化的方式匯聚在一起，共同探討理解有助于更快速地查看數(shù)據(jù)資料，并更好地做出決策。

用戶可進行隨時隨的共同訓練，得益于”Holoportation”（全息傳送：微軟公司開發(fā)的3D視頻捕捉系統(tǒng)）、全息共享與可視化功能，合作伙伴無需花費時間與精力在旅途中，便可進行面對面的學習。

例如，遠程醫(yī)療，專家可以看到其他醫(yī)師的診斷，并進行數(shù)據(jù)覆蓋以確保達成共識，更好地解決問題、共同制定決策。設計師、工程師可共同進行3D設計，團隊成員可在參與設計時利用不同設備進行想法和創(chuàng)造力的分享。無論是在現(xiàn)實中親臨現(xiàn)場，還是通過全息傳輸，同事間都能在內容上進行實時協(xié)作。

Mesh的多應用場景與基于云計算平臺Azure的性質，意味著微軟云計算產業(yè)與MR業(yè)務的擴展。

微軟技術研究員亞歷克斯·基普曼（Alex Kipman）表示：“從一開始，這就是混合現(xiàn)實的夢想。” 實際上，您可以感覺自己就像在與共享內容的人在同一個地方，或者您可以從不同的混合現(xiàn)實設備進行傳送，即使在身體不在一起的情況下也可以與人們在一起。”

他認為，伴隨著越來越多的人在Mesh平臺活躍，我們所有人都是參與正在Azure智能云中建立價值的一環(huán)。在這些協(xié)作體驗中，內容不在目前用戶的設備或應用程序內部。全息內容被上傳到到云端，這意味著用戶所佩戴的混合現(xiàn)實設備只需要負責沉浸式的呈現(xiàn)視覺效果和交互即可。對于有限算力的個體而言，這是一種飛躍。”

最重要的是，隨著XR應用在Meah平臺的逐漸發(fā)展和成熟，更多的安全隱患和從未見過的網絡安全事件開始成為備受矚目的焦點。相比之前，在基于Azure智能云Meah平臺上獲得的新版AltspaceVR體驗，可以使公司能夠使用企業(yè)級安全功能（包括安全登錄，會話管理和隱私合規(guī)性）在虛擬現(xiàn)實中舉行會議和工作聚會。

Azure智能云為Meah容納海量模型場景和人物提供先決條件，這令該平臺與傳統(tǒng)意義上的APP區(qū)分開來。你可以理解為在XR環(huán)境下，這種應用間的穿梭更像是一種城市之間的一次旅行，期間不會產生下載的過程，更不會出現(xiàn)硬件算力適配的問題。

實際上，自2020年末開始，各個大廠開始權力推行基于云服務的平臺服務策略。其中，Epic的數(shù)字人平臺、HTC的VR社交平臺等等，均先后擁抱云技術。算力、資源的云端化，將為更加安全、高性價比的XR體驗下放到每個普通消費者身邊，這也是XR產業(yè)普及的曙光。

總結

微軟在XR方向布局不遺余力，也正如技術負責人Alex Kipman從“海底深處”突然“閃現(xiàn)”，之后用詩般浪漫的念白開場所述—— 一個人做夢只是夢而已， 所有人一起做的夢就叫現(xiàn)實。

錯失移動互聯(lián)網先機的微軟，正在MR領域結合云計算優(yōu)勢帶著每個人最近未來。Mesh，絕非是錦上添花的存在，如果保持這樣的優(yōu)勢，擁有XR底層開發(fā)系統(tǒng)與云計算支持的微軟或將定義XR未來的某些標準。

而隨著蘋果、Facebook等紛紛以不同方向入局，這將為未來的MR產業(yè)帶來極為豐富的生態(tài)。