文/ VR陀螺 ZJ

不久前，微軟正式推出了Mesh平臺，此舉透露了微軟下一步想要主導(dǎo)MR領(lǐng)域的野心。Mesh將成為其中的重要一環(huán)，這尤其體現(xiàn)在企業(yè)客戶方面。

但除了公告中包含的一些細(xì)節(jié)外，真正讓一些業(yè)內(nèi)人士感到興奮的是Mesh發(fā)布時附帶的演示視頻（見下文）。它看起來就像鋼鐵俠全息實驗室里的東西，但有非常真實的傳感器和顯示技術(shù)的支持。

視頻來源：Microsoft

那么這段視頻是否真實準(zhǔn)確呢？如果是的話，視頻中的一些東西又是如何實現(xiàn)的呢？如果微軟真的專注于企業(yè)領(lǐng)域，那么包括那個令人驚奇的《精靈寶可夢Go》概念演示在內(nèi)的以消費者為中心的例子，背后的意義是什么？

為了解讀Mesh對于HoloLens 2和整個MR領(lǐng)域的真正意義，微軟的混合現(xiàn)實業(yè)務(wù)主管Greg Sullivan接受了外媒采訪，并回答了關(guān)于Mesh的許多問題。

核心能力：為用戶帶來臨場感

Greg Sullivan表示，微軟的Mesh平臺是一項Azure服務(wù)，它是一個協(xié)作的沉浸式平臺，使用Azure來為用戶提供這些功能。其解釋道：“它將利用我們幾年前推出的Azure遠(yuǎn)程渲染技術(shù)，并使用Azure來管理用戶身份，無論是通過Azure Active Directory還是通過用戶的微軟賬戶。”

Sullivan指出，Mesh的核心能力之一是一種臨場感，使用戶能感覺到就好像真的身處于距離數(shù)百或數(shù)千英里的地方一樣。Mesh為用戶帶來臨場感的方式之一是讓虛擬化身出現(xiàn)在某個地方。

其說道：“我們?yōu)橛脩舫尸F(xiàn)臨場感的方式之一就是虛擬化身。我們從《AltspaceVR》的虛擬化身形象系統(tǒng)開始，團(tuán)隊把它帶到了Azure平臺上，所以現(xiàn)在它將具備Azure的所有企業(yè)級管理和安全性，以及人們所期望的其他東西。”

圖源：Microsoft

當(dāng)用戶佩戴著HoloLens時，由于該設(shè)備擁有位置跟蹤和環(huán)境感應(yīng)攝像頭，因此HoloLens中的傳感器能夠在用戶移動時進(jìn)行追蹤。有趣的是，在Mesh中，HoloLens 2還可以做到完整的手部跟蹤。

正如人們所看到的，HoloLens 2在每只手上都能追蹤到25個不同的關(guān)節(jié)點。所以當(dāng)用戶佩戴著HoloLens并使用Mesh時，會在虛擬世界中成為一個虛擬化身，而且這個虛擬化身會擁有完全的手部動作。

Sullivan還指出，需要更多的傳感器才能實現(xiàn)完全的容積捕獲。目前HoloLens中的傳感器并不能捕捉用戶的容積，它們現(xiàn)在只能捕捉用戶在空間中的6DoF運動，以及所有的手部動作。

“如果你仔細(xì)看視頻，你會看到我們對Azure Kinect開發(fā)者套件和相機的參考。Azure Kinect深度感應(yīng)相機與HoloLens 2中的深度感應(yīng)傳感器相同，” Sullivan說道。

“這種特殊的相機是我們在Kinect中使用過的ToF紅外相機。這比僅使用HoloLens內(nèi)置的傳感器來追蹤用戶，并且僅僅將用戶表現(xiàn)為虛擬化身要更上一層樓。”

但如果使用Mesh的用戶并沒有HoloLens 2，又能夠使用怎樣的工具來連接這個平臺呢？

對此，Sullivan表示：“我想先把Mesh平臺和云服務(wù)區(qū)分開來。通過云服務(wù)，開發(fā)者可以把這些Mesh平臺的功能構(gòu)建到自己的應(yīng)用中去，這是一個沉浸式的協(xié)作云服務(wù)。任何開發(fā)者都可以用同樣的方式進(jìn)行編程，就像游戲開發(fā)者為Xbox編寫一款游戲那樣，只要插入Xbox Live，就可以自動讓它成為一款多人聯(lián)網(wǎng)游戲。”

“Mesh通過插入Mesh SDK并將該功能添加到應(yīng)用程序中，使任何應(yīng)用都能成為沉浸式、協(xié)作式的混合現(xiàn)實應(yīng)用程序。所以這個應(yīng)用可以在HoloLens上運行，也可以在Oculus上運行......你可以在Windows MR頭顯中，也可以在PC、Mac或智能手機上使用。所以，Mesh應(yīng)用的執(zhí)行環(huán)境是跨平臺的。”

Sullivan進(jìn)一步指出，微軟的愿景是無論用戶使用何種設(shè)備，都能在某種程度上參與Mesh。人們能在多種設(shè)備上運行支持Mesh的應(yīng)用，這樣就可以與朋友或同事在三維的虛擬空間中進(jìn)行協(xié)作。區(qū)別在于使用不同的硬件會有不同的體驗。如果大家都通過HoloLens 2運行一個Mesh應(yīng)用，那么將能夠以虛擬化身的形式進(jìn)行互動和協(xié)作。

Sullivan表示，雖然不能透露具體時間，但微軟將推出支持Mesh的Microsoft Teams。如果用戶是通過筆記本電腦加入會議，那么只能通過二維屏幕顯示內(nèi)容，雖然設(shè)備中沒有內(nèi)置位置跟蹤功能，但仍然能夠通過支持Mesh的Microsoft Teams加入會議。

圖源：Microsoft

“如果我們構(gòu)建的這個平臺只有在有HoloLens的情況下才能使用，那就限制了實際能使用這個平臺的人數(shù)?？诖镅b著智能手機的人遠(yuǎn)比擁有HoloLens的人要多得多。所以我們看中的是所有的終端，以及現(xiàn)在人們能體驗MR的所有方式，無論是《精靈寶可夢GO》還是其他東西，”

Sullivan說道。“這些智能設(shè)備有AR框架、iOS和Android、ARKit和ARCore，我們可以為它們添加新的能力，讓開發(fā)者可以為平臺構(gòu)建應(yīng)用，不管是在iPhone，還是Mac或PC端，他們都可以為應(yīng)用添加Mesh能力。”

賦能開發(fā)者，開發(fā)Mesh的創(chuàng)造性應(yīng)用

在微軟宣布推出Mesh并進(jìn)行演示后，有人認(rèn)為這個平臺與另一個遠(yuǎn)程協(xié)作平臺Spatial很相似，同時微軟也與Spatial保持著密切的合作關(guān)系。

對于二者在功能上是否有重疊或潛在競爭關(guān)系這個問題，Sullivan表示：“任何開發(fā)者都可以在他們的應(yīng)用中構(gòu)建協(xié)作、共享的沉浸式體驗。這將意味著Spatial可以與我們合作，對協(xié)作平臺基底進(jìn)行探索維護(hù)，然后他們可以進(jìn)行補充，并集中精力進(jìn)行投資和資源投入，以使他們的服務(wù)和應(yīng)用與眾不同。”

Sullivan在采訪中表示，目前Spatial已經(jīng)有了一個良好開端，他們對自己能提供的價值有了非常清晰的認(rèn)識，這在某些方面上將使他們能更專注于自己的產(chǎn)品。但人們?nèi)匀恍枰腥藖硖峁┮粋€通用的基礎(chǔ)，在這個基礎(chǔ)上，開發(fā)者們可以建立屬于自己的應(yīng)用，并滿足特定受眾的需求。

其說道：“這更像是一些底層標(biāo)準(zhǔn)……要考慮的是如何解決一些基礎(chǔ)性的管道問題。然后你可以在這個基礎(chǔ)上進(jìn)行構(gòu)建。”

從Sullivan的說法來看，如果舉例來說，微軟的Mesh平臺就像我們正在使用的網(wǎng)絡(luò)瀏覽器，而開發(fā)者們可以在此基礎(chǔ)上為人們創(chuàng)建可以滿足各種需求的瀏覽器。

Sullivan還表示，微軟將通過SDK免費為開發(fā)者提供Mesh平臺，就像游戲開發(fā)者可以免費為Xbox Live構(gòu)建應(yīng)用一樣，開發(fā)者同樣能夠免費構(gòu)建含有Mesh功能的應(yīng)用。

其還透露，微軟希望能通過預(yù)覽版Mesh獲得開發(fā)者的反饋。“當(dāng)我們開發(fā)Kinect時，能看到開發(fā)者對如何使用Kinect充滿了創(chuàng)造力。人們用很多非常有趣的方式來使用Kinect的深度感應(yīng)攝像頭，而且這些用例都與Xbox游戲無關(guān)。這也是開發(fā)者們發(fā)揮創(chuàng)造力的直接結(jié)果。”

“現(xiàn)在我們的Mesh正處于預(yù)覽階段，我們期待著將這個平臺交給開發(fā)者后，能讓我們學(xué)到很多關(guān)于如何使用它的創(chuàng)新方法。”

疫情推動人們接受新概念

在疫情的影響之下，遠(yuǎn)程工作已經(jīng)逐漸成為常態(tài)。許多人都在通過遠(yuǎn)程協(xié)作軟件進(jìn)行視頻會議，并已經(jīng)開始將AR和VR技術(shù)視作替代方案。Sullivan表示，在疫情的背景下，他們意識到了臨場感的重要性。

其說道：“每個人在使用Zoom或者Teams的時候都會或多或少產(chǎn)生倦怠感。這些工具很神奇，它們能讓我們在特殊時期繼續(xù)進(jìn)行自己的工作，但它也凸顯了一些我們無法從這些體驗中獲得的東西。”

“我們無法通過這些工具獲得真正的臨場感。我們無法在走廊上對話，在對話時無法望向?qū)Ψ降难劬?，也沒有正在合作的實感，這些都是我們很想念的事情。有些時候，人們確實需要臨場感，并且希望能夠面對面交流。”

圖源：Microsoft

“在這過去的一年中，我們看到了技術(shù)如何改善我們的工作方式，”Sullivan說道。

“對我個人來說，我已經(jīng)不再需要通勤了。因此，我認(rèn)為在這種情況下，技術(shù)可以真正幫助我們解決一些現(xiàn)在所面臨的問題。在過去的一年里，這場疫情已經(jīng)成為推動人們接受這一概念的加速器。我不認(rèn)為它從根本上改變了什么，但在某種意義上來說，它加速了一些可能會發(fā)生的事情的進(jìn)程。”

原文鏈接：

https://hololens.reality.news/news/inside-microsoft-mesh-what-is-does-work-we-have-answers-0384467/