VR陀螺/編譯

微軟在幾周前發(fā)布Mesh，此舉表明了微軟下一步計劃有意主導增強現(xiàn)實領域，特別是針對企業(yè)客戶。

但除了公告中所包含的一般細節(jié)外，真正讓一些業(yè)內(nèi)人士興奮的是推出Mesh的概念視頻，它有著非常真實的傳感器和顯示技術的支持。

Pokemon Go on HoloLens 2

視頻中出現(xiàn)的場景真的能實現(xiàn)嗎？如果微軟真的專注于企業(yè)領域，那么包括以消費者為中心的例子，比如Pokemon GO的概念視頻，背后的意義是什么？Mesh對于HoloLens 2和AR空間的真正意義是什么？帶著這些疑問，NextReality邀請微軟的Greg Sullivan進行了一次對話。

Adario Strange：首先，就Mesh的概念視頻來說，它是不可思議的。我認為很多人會為此感到興奮，因為它不僅看起來像科幻小說中才有的技術，而且我們還能通過HoloLens和Kinect來完成這些事情。大家所說的是可以通過簡單的虛擬化身實現(xiàn)的，而視頻中所顯示的更真實、更具體的全息圖像需要支持更多傳感器。我們所知道的Mesh就是這樣。希望能向我們講述一下我們在概念視頻中看到的Mesh真的能實現(xiàn)嗎？

Greg Sullivan：是的。我們也能使用簡單的虛擬化身，不過Microsoft Mesh的核心功能之一是臨場感，讓你真實地感覺自己置身于離你數(shù)百或數(shù)千英里之外的場景中。要遠距離表現(xiàn)你的形象，實現(xiàn)更真實還原的虛擬化身，我們從《AltspaceVR》化身系統(tǒng)開始，團隊就已經(jīng)將其引入Azure，因此它將繼承所有企業(yè)級管理和安全性的功能。

HoloLens有位置跟蹤和環(huán)境傳感攝像頭，能夠在你移動時追蹤你的動作。在Mesh中，HoloLens 2有一個很酷的功能，它可以進行手部追蹤。HoloLens 2在每只手上有25個不同的關節(jié)點。所以當你戴著HoloLens并使用Mesh時，你的化身將同步你在HoloLens 2中完全相同的手部動作。

你之前提到“需要支持更多的傳感器”，以便有完全的體積捕捉（Volumetric Capture），或者從一個化身變成一個完全的全息投影。實際上HoloLens中的傳感器不能進行體積捕捉全身動作，它能捕捉到你在空間中六個自由度的運動，并且捕捉到你的所有手部運動。

如果仔細查看Mesh概念視頻，您會看到Azure Kinect開發(fā)工具包和攝像頭的出現(xiàn)。Azure Kinect深度傳感攝像頭與HoloLens 2的傳感攝像頭一樣。視頻中用戶在桌子上工作，你看到他被捕捉到了全息影像，但只能看到人的正面。如果你有一個Kinect攝像頭，或用激光雷達等其他的深度感應攝像頭，也可以實現(xiàn)類似效果。用HoloLens內(nèi)置的傳感器來追蹤動作，并將你的化身表現(xiàn)出來，這是一個進步。

圖源：YouTube  Introducing Microsoft Mesh

Next Reality：假設我在一端使用HoloLens 2，另一端的人由[AltspaceVR風格]的化身，他們能使用什么設備?假設對方?jīng)]有HoloLens 2，他們會用什么不同的工具來連接?

Sullivan:在我深入回答這個問題之前，我想先區(qū)分一下Mesh平臺和服務——提供這些功能的云服務，開發(fā)人員可以將其構(gòu)建到自己的應用程序中。這是一種可以身臨其境的協(xié)作云服務。任何人都可以像游戲開發(fā)者一樣編寫游戲，例如，為Xbox編寫游戲然后通過插入Xbox Live自動將其變成多人網(wǎng)絡游戲。

Mesh通過插入Mesh SDK并將該功能添加到應用程序中，使其成為沉浸式、協(xié)作式的混合現(xiàn)實應用程序。因此,它可以在HoloLens和Oculus上運行……你可以戴著Windows XR頭顯,也可以在PC、Mac或智能手機上運行。因此，運行Mesh應用程序的執(zhí)行環(huán)境是跨平臺的。

不管你在什么設備上，你都應該能夠在某種程度上參與到Mesh中。如果能夠運行一個支持Mesh的應用程序，這樣你就可以在三維的虛擬空間中與你的朋友和同事協(xié)作。區(qū)別取決于你使用的硬件。如果雙方都戴著HoloLens 2，我們可以一同運行一個Mesh應用程序，我們將用化身來代表自己，在彼此周圍走動并進行合作。

但如果有人參加了會議，而且他們坐在二維屏幕的筆記本電腦前，這說明他們的設備也沒有位置追蹤功能。因此，如果他們想在房間里走動，必須“使用”光標導航，但我們可以邀請對方來我們的會議。但目前還沒有在應用程序中內(nèi)置這個功能，我們承諾能夠做到用戶最終都能夠通過一個支持Mesh云服務的Microsoft Teams加入會議，但是現(xiàn)在沒辦法公布確切的時間。

圖源：YouTube NIANTIC

首先，如果我們說Mesh只支持HoloLens時，這就限制了實際使用它的人數(shù)，擁有智能手機的人比擁有HoloLens的人要多得多。所以我們研究了所有的端點，以及人們體驗XR的所有方式，無論是《Pokemon GO》還是其他應用程序。這些智能設備有AR框架、iOS、Android、ARCore和ARKit，我們可以添加相應的功能，這樣開發(fā)者就可以為那個平臺開發(fā)應用，不管是iPhone、Mac還是PC，他們可以在他們的應用中添加Mesh功能。

Next Reality:訪問Mesh需要多少成本?是否有專業(yè)的開發(fā)人員和企業(yè)級別的版本?從可訪問性方面來說，這將如何推廣呢?

Sullivan:我們還不能給出很多細節(jié)方面的回答。但我們將在SDK中免費提供Mesh，讓開發(fā)者可以在任何應用程序中構(gòu)建這種功能，就像任何游戲開發(fā)者都可以為Xbox Live免費構(gòu)建一樣。

Next Reality:有了云組件，會設有一些收費結(jié)構(gòu)嗎?

Sullivan:是的，我認為這是一個合理的假設。我們在預覽版中試圖獲得開發(fā)者的反饋。當我們?yōu)閃indows開發(fā)Kinect時，看到開發(fā)者對如何使用Kinect產(chǎn)生了巨大的創(chuàng)造力。我們看到外科醫(yī)生在手術室里，指揮家在指揮管弦樂隊，所有這些使用Kinect深度感應攝像頭的方式都很有趣，而這些都是開發(fā)人員發(fā)揮創(chuàng)造力的直接結(jié)果。現(xiàn)在我們期待能有更多的創(chuàng)新的功能出現(xiàn)。

圖源：圖源：YouTube  Introducing Microsoft Mesh

Next Reality:對于那些不熟悉微軟軟件的人來說，Mesh與Azure這兩種服務都是面向云的，那么它們之間有什么區(qū)別呢?

Sullivan:我想說的是，Microsoft Mesh是一種Azure服務。它是一個協(xié)作的、沉浸式的平臺，通過使用Azure來實現(xiàn)這些功能，它將使用幾年前我們引入的Azure遠程渲染。無論是通過Azure Active Directory，還是Microsoft帳戶，它都是使用Azure來管理你的身份信息。

來源：Next Reality