文/VR陀螺 來福

“進(jìn)語(yǔ)音，開麥！”相信很多游戲玩家都對(duì)這句話深有感觸。不管是打PC電競(jìng)《堡壘之夜》、《守望先鋒》、《DOTA2》、《英雄聯(lián)盟》，還是用手機(jī)玩《王者榮耀》、《和平精英》甚至狼人殺，“游戲麥”都是雙手被占用的玩家之間主要的溝通方式。以音頻為基礎(chǔ)向外延伸出巨大的音視頻社交娛樂需求，在這種溝通方式的背后，是以實(shí)時(shí)音視頻互動(dòng)為基礎(chǔ)的新一代互聯(lián)網(wǎng)虛擬社交。

堡壘之夜游戲界面

圖源：3DM

在互聯(lián)網(wǎng)誕生之前，人們的娛樂、社交都是在真實(shí)世界中完成的?；ヂ?lián)網(wǎng)誕生后直至今日，人們的生活轉(zhuǎn)變?yōu)榘胝鎸?shí)半虛擬——一部分生活、工作、娛樂在現(xiàn)實(shí)中實(shí)現(xiàn)，另一部分則在網(wǎng)絡(luò)上完成。同時(shí)，網(wǎng)絡(luò)正在逐步覆蓋更多的真實(shí)生活方式，可以預(yù)見，下一代互聯(lián)網(wǎng)模式將把人類生活拆分成一個(gè)真實(shí)、一個(gè)虛擬的兩個(gè)平行空間，也就是所謂的Metaverse。

Metaverse是Meta+Verse的組合，也就是“元宇宙”，它被定義為“未來互聯(lián)網(wǎng)形態(tài)”，筆者認(rèn)為未來VR/AR將是Metaverse的承載終端。經(jīng)過Roblox上市估值暴漲、巨頭紛紛入局后，Metaverse概念逐漸為人所知。

以當(dāng)代人的世界觀解釋Metaverse，更貼切一點(diǎn)的說法就是類似電影《頭號(hào)玩家》中“綠洲”游戲一樣，在未來的互聯(lián)網(wǎng)世界中，人們會(huì)擁有虛擬形象，能夠在虛擬世界中擁有和現(xiàn)實(shí)世界一樣的“人生”，一樣生活、社交、工作、娛樂。

構(gòu)建理想中的Metaverse，重點(diǎn)是如何打造一個(gè)與現(xiàn)實(shí)生活平行的、體驗(yàn)幾乎無差異的虛擬世界，這其中涉及建模、定位技術(shù)、手勢(shì)識(shí)別、腦機(jī)接口等各類VR/AR底層技術(shù)，除此之外極其核心的還包括溝通方式，也就是高質(zhì)量、低延時(shí)的實(shí)時(shí)音視頻互動(dòng)技術(shù)。由于Metaverse將創(chuàng)造的是一個(gè)虛擬的平行世界，未來的人們將會(huì)花更多的時(shí)間在Metaverse上，這就像現(xiàn)在的我們已經(jīng)離不開手機(jī)了一樣。在這一前提下，VR產(chǎn)業(yè)的發(fā)展也就變成了不可阻擋的趨勢(shì)。

實(shí)時(shí)音視頻技術(shù)
將是構(gòu)建Metaverse的關(guān)鍵技術(shù)之一

牢牢把握美國(guó)下一代互聯(lián)網(wǎng)用戶的Roblox近期引爆了Metaverse概念，騰訊、Facebook也不甘落后，而巨頭對(duì)Metaverse的關(guān)注都共同指向一個(gè)終極——社交。但無論是手勢(shì)識(shí)別還是腦機(jī)接口，對(duì)人類來說都無法真正替代面對(duì)面的交流?？梢哉f，Metaverse最重要的就是與現(xiàn)實(shí)世界無差別的互動(dòng)體驗(yàn)，而實(shí)時(shí)音視頻技術(shù)可以提升用戶在虛擬世界中的沉浸感。

VR/AR行業(yè)一直強(qiáng)調(diào)的“沉浸感”是一種微妙的個(gè)人感受，它實(shí)際上是用戶的眼、耳、口、身多重感官的綜合體驗(yàn)，用戶在用眼睛、手腳感受逼真、炫酷的虛擬世界的同時(shí)，還能通過低延時(shí)、流暢的實(shí)時(shí)音視頻與虛擬世界中的其他真人玩家或者虛擬NPC實(shí)時(shí)溝通，實(shí)現(xiàn)彼此處于同一空間進(jìn)行面對(duì)面交流的體驗(yàn)。借助實(shí)時(shí)音視頻技術(shù)，未來你或許可以像《頭號(hào)玩家》里的沃茲一樣，與來自全世界的成千上萬的VR玩家在同一個(gè)具備強(qiáng)社交性、高度沉浸感、實(shí)時(shí)互動(dòng)的Metaverse虛擬世界中開啟歡暢聊天、組隊(duì)冒險(xiǎn)之旅。

圖源：網(wǎng)絡(luò)

正如前文所說，一些大廠已經(jīng)開始重視實(shí)時(shí)音視頻互動(dòng)技術(shù)并積極布局Metaverse領(lǐng)域，同樣的，VR/AR廠商也逐漸開始重視實(shí)時(shí)音視頻互動(dòng)技術(shù)在VR/AR領(lǐng)域的應(yīng)用。日前，HTC VIVE虛擬生態(tài)大會(huì)上，HTC 發(fā)布的ISV合作伙伴計(jì)劃中就有全球?qū)崟r(shí)互動(dòng)云開創(chuàng)者和引領(lǐng)者——聲網(wǎng)Agora的身影。那么，聲網(wǎng)Agora有何技術(shù)優(yōu)勢(shì)，聯(lián)手HTC又會(huì)為VR/AR技術(shù)的發(fā)展帶來什么變化呢？

落地10余行業(yè)100多種場(chǎng)景
月均用量超400億分鐘
聲網(wǎng)Agora 有何優(yōu)勢(shì)

簡(jiǎn)單來說，HTC VIVE ISV開發(fā)者計(jì)劃就是搭建一個(gè)開發(fā)商到企業(yè)之間的橋梁，一方面，為企業(yè)客戶拓展更多端到端的解決方案組合，另一方面為獨(dú)立開發(fā)者創(chuàng)建了平臺(tái)，提供更多資源和結(jié)構(gòu)化支持，幫助ISV加快VR解決方案的產(chǎn)出，并贏得更多商業(yè)機(jī)會(huì)。

圖源：網(wǎng)絡(luò)

作為首批參與ISV計(jì)劃的企業(yè)，聲網(wǎng)Agora成立于2014年4月，在實(shí)時(shí)互動(dòng)音視頻領(lǐng)域深耕多年。開發(fā)者只需簡(jiǎn)單調(diào)用API，30分鐘即可在應(yīng)用內(nèi)構(gòu)建多種實(shí)時(shí)音視頻互動(dòng)場(chǎng)景。聲網(wǎng)Agora API 已經(jīng)賦能社交直播、在線教育、游戲電競(jìng)、IoT、AR/VR、金融保險(xiǎn)、醫(yī)療、企業(yè)協(xié)作等10余行業(yè)，共計(jì)100多種場(chǎng)景。

隨著VR/AR技術(shù)從理論走向落地應(yīng)用，聲網(wǎng)Agora也逐漸意識(shí)到實(shí)時(shí)音視頻技術(shù)對(duì)該領(lǐng)域的重要性。聲網(wǎng)Agora對(duì)于VR/AR場(chǎng)景的定制化解決方案不僅保持著其實(shí)時(shí)音視頻技術(shù)一貫的高質(zhì)量、低延時(shí)、弱網(wǎng)對(duì)抗、高安全性等優(yōu)異特性，同時(shí)還支持跨網(wǎng)跨端互動(dòng)，實(shí)現(xiàn)全終端互聯(lián)互通。

在VR/AR中，如果要讓用戶相信，這是一個(gè)真實(shí)的空間并沉浸其中、不出戲，那么對(duì)音頻“空間感”的要求很高。值得一提的是，聲網(wǎng)的音頻編解碼專利技術(shù)，能夠支持全方位多聲道的立體聲——這也是VR/AR實(shí)現(xiàn)“沉浸感”的關(guān)鍵一環(huán)。

要實(shí)現(xiàn)完全沉浸，就要模擬人的五官感受，即視覺、聽覺、嗅覺、味覺、觸覺。受限于技術(shù)發(fā)展，目前仍只能實(shí)現(xiàn)部分沉浸，即視覺和聽覺模擬。視覺部分通過分辨率提升來達(dá)到更清晰的效果，而聽覺模擬則需要借助環(huán)繞立體聲，也就是我們通常所說的全景聲。

而聲網(wǎng)Agora的360°環(huán)繞立體聲功能，擁有真實(shí)的方位感、距離感，讓用戶在虛擬世界實(shí)現(xiàn)“聽聲辨位”、“聽聲識(shí)距”，這一技術(shù)的應(yīng)用，也會(huì)從實(shí)時(shí)音頻互動(dòng)的角度，進(jìn)一步提升VR/AR內(nèi)容帶給用戶的沉浸體驗(yàn)。

加速布局
聲網(wǎng)Agora實(shí)時(shí)音視頻技術(shù)
于VR/AR領(lǐng)域落地

在沉淀技術(shù)的同時(shí)，聲網(wǎng)Agora也同步在探索VR/AR領(lǐng)域的落地場(chǎng)景，并積累了諸多應(yīng)用實(shí)踐。

據(jù)了解，AR產(chǎn)品和服務(wù)提供商亮風(fēng)臺(tái)旗下HiLeia通訊平臺(tái)、AR+AI企業(yè)級(jí)服務(wù)商亮亮視野發(fā)布的AR眼鏡與人機(jī)協(xié)作平臺(tái)AR眼鏡GLXSS ME（Multi-Edition）均采用了聲網(wǎng)提供的實(shí)時(shí)音視頻解決方案。

圖源：亮風(fēng)臺(tái)

想要實(shí)現(xiàn)身臨其境的體驗(yàn)，讓用戶流暢地在自己的AR眼鏡中完成語(yǔ)音、視頻溝通，如遠(yuǎn)程專家與一線工人之間的協(xié)作，技術(shù)人員和維修人員的協(xié)作等等，意味著對(duì)實(shí)時(shí)通訊中的音視頻高清晰度、實(shí)時(shí)性以及穩(wěn)定可靠程度有著更高的要求。

聲網(wǎng)Agora的實(shí)時(shí)音視頻技術(shù)擁有專門針對(duì)弱網(wǎng)環(huán)境的算法和擁塞控制算法，保證在80%丟包下音頻通話流暢，70%丟包下視頻通話流暢，為用戶帶來更高效的遠(yuǎn)程協(xié)作體驗(yàn)。

此外，SD-RTN™是聲網(wǎng)專為實(shí)時(shí)互動(dòng)而創(chuàng)建的軟件定義實(shí)時(shí)網(wǎng)，覆蓋了 200+ 國(guó)家與地區(qū)，擁有超低延時(shí)、抗弱網(wǎng)、高并發(fā)、高可用等特性，全球端到端網(wǎng)絡(luò)優(yōu)質(zhì)傳輸率超過 99%，延時(shí)中位數(shù)76ms，能夠有效保障AR智能設(shè)備中的視頻通話超低延時(shí)體驗(yàn)。

在5G+AR加速落地的風(fēng)口下，聲網(wǎng)Agora的實(shí)時(shí)音視頻服務(wù)，作為5G應(yīng)用的重要組成部分，助力亮風(fēng)臺(tái)的AR行業(yè)解決方案，在智能制造、遠(yuǎn)程醫(yī)療等應(yīng)用場(chǎng)景中更好的實(shí)現(xiàn)商業(yè)落地。

針對(duì)AR智能硬件電池、CPU受限的問題，聲網(wǎng)Agora也在多方面進(jìn)行了優(yōu)化，包括編碼算法、降噪算法、幀率和分辨率的優(yōu)化算法，推出了專為智能設(shè)備定制的IoT SDK，可以真正做到低功耗、占用空間小，接口豐富，滿足個(gè)性化適配的需求。

此外，聲網(wǎng)還在去年推出全球首個(gè)可以跑在RTOS上的RTC SDK，也是業(yè)界最小的full-featured RTC實(shí)現(xiàn)，包體積300K以下，內(nèi)存占用2MB，CPU占用30MIPS，適合超低功耗、快速啟動(dòng)、成本敏感的IoT場(chǎng)景。

Metaverse 仍在技術(shù)積累期
聲網(wǎng)Agora入局
將夯實(shí)VR/AR底層技術(shù)“地基”

當(dāng)下，雖然全球科技、互聯(lián)網(wǎng)企業(yè)陸續(xù)加入到炙手可熱的Metaverse戰(zhàn)局中來，但距離真正的Metaverse實(shí)現(xiàn)仍有一段距離，目前依舊處于技術(shù)積累期，而VR/AR也將是腦機(jī)實(shí)現(xiàn)之前承載Metaverse的主要終端。

從PC時(shí)代到移動(dòng)時(shí)代，再到被稱為“下一代計(jì)算平臺(tái)”的VR/AR時(shí)代，人類社交的核心訴求并沒有發(fā)生變化，只是在每一代終端變革中，人與人之間的距離不斷拉近，虛擬世界中的溝通、交互方式越來越趨向真實(shí)。

聲網(wǎng)Agora 的合作客戶之一
（圖源：聲網(wǎng)Agora）

實(shí)時(shí)音視頻技術(shù)作為構(gòu)建Metaverse的底層核心技術(shù)之一，VR陀螺在與諸多VR/AR內(nèi)容開發(fā)者的交流中發(fā)現(xiàn)，在音視頻互動(dòng)技術(shù)方面，目前大家使用的基本都是開源SDK，雖然使用門檻低，但很難保證使用過程中的穩(wěn)定性。

且此前VR/AR產(chǎn)業(yè)對(duì)于該技術(shù)缺乏關(guān)注，導(dǎo)致能夠提供專業(yè)解決方案的企業(yè)只是鳳毛麟角。此次聲網(wǎng)Agora聯(lián)手HTC布局VR/AR應(yīng)用，于聲網(wǎng)Agora自身來看是挖掘全新領(lǐng)域、擴(kuò)大落地場(chǎng)景的機(jī)遇，而對(duì)于VR/AR產(chǎn)業(yè)來說，則是為底層技術(shù)夯實(shí)了“地基”。

2021年，VR/AR行業(yè)看到了不少新技術(shù)的發(fā)展，包括定位技術(shù)、手勢(shì)識(shí)別等，甚至腦機(jī)接口也已進(jìn)入普通用戶視野、開始探討商業(yè)落地可能性的階段。在Metaverse大放異彩、VR/AR技術(shù)重獲關(guān)注、行業(yè)加速奔跑的今天，聲網(wǎng)Agora和其強(qiáng)大的實(shí)時(shí)音視頻技術(shù)的加入，也將有效推動(dòng)未來虛實(shí)融合世界的加速到來。