編譯/VR陀螺

視覺元素是下一代數(shù)字體驗(yàn)的主要焦點(diǎn)，但音頻在促進(jìn)完全沉浸式交互方面也發(fā)揮著關(guān)鍵作用，人們聽到的聲音有助于傳送思想，并使虛擬環(huán)境變得生動。

這就是Meta公司新研究的意義所在。為了帶來更真實(shí)的AR和VR體驗(yàn)，Meta公司正在開發(fā)新的空間音頻工具，以響應(yīng)視覺中顯示的不同環(huán)境。

圖源：Meta

Meta的工作圍繞著人們在某些環(huán)境中期望體驗(yàn)的聲音的共性，以及如何將其轉(zhuǎn)化為數(shù)字領(lǐng)域而展開。

正如Meta所解釋的那樣：

無論是在元宇宙的聚會上與其他人打成一片，還是在客廳里通過AR眼鏡觀看家庭電影，聲學(xué)在這些時刻的體驗(yàn)中發(fā)揮著作用。我們設(shè)想的未來是，人們可以戴上AR眼鏡，重溫全息記憶，其外觀和聲音與他們從有利位置所經(jīng)歷的完全一樣，或者當(dāng)他們在虛擬世界中玩游戲時，不僅能沉浸在畫面中，而且也能沉浸在聲音里。

這可能使其即將推出的元宇宙更具沉浸感，而且聲音實(shí)際上在體驗(yàn)中發(fā)揮的作用比人們最初預(yù)期的要大得多。

Meta公司已經(jīng)在某種程度上考慮到了這一點(diǎn)，其第一代Ray-Ban Stories眼鏡，包括直接將聲音傳入用戶耳朵的揚(yáng)聲器。

揚(yáng)聲器的定位方式使人們能夠完全沉浸在音頻中，而無需額外使用耳機(jī)。而且該揚(yáng)聲器可能已經(jīng)成為這款時尚眼鏡設(shè)備的一個關(guān)鍵賣點(diǎn)。

為了將其沉浸式音頻元素推向下一個階段，Meta公司向開發(fā)者開放了三種新的視聽理解模型。

Meta表示："這些模型專注于視頻中的人類語言和聲音，旨在推動我們以更快的速度實(shí)現(xiàn)更加沉浸式的現(xiàn)實(shí)。"

Meta公司已經(jīng)開發(fā)了自己的自監(jiān)督視聽匹配模型，通過將這些聲學(xué)研究擴(kuò)展到更多的開發(fā)者和音頻專家那里，可以幫助Meta公司建立更加現(xiàn)實(shí)的音頻翻譯工具，以進(jìn)一步加強(qiáng)其工作。

這一點(diǎn)，可能比人們想象的更有意義。正如Meta首席執(zhí)行官馬克-扎克伯格所指出的那樣：

獲得正確的空間音頻將是我們?yōu)樵钪嫠鶚?gòu)建的東西中提供"令人驚嘆"體驗(yàn)的因素之一。我很高興看到它的發(fā)展。

與Ray-Ban Stories中的音頻元素類似，這種 "令人驚嘆"的因素很可能是讓更多人購買VR頭顯的原因，這可能有助于迎來Meta正在建立的數(shù)字連接的下一個階段。

因此，它最終可能會取得重大進(jìn)展，未來Meta公司將如何建立其空間音頻工具以加強(qiáng)其VR和AR系統(tǒng)？這是一件令人期待又有趣的事情。

來源：socialmediatoday