編譯/VR陀螺

近日，美國(guó)專利商標(biāo)局正式授予蘋果公司一項(xiàng)專利，該專利涉及AirPods Pro和其下一代頭戴式顯示器設(shè)備（HMD）的雙耳音頻。更具體地說(shuō)，這項(xiàng)專利向我們介紹了預(yù)測(cè)性頭部追蹤雙耳音頻。這方面的音頻可能會(huì)改變VR RPG游戲、恐怖電影、動(dòng)作片等的游戲規(guī)則，它可以讓你直接進(jìn)入角色的動(dòng)作之中。

蘋果公司在其專利背景中指出，虛擬現(xiàn)實(shí)允許用戶體驗(yàn)和/或與沉浸式人工環(huán)境互動(dòng)，這樣用戶就會(huì)覺(jué)得自己仿佛身處該環(huán)境。例如，虛擬現(xiàn)實(shí)系統(tǒng)可以向用戶顯示立體場(chǎng)景，以創(chuàng)造一種深度的錯(cuò)覺(jué)，計(jì)算機(jī)可以實(shí)時(shí)調(diào)整場(chǎng)景內(nèi)容，以提供用戶在場(chǎng)景中移動(dòng)的錯(cuò)覺(jué)。

當(dāng)用戶通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)觀看圖像時(shí)，用戶可能因此感覺(jué)到他們正從第一人稱視角在場(chǎng)景中移動(dòng)。同樣，混合現(xiàn)實(shí)（MR）將計(jì)算機(jī)生成的信息（稱為虛擬內(nèi)容）與現(xiàn)實(shí)世界的圖像或視圖相結(jié)合，能夠?yàn)楝F(xiàn)實(shí)世界增強(qiáng)效果，或者將現(xiàn)實(shí)世界物體的虛擬表現(xiàn)與三維（3D）虛擬世界的視圖相結(jié)合。

因此，虛擬現(xiàn)實(shí)的模擬環(huán)境和/或混合現(xiàn)實(shí)的混合環(huán)境可以被用來(lái)為多種應(yīng)用提供互動(dòng)的用戶體驗(yàn)。為了使這些VR環(huán)境盡可能逼真，蘋果公司在空間音頻之外還設(shè)計(jì)了頭部追蹤雙耳音頻渲染，這可能改變音樂(lè)、高端游戲和電影的游戲規(guī)則。

蘋果公司的發(fā)明涵蓋了用于預(yù)測(cè)性頭部追蹤雙耳音頻渲染的方法和裝置的各種實(shí)施方案。專利所描述的音頻渲染系統(tǒng)和方法的實(shí)施方案可由移動(dòng)多用途設(shè)備實(shí)現(xiàn)，如智能手機(jī)、PAD設(shè)備和平板設(shè)備，這些設(shè)備通過(guò)無(wú)線技術(shù)（如藍(lán)牙）渲染和傳輸頭部追蹤的雙耳音頻到用戶佩戴的雙耳音頻設(shè)備（如罩耳式耳機(jī)、AirPods Pro等）。

本實(shí)施例也可以在VR/AR系統(tǒng)中實(shí)現(xiàn)，該系統(tǒng)包括一個(gè)計(jì)算設(shè)備（被稱為基站），該設(shè)備通過(guò)無(wú)線技術(shù)將頭部追蹤的雙耳音頻渲染并傳輸?shù)教峁╇p耳音頻輸出的頭戴式顯示器（HMD），或傳輸?shù)脚cHMD一起使用的單獨(dú)的雙耳音頻設(shè)備。

頭部追蹤雙耳音頻渲染是一種可用于包括但不限于VR/AR應(yīng)用的技術(shù)，以創(chuàng)建虛擬音源，無(wú)論聽眾的實(shí)際方向/位置如何，這些音源在環(huán)境中都會(huì)顯得很穩(wěn)定。

頭部追蹤雙耳音頻渲染方法可以渲染并輸出雙耳音頻流（包括左和右音頻通道）到耳機(jī)，以便聽者以空間音頻的方式聽到聲音。換句話說(shuō)，聽眾聽到的聲音就像聲音來(lái)自現(xiàn)實(shí)世界中的準(zhǔn)確距離和方向。

例如，系統(tǒng)可以通過(guò)耳機(jī)播放聲音，使聽者聽到的聲音來(lái)自他們左邊、右邊、正前方、后面或某個(gè)角度的虛擬音源。左邊和右邊音頻通道的某些方面（例如，電平、頻率、延遲、混響等）可以被削弱，以影響聲音的感知方向性和距離。

圖源：patentlyapple

蘋果公司的專利圖1A說(shuō)明了使用雙耳音頻的iPhone和AirPods Pro的用戶，2A說(shuō)明了使用雙耳音頻的未來(lái)頭戴式設(shè)備（HMD）的VR游戲；圖6B說(shuō)明了雙耳音頻的不同之處，即它跟蹤用戶的頭部，從而使音頻隨用戶移動(dòng)，好像它總是在用戶面前或者相對(duì)于用戶的頭部投射聲音。在VR模式下，這非常適合RPG類型的游戲。

蘋果公司的專利圖8說(shuō)明了在多個(gè)維度提供聲音的方向性。

圖源：patentlyapple

蘋果公司指出，雖然一般描述的實(shí)施方案中，渲染設(shè)備可以渲染多個(gè)音頻流，耳機(jī)能夠選擇一個(gè)或多個(gè)音頻流以在一個(gè)維度（即水平維度）提供聲音的方向性，但實(shí)施方案可用于在多個(gè)維度提供聲音的方向性，例如提供方位角、仰角的聲音，以及表示平移運(yùn)動(dòng)的聲音。

例如，基站可以在水平維度的多個(gè)位置呈現(xiàn)音頻流，也可以在水平維度上方和/或下方呈現(xiàn)音頻流。

如圖8所示，基站可以在水平維度的A和B位置渲染音頻流，還可以在水平維度上方渲染音頻流C。

而在耳機(jī)上，可以根據(jù)最近的頭部追蹤數(shù)據(jù)選擇并播放最接近頭部實(shí)際位置和高度（或傾斜度）的音頻流，或者如果頭部的實(shí)際位置和傾斜度在音頻流之間，則混合兩個(gè)或多個(gè)音頻流。

例如，如果頭部位置處于或接近其中一個(gè)位置，耳機(jī)可以選擇A、B或C；如果頭部位置在A和B之間，可以混合A和B；如果頭部位置在A和C之間，可以混合A和C；如果頭部位置在B和C之間，可以混合B和C；或者如果頭部位置在中間某處，可以混合A、B和C。這樣做的目的是為了提供真實(shí)的音頻，使用戶處于中間的位置，而現(xiàn)在的游戲玩家在玩第一人稱射擊游戲時(shí)并沒(méi)有這種體驗(yàn)。

如果蘋果的下一代音頻能夠?qū)崿F(xiàn)它的承諾，那么它肯定會(huì)改變蘋果頭顯設(shè)備的游戲規(guī)則。

欲了解更多細(xì)節(jié)，請(qǐng)查閱蘋果公司的授權(quán)專利11,202,164。

來(lái)源：patentlyapple