編譯/VR陀螺

近日，美國專利商標局正式授予蘋果公司一項專利，該專利涉及AirPods Pro和其下一代頭戴式顯示器設備（HMD）的雙耳音頻。更具體地說，這項專利向我們介紹了預測性頭部追蹤雙耳音頻。這方面的音頻可能會改變VR RPG游戲、恐怖電影、動作片等的游戲規(guī)則，它可以讓你直接進入角色的動作之中。

蘋果公司在其專利背景中指出，虛擬現(xiàn)實允許用戶體驗和/或與沉浸式人工環(huán)境互動，這樣用戶就會覺得自己仿佛身處該環(huán)境。例如，虛擬現(xiàn)實系統(tǒng)可以向用戶顯示立體場景，以創(chuàng)造一種深度的錯覺，計算機可以實時調整場景內容，以提供用戶在場景中移動的錯覺。

當用戶通過虛擬現(xiàn)實系統(tǒng)觀看圖像時，用戶可能因此感覺到他們正從第一人稱視角在場景中移動。同樣，混合現(xiàn)實（MR）將計算機生成的信息（稱為虛擬內容）與現(xiàn)實世界的圖像或視圖相結合，能夠為現(xiàn)實世界增強效果，或者將現(xiàn)實世界物體的虛擬表現(xiàn)與三維（3D）虛擬世界的視圖相結合。

因此，虛擬現(xiàn)實的模擬環(huán)境和/或混合現(xiàn)實的混合環(huán)境可以被用來為多種應用提供互動的用戶體驗。為了使這些VR環(huán)境盡可能逼真，蘋果公司在空間音頻之外還設計了頭部追蹤雙耳音頻渲染，這可能改變音樂、高端游戲和電影的游戲規(guī)則。

蘋果公司的發(fā)明涵蓋了用于預測性頭部追蹤雙耳音頻渲染的方法和裝置的各種實施方案。專利所描述的音頻渲染系統(tǒng)和方法的實施方案可由移動多用途設備實現(xiàn)，如智能手機、PAD設備和平板設備，這些設備通過無線技術（如藍牙）渲染和傳輸頭部追蹤的雙耳音頻到用戶佩戴的雙耳音頻設備（如罩耳式耳機、AirPods Pro等）。

本實施例也可以在VR/AR系統(tǒng)中實現(xiàn)，該系統(tǒng)包括一個計算設備（被稱為基站），該設備通過無線技術將頭部追蹤的雙耳音頻渲染并傳輸到提供雙耳音頻輸出的頭戴式顯示器（HMD），或傳輸到與HMD一起使用的單獨的雙耳音頻設備。

頭部追蹤雙耳音頻渲染是一種可用于包括但不限于VR/AR應用的技術，以創(chuàng)建虛擬音源，無論聽眾的實際方向/位置如何，這些音源在環(huán)境中都會顯得很穩(wěn)定。

頭部追蹤雙耳音頻渲染方法可以渲染并輸出雙耳音頻流（包括左和右音頻通道）到耳機，以便聽者以空間音頻的方式聽到聲音。換句話說，聽眾聽到的聲音就像聲音來自現(xiàn)實世界中的準確距離和方向。

例如，系統(tǒng)可以通過耳機播放聲音，使聽者聽到的聲音來自他們左邊、右邊、正前方、后面或某個角度的虛擬音源。左邊和右邊音頻通道的某些方面（例如，電平、頻率、延遲、混響等）可以被削弱，以影響聲音的感知方向性和距離。

圖源：patentlyapple

蘋果公司的專利圖1A說明了使用雙耳音頻的iPhone和AirPods Pro的用戶，2A說明了使用雙耳音頻的未來頭戴式設備（HMD）的VR游戲；圖6B說明了雙耳音頻的不同之處，即它跟蹤用戶的頭部，從而使音頻隨用戶移動，好像它總是在用戶面前或者相對于用戶的頭部投射聲音。在VR模式下，這非常適合RPG類型的游戲。

蘋果公司的專利圖8說明了在多個維度提供聲音的方向性。

圖源：patentlyapple

蘋果公司指出，雖然一般描述的實施方案中，渲染設備可以渲染多個音頻流，耳機能夠選擇一個或多個音頻流以在一個維度（即水平維度）提供聲音的方向性，但實施方案可用于在多個維度提供聲音的方向性，例如提供方位角、仰角的聲音，以及表示平移運動的聲音。

例如，基站可以在水平維度的多個位置呈現(xiàn)音頻流，也可以在水平維度上方和/或下方呈現(xiàn)音頻流。

如圖8所示，基站可以在水平維度的A和B位置渲染音頻流，還可以在水平維度上方渲染音頻流C。

而在耳機上，可以根據最近的頭部追蹤數據選擇并播放最接近頭部實際位置和高度（或傾斜度）的音頻流，或者如果頭部的實際位置和傾斜度在音頻流之間，則混合兩個或多個音頻流。

例如，如果頭部位置處于或接近其中一個位置，耳機可以選擇A、B或C；如果頭部位置在A和B之間，可以混合A和B；如果頭部位置在A和C之間，可以混合A和C；如果頭部位置在B和C之間，可以混合B和C；或者如果頭部位置在中間某處，可以混合A、B和C。這樣做的目的是為了提供真實的音頻，使用戶處于中間的位置，而現(xiàn)在的游戲玩家在玩第一人稱射擊游戲時并沒有這種體驗。

如果蘋果的下一代音頻能夠實現(xiàn)它的承諾，那么它肯定會改變蘋果頭顯設備的游戲規(guī)則。

欲了解更多細節(jié)，請查閱蘋果公司的授權專利11,202,164。

來源：patentlyapple