編譯/VR陀螺

蘋果正在優(yōu)先考慮在AirPods Pro、AirPods Max及其未來用于混合現(xiàn)實頭顯等設(shè)備的音頻系統(tǒng)上提供空間音頻。帶有動態(tài)頭部追蹤功能的空間音頻為用戶提供了影院般的電影和節(jié)目體驗，因為聲音能夠環(huán)繞著他們。利用內(nèi)置的陀螺儀和加速計，AirPods Max和用戶的iPhone、iPad、Mac或Apple TV能夠追蹤頭部的微妙運動，并將聲音固定在用戶的設(shè)備上。近日，美國專利商標(biāo)局公布了一系列共7項與空間音頻有關(guān)的蘋果專利申請，深入闡述了頭部運動檢測、用戶姿勢檢測等方面的技術(shù)。

空間音頻創(chuàng)建了一個三維（3D）虛擬聽覺空間，允許佩戴耳機的用戶在觀看電影、玩電子游戲或與源設(shè)備（如電腦屏幕）上的增強現(xiàn)實內(nèi)容互動時，準(zhǔn)確定位聲音源在三維虛擬聽覺空間中的位置。現(xiàn)有的空間音頻平臺包括一個頭部姿勢追蹤器，它使用視頻攝像頭來跟蹤用戶的頭部姿勢。如果源設(shè)備是一個移動設(shè)備（如智能手機、平板電腦），那么源設(shè)備和耳機可以自由地相對移動，這可能會讓用戶對三維空間音頻的感知產(chǎn)生不利的影響。

蘋果在的第一個空間音頻專利申請名為 "空間音頻應(yīng)用的頭部運動預(yù)測"。該專利涉及一種方法，包括使用一個或多個處理器獲得來自源設(shè)備和耳機的運動數(shù)據(jù)以及傳輸延遲、估計來自相對源設(shè)備和耳機運動數(shù)據(jù)的相對運動、計算相對運動數(shù)據(jù)的第一個導(dǎo)數(shù)、計算過濾后的相對運動數(shù)據(jù)的第二個導(dǎo)數(shù)。

通過使用一個或多個處理器，利用相對運動的第一導(dǎo)數(shù)和第二導(dǎo)數(shù)，向前預(yù)測在時間延遲上的預(yù)計相對運動；使用頭部追蹤器，根據(jù)向前預(yù)測的相對運動數(shù)據(jù)確定用戶的頭部姿勢；以及使用一個或多個處理器和頭部姿勢渲染空間音頻，以便在耳機上播放。

在一個實施方案中，使用一個或多個處理器和頭部姿勢，渲染用于在耳機上播放的空間音頻。包括在三維虛擬聽覺空間的環(huán)境床中渲染音頻通道，從而使音頻通道的中心通道與源于耳機參考框架并終止于源設(shè)備參考框架的軸心向量對齊，其中中心通道通過旋轉(zhuǎn)環(huán)境床的參考框架使中心通道與軸心向量對齊，并且其中軸心向量表示源設(shè)備和耳機之間的相對位置。

蘋果公司的專利圖1說明了一個用戶姿勢改變事件的例子；圖2說明了一個居中和慣性穩(wěn)定的三維虛擬聽覺空間。

圖源：patentlyapple

更具體地說，根據(jù)一個實施方案，專利圖1說明了一個用戶姿勢改變事件的例子。在所示的例子中，用戶（#101）正在觀看源設(shè)備（#103）上顯示的AV內(nèi)容的視覺部分，同時坐在沙發(fā)上（#102）。用戶戴著一個無線連接到源設(shè)備#103的耳機#104。耳機包括立體聲揚聲器，輸出由源設(shè)備生成的渲染空間音頻（例如，雙耳渲染的音頻）內(nèi)容。當(dāng)用戶從坐在沙發(fā)上的坐姿變成站立并手持源設(shè)備行走，同時仍在觀看源設(shè)備上顯示的內(nèi)容時，就會發(fā)生用戶姿態(tài)改變事件。

當(dāng)源設(shè)備被移動或旋轉(zhuǎn)時，運動傳感器檢測到運動。IMU的輸出被處理成慣性參考框架中的旋轉(zhuǎn)和加速度數(shù)據(jù)。在一個實施方案中，源設(shè)備輸出AV內(nèi)容，包括但不限于增強現(xiàn)實（AR）、虛擬現(xiàn)實（VR）和沉浸式視頻內(nèi)容。源設(shè)備還包括一個音頻渲染引擎（例如，雙耳渲染引擎），模擬人類用來定位聲音的主要音頻線索，包括耳際時間差、耳際電平差和外耳完成的頻譜過濾。

為了確?？臻g音頻保持 "居中"，使用來自兩個慣性測量單元的運動數(shù)據(jù)確定估計的相對運動（相對位置和姿勢）。

想了解更多該專利的細節(jié)，請查閱蘋果的專利申請20210397249。

蘋果的其他各項空間音頻專利包括：

空間音頻專利20210397250，題為"用于空間音頻應(yīng)用中頭部姿勢追蹤的用戶姿態(tài)變化檢測"。

空間音頻專利20210396779，題為"用戶姿態(tài)轉(zhuǎn)換檢測和分類"。蘋果公司的專利圖1是用于用戶姿勢檢測和分類的系統(tǒng)框圖；圖2說明了從坐到站的姿勢轉(zhuǎn)換的生物力學(xué)原理。

圖源：patentlyapple

空間音頻專利20210400418，題為"空間音頻應(yīng)用中頭部姿勢追蹤的頭對頭旋轉(zhuǎn)變換估計"。蘋果公司的專利圖3說明了用于估計頭部到耳機旋轉(zhuǎn)變換聽覺空間的幾何圖形；圖9說明了用于頭部追蹤的相對運動模型的幾何圖形。

圖源：patentlyapple

空間音頻專利20210400414，題為"用于空間音頻應(yīng)用的頭部追蹤相關(guān)運動檢測"。蘋果公司的專利圖3是一個系統(tǒng)的框圖，該系統(tǒng)使用相關(guān)運動來選擇運動追蹤狀態(tài)；圖9說明了相對姿勢追蹤的各種參考框架和符號。

圖源：patentlyapple

空間音頻專利20210400419，題為"用于空間音頻應(yīng)用的頭部尺寸估計"。蘋果公司的專利圖1說明了正在進行旋轉(zhuǎn)運動的耳機IMU；圖3是估計頭部尺寸的過程流程圖。

圖源：patentlyapple

空間音頻專利20210398545，題為"用于空間音頻再現(xiàn)的雙耳房間脈沖響應(yīng)"。蘋果公司的專利圖1說明了渲染空間音頻的系統(tǒng)和方法；圖2A和2B顯示了一個聲源和反射的示例。

圖源：patentlyapple

來源：patentlyapple