編譯/VR陀螺

今天，美國專利商標(biāo)局正式授予蘋果公司一項(xiàng)專利，該專利涉及用于在增強(qiáng)現(xiàn)實(shí)背景下呈現(xiàn)空間音頻的音頻系統(tǒng)。在一個案例中，該專利涵蓋了用于頭戴式顯示設(shè)備（HMD）的空間音頻，以及一個可以整合iPhone作為顯示屏的頭顯設(shè)備的空間音頻。

耳機(jī)通常通過渲染立體聲音頻圖像來播放音樂，聽眾可將其視為來自聽眾頭部的內(nèi)化聲音。耳機(jī)也可以用來渲染空間音頻，以創(chuàng)造更自然的體驗(yàn)，例如，模擬來自聽者頭部以外的外部化聲音。就像用戶體驗(yàn)真實(shí)世界中的聲音一樣，感知到有效的空間聲音演繹。然而，創(chuàng)造這樣的空間聲音演繹，是一項(xiàng)具有挑戰(zhàn)性的持續(xù)工作。

有幾個組成部分有助于有效的實(shí)現(xiàn)空間聲音演繹，創(chuàng)造一個外部化的虛擬聲源的幻覺。首先，針對聽眾個性化的準(zhǔn)確頭部相關(guān)傳遞函數(shù) (HRTF) 有助于產(chǎn)生有效的空間音頻。HRTF是一個過濾器的模型，它包含了描述聲音在進(jìn)入聽覺系統(tǒng)之前如何在聽眾的頭部、軀干和外耳反射或衍射所需的所有聲學(xué)信息。HRTF將演繹的音頻與用戶的解剖結(jié)構(gòu)相匹配，以使音頻聽起來好像它實(shí)際上是沿著從外部位置到耳朵入口的聲學(xué)路徑與用戶解剖結(jié)構(gòu)進(jìn)行交互的。

其次，特定于聆聽環(huán)境的環(huán)境相關(guān)傳遞函數(shù) (ERTF) 有助于實(shí)現(xiàn)有效的空間音頻。ERTF是一個包含聲學(xué)信息的濾波器模型，需要描述聲音在聽覺環(huán)境中如何反射和回響。ERTF將演繹的音頻與聽覺環(huán)境相匹配，使音頻聽起來就像它確實(shí)來自聽覺環(huán)境。

第三，在音頻演繹過程中對聽眾頭部的追蹤有助于實(shí)現(xiàn)有效的空間音頻。頭部追蹤包括追蹤聽眾頭部的位置和/或方向，并使用追蹤信息來相應(yīng)地轉(zhuǎn)移虛擬聲源。將虛擬聲源與聽眾的頭部移動相對應(yīng)，可以使聽眾在移動頭部或身體時，將虛擬聲音視為來自聆聽環(huán)境中的一個固定位置。然而，在無法獲得個性化的HRTF和ERTF的情況下，系統(tǒng)可以使用其他表示方法來向用戶提供關(guān)于虛擬聲源存在的視覺提示。

在一個方面，一個音頻系統(tǒng)可以提供一個與虛擬聲源相對應(yīng)的視覺參考。例如，音頻系統(tǒng)可以在設(shè)備的顯示屏上接收用戶的輸入，以指定聆聽環(huán)境的增強(qiáng)現(xiàn)實(shí)視圖中的一個或多個位置。這些位置可以對應(yīng)于聆聽環(huán)境中的一個或多個聲源位置。

對應(yīng)的聲源圖標(biāo)，例如，揚(yáng)聲器的圖像，可以顯示在顯示器上供聽眾觀看。

音頻系統(tǒng)可以重現(xiàn)雙耳音頻信號，例如，使用耳機(jī)，以呈現(xiàn)空間音頻，包括來自聆聽環(huán)境內(nèi)聲源位置的聲音。即使在放下或關(guān)閉設(shè)備的顯示之后，聽眾也可以收聽空間音頻，其可以是音樂或電影配樂。

在空間音頻演繹之前或期間在顯示器上創(chuàng)建和/或查看聲源圖標(biāo)的體驗(yàn)可以產(chǎn)生持久的空間音頻體驗(yàn)。

圖源：patentlyapple

蘋果公司的專利圖1表示一種增強(qiáng)空間音頻演繹的方法流程圖；圖2是一個用戶處理音頻系統(tǒng)的圖解視圖。

用戶可以執(zhí)行一個設(shè)置過程，將一個或多個聲源圖標(biāo)，例如，揚(yáng)聲器的視覺表示，放置在顯示器（#204）上增強(qiáng)現(xiàn)實(shí)視圖的指定位置。

在一個方面，用戶可以打開在移動設(shè)備上執(zhí)行的音頻應(yīng)用。音頻應(yīng)用程序可以是一個音樂或電影應(yīng)用程序，能夠向用戶渲染空間音頻。更特別的是，空間音頻可以是音樂或電影原聲帶。用戶可以在音頻應(yīng)用程序中執(zhí)行操作，啟動增強(qiáng)現(xiàn)實(shí)視圖。

增強(qiáng)現(xiàn)實(shí)視圖可以包括呈現(xiàn)聆聽環(huán)境(#210)的一個或多個圖像(#202)。例如，聆聽環(huán)境的一個或多個圖像可以是該環(huán)境的視頻幀。聆聽環(huán)境可以是用戶正在使用音頻系統(tǒng)的實(shí)際環(huán)境，例如，汽車、客廳等?；蛘?，聆聽環(huán)境可以是用戶希望在空間音頻演繹中模擬的空間，例如，音樂廳、電影院等。在任何情況下，聆聽環(huán)境的圖像都可以通過顯示器呈現(xiàn)給用戶。

圖源：patentlyapple

蘋果公司的專利圖3是疊加在一個或多個實(shí)際聆聽環(huán)境圖像上的聲源圖標(biāo)的圖解；圖4是疊加在一個或多個模擬聆聽環(huán)境圖像上的聲源圖標(biāo)的圖解。用戶可以在音頻應(yīng)用程序中輸入一個命令，例如，點(diǎn)擊呈現(xiàn)在顯示屏上名為 "著名電影院 "的聆聽環(huán)境選項(xiàng)，以進(jìn)入增強(qiáng)（或虛擬）現(xiàn)實(shí)視圖。

用戶可以查看聆聽環(huán)境的圖像，在增強(qiáng)現(xiàn)實(shí)視圖中找到要放置聲源的位置（#208）。

最后，蘋果公司指出，在一個方面，音頻系統(tǒng)可以是一個頭戴式顯示器（HMD）。HMD可以將設(shè)備（#212）和耳機(jī)（#215）都集成到一個設(shè)備中。HMD可以是一個顯示設(shè)備，它結(jié)合了用于呈現(xiàn)聲源位置視覺表現(xiàn)的顯示器，以及用于渲染空間化音頻以將聲音定位到位置上的耳機(jī)。HMD可以戴在用戶的頭上，讓用戶看到顯示器上呈現(xiàn)的圖像，聽到耳機(jī)播放的聲音。

使用iPhone顯示屏的HMD是蘋果公司的一項(xiàng)長期發(fā)明。事實(shí)上，蘋果已經(jīng)被授予了多個與該頭顯相關(guān)的專利。這足以證明，蘋果確實(shí)在繼續(xù)研究這個入門級的HMD。

欲了解更多細(xì)節(jié)，請查閱蘋果公司的授權(quán)專利11,102,578。

來源：patentlyapple