編譯/VR陀螺

今天，美國(guó)專利商標(biāo)局正式授予蘋果公司一項(xiàng)與聽(tīng)覺(jué)化領(lǐng)域有關(guān)的專利。更特別的是，它涉及到虛擬3D環(huán)境的實(shí)時(shí)聽(tīng)覺(jué)化技術(shù)。AR/VR環(huán)境的大多數(shù)創(chuàng)新都是以游戲的虛擬3D環(huán)境為中心，而蘋果公司的專利涵蓋了虛擬環(huán)境的 "聽(tīng)覺(jué)化"，描述了聲音在外殼內(nèi)傳播的模擬，其中幾何聲學(xué)（GA）的方法可用于模仿合成聲波的某些現(xiàn)實(shí)行為帶來(lái)的聽(tīng)覺(jué)刺激。從這項(xiàng)專利中可以看出，蘋果正在努力將空間音頻推進(jìn)到新的層面。

蘋果公司在其專利背景中指出，在過(guò)去的幾十年里，虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)已經(jīng)成為各種應(yīng)用的有力工具，例如在科學(xué)、設(shè)計(jì)、醫(yī)學(xué)、游戲和工程領(lǐng)域，以及更有遠(yuǎn)見(jiàn)的應(yīng)用，如創(chuàng)建旨在模擬真實(shí)世界環(huán)境外觀和聲音的“虛擬空間”。

然而，近年來(lái)的大部分創(chuàng)新都集中在創(chuàng)建虛擬視覺(jué)效果上（例如，VR頭顯和游戲系統(tǒng)等）。為了增加這種虛擬環(huán)境的沉浸感，使之盡可能以更真實(shí)的效果模擬，重要的是要考慮多種感官刺激，而不僅僅是模擬視覺(jué)刺激，例如，模擬聲音刺激，甚至嗅覺(jué)和/或觸摸刺激。

與可視化類似，虛擬環(huán)境的所謂 "聽(tīng)覺(jué)化 "描述了聲音在圍墻內(nèi)傳播的模擬，其中幾何聲學(xué)（GA）的方法可用于模仿合成聲波的某些現(xiàn)實(shí)行為帶來(lái)的聽(tīng)覺(jué)刺激。

在這種模擬中，可以生成空間音頻信號(hào)，其考慮到了三維環(huán)境中的各種聲波反射模型，以及聲波混響模型。這種空間音頻可以例如使用數(shù)字音頻工作站(DAW)軟件等生成，并可用于各種應(yīng)用，如房間規(guī)劃和/或音樂(lè)及建筑聲音模擬。

目前的空間音頻合成軟件通?？梢怨芾韺?shí)時(shí)模擬移動(dòng)接收器周圍的移動(dòng)聲源的計(jì)算負(fù)荷，然而，這些模擬往往是基于靜態(tài)混響的。在現(xiàn)實(shí)世界的場(chǎng)景中，聲波和反射性/阻礙性表面之間存在著顯著的相互作用，例如，在進(jìn)入或離開房間的時(shí)候會(huì)出現(xiàn)變化。此外，當(dāng)用戶（或虛擬用戶）聽(tīng)著合成的音頻信號(hào)瀏覽真實(shí)世界（或虛擬）環(huán)境時(shí)，房間里的各種門戶（如門、窗、屋頂）可能動(dòng)態(tài)地打開和/或關(guān)閉。房間的建筑或場(chǎng)景構(gòu)成中的每一個(gè)變化都會(huì)對(duì)房間里的聲波在任何給定瞬間的實(shí)時(shí)模擬方式產(chǎn)生重大影響。

這樣一來(lái)，就需要改進(jìn)虛擬三維環(huán)境的實(shí)時(shí)物理精確聽(tīng)覺(jué)化技術(shù)。這包括其中任何（或全部）的環(huán)境：聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時(shí)產(chǎn)生的動(dòng)態(tài)變化。這種技術(shù)也可應(yīng)用于增強(qiáng)現(xiàn)實(shí)（AR）場(chǎng)景，例如，將額外的聲音信息添加到聽(tīng)眾的現(xiàn)實(shí)環(huán)境中，以準(zhǔn)確模擬聽(tīng)眾現(xiàn)實(shí)環(huán)境中不存在的 "虛擬"聲源對(duì)象。

蘋果公司的專利涵蓋了可用于確定更準(zhǔn)確的，例如"聲學(xué)有效"房間容積的技術(shù)。特別是對(duì)于某些三維房間模型，很難確定房間容積。這對(duì)于迂回的空間、孔洞（例如，打開的窗戶）甚至是 "半開放 "的空間（例如，體育場(chǎng)）來(lái)說(shuō)尤其如此。

許多聲學(xué)方程或算法需要對(duì)房間（例如環(huán)境）的體積進(jìn)行準(zhǔn)確的估計(jì)。這里披露的具有聲學(xué)效果的房間容積估計(jì)技術(shù)可以處理開放和半開放的空間、開放的窗戶、有無(wú)法到達(dá)的角落的迂回空間，甚至可以檢測(cè)出在非常小的開口后面應(yīng)該考慮的容積量。

因此，本領(lǐng)域已經(jīng)使用的相同的聲學(xué)方程或算法可以通過(guò)使用本文所述的聲學(xué)有效房間容積估計(jì)技術(shù)（相對(duì)于簡(jiǎn)單的三維模型容積計(jì)算）而得到顯著的改善。使用這項(xiàng)技術(shù)將使這些聲學(xué)方程更加準(zhǔn)確，對(duì)錯(cuò)誤更加穩(wěn)健，例如，由于有缺陷或未定義的三維房間/環(huán)境模型。

根據(jù)其他實(shí)施方案，可以利用技術(shù)來(lái)執(zhí)行優(yōu)化的聲射線追蹤。在圖形/光學(xué)領(lǐng)域已經(jīng)存在快速和優(yōu)化的射線追蹤算法，但目前的聲學(xué)適應(yīng)要么缺乏性能，要么缺乏物理精度。因此，通過(guò)考慮聲學(xué)波的傳播和人類聽(tīng)眾的心理聲學(xué)特征，所述的改進(jìn)射線追蹤過(guò)程能夠適應(yīng)于聲音傳播的問(wèn)題。改進(jìn)后的射線追蹤器提高了對(duì)聲學(xué)目的的適用性，同時(shí)也提升了性能。

根據(jù)其他的實(shí)施方案，可以利用技術(shù)將模擬的射線追蹤結(jié)果轉(zhuǎn)化為自然聲的混響，以更準(zhǔn)確地說(shuō)明物理規(guī)律。

現(xiàn)有技術(shù)中的許多聲學(xué)模擬算法只是將反彈射線的路徑直接轉(zhuǎn)化為模擬的房間反射。然而在這種模擬中，一條射線不能代表一個(gè)反射。相反，射線的數(shù)量在模擬開始時(shí)被任意設(shè)定，并隨著時(shí)間的推移保持不變，而房間反射的數(shù)量則由房間的幾何形狀（而不是射線的數(shù)量）定義，并隨著時(shí)間的推移呈指數(shù)增長(zhǎng)。

相比之下，所述的改進(jìn)技術(shù)定義了一種轉(zhuǎn)換，用于在射線追蹤過(guò)程中得出空間-時(shí)間-頻率能量概率密度函數(shù)（PDF），更準(zhǔn)確地說(shuō)明物理定律，然后將該數(shù)據(jù)轉(zhuǎn)換為空間脈沖響應(yīng)（SIR）函數(shù)，然后可用于現(xiàn)實(shí)的3D音頻再現(xiàn)，例如，通過(guò)耳機(jī)或揚(yáng)聲器。

圖源：patentlyapple

蘋果公司的專利圖1說(shuō)明了一個(gè)示范性的聲學(xué)房間模型的相應(yīng)規(guī)范；圖6是一個(gè)虛擬3D環(huán)境的房間聲學(xué)的示范性可視化。

圖源：patentlyapple

蘋果公司的專利圖9提出了一個(gè)流程圖，說(shuō)明了執(zhí)行改進(jìn)的空間脈沖響應(yīng)（SIR）生成算法的另一種方法。

欲了解更多細(xì)節(jié)，請(qǐng)查閱蘋果公司的授權(quán)專利11,170,139。

來(lái)源：patentlyapple