編譯/VR陀螺
今天,美國專利商標(biāo)局正式授予蘋果一項(xiàng)專利,該專利涉及用于渲染空間音頻的高級音頻系統(tǒng)的各個方面,該系統(tǒng)主要用于在耳機(jī)以及蘋果未來MR頭顯中呈現(xiàn)空間音頻效果。隨著時間的推移,蘋果公司這項(xiàng)高級空間音頻可能會被用于與AirPods一起工作的Mac、iPhone等設(shè)備。
耳機(jī)可以重現(xiàn)由設(shè)備傳達(dá)的空間音頻信號,以模擬用戶周圍的聲景。一個有效的空間聲音再現(xiàn)可以重新創(chuàng)建聲音,使用戶認(rèn)為聲音來自用戶頭部以外的聲景中的某個位置,就像用戶在現(xiàn)實(shí)世界中遇到的聲音一樣。
當(dāng)聲音從現(xiàn)實(shí)世界周圍環(huán)境傳到聽眾那里時,聲音沿著直接路徑傳播,例如通過空氣傳到聽眾的耳道入口,以及沿著一條或多條間接路徑傳播,例如通過在聽眾的頭部或肩部周圍反射和衍射。當(dāng)聲音沿著間接路徑傳播時,人為聲音元素可以被引入到耳道入口處接收的聲學(xué)信號中。
用戶特定的人為聲音元素可以通過使用空間音頻濾波器的信號處理算法納入雙耳音頻中。例如,與頭部有關(guān)的傳遞函數(shù)(HRTF)描述了相對于聽眾的身體,位于空間某處的聲音在進(jìn)入聽眾的聽覺系統(tǒng)之前是如何被過濾的,例如,在聽眾的頭部、軀干和外耳周圍是如何被反射或衍射的。HRTF描述的線索使聽覺系統(tǒng)能夠確定聲音來自空間中的哪個位置。
為了實(shí)現(xiàn)準(zhǔn)確的空間音頻再現(xiàn),虛擬音頻系統(tǒng)可以使用HRTF來創(chuàng)造聲音來自空間某處的錯覺。更特別的是,一個與HRTF有關(guān)的音頻濾波器可以應(yīng)用于音頻輸入信號,以塑造信號的方式,使塑造信號的再現(xiàn)真實(shí)地模擬聲音從HRTF測量的相對位置傳給用戶。因此,聽眾可以使用簡單的立體聲耳機(jī),通過對音頻輸入信號應(yīng)用雙耳音頻濾波器,創(chuàng)造出聽覺環(huán)境中某處聲源的幻覺。
現(xiàn)有的虛擬音頻渲染系統(tǒng)需要知道用戶的頭部相對于虛擬聲源的方向,以便選擇一個適當(dāng)?shù)呐c頭部有關(guān)的傳遞函數(shù)(HRTF)。通常,HRTF被定義和測量為與方位角、仰角有關(guān),有時還與虛擬聲源和用戶頭部之間的距離有關(guān)。
到目前為止,HRTF數(shù)據(jù)集的定義還沒有囊括與身體其他部位相對于用戶頭部的方向有關(guān)的維度。更具體地說,在使用HRTF數(shù)據(jù)集時,沒有考慮到從名義上的頭部朝前的軀干方向的變化;軀干被假定為與頭部一起旋轉(zhuǎn)和移動。這樣一來,用戶在保持軀干靜止不動的情況下向右轉(zhuǎn),例如面向前方,就會有一種令人不安的體驗(yàn),即聽到的聲音就好像他們的軀干與他的頭同時向右轉(zhuǎn)一樣。
換句話說,虛擬音頻渲染系統(tǒng)并不區(qū)分頭部和軀干單獨(dú)移動的情況,以及頭部和軀干一起移動的情況。現(xiàn)有的虛擬音頻渲染系統(tǒng)對頭與軀干方向的這種無視,導(dǎo)致空間音頻渲染不能準(zhǔn)確地再現(xiàn)軀干方向?qū)ΜF(xiàn)實(shí)生活中聲源的影響。
蘋果公司授予的專利涵蓋了一種媒體系統(tǒng)和使用該媒體系統(tǒng)準(zhǔn)確再現(xiàn)虛擬音頻的方法,其中考慮到了用戶的頭部相對于用戶軀干的方向。
該媒體系統(tǒng)包括一個或多個處理器,被配置為確定頭部對聲源方向和頭部對軀干方向。頭部到聲源的方向可以是用戶的頭部和聲源之間的相對位置和/或方向。相對方向可以從頭部跟蹤設(shè)備產(chǎn)生的頭部跟蹤數(shù)據(jù)中確定,例如具有慣性測量單元的頭戴式設(shè)備。
頭部到軀干的方向可以是用戶的頭部和用戶的軀干之間的相對位置和/或方向。相對方向可以直接測量,例如,由頭部跟蹤設(shè)備或配套設(shè)備的一個或多個傳感器測量。或者,相對方向可以僅根據(jù)頭部跟蹤設(shè)備產(chǎn)生的頭部跟蹤數(shù)據(jù)來推斷。
基于頭部追蹤數(shù)據(jù)的頭部-軀干方向的估計(jì)可以包括確定當(dāng)頭部方向數(shù)據(jù)滿足頭部運(yùn)動條件時,軀干向與頭部對齊的方向移動。
例如,當(dāng)頭部移動時,軀干可以移動?;蛘?,軀干可以在頭部移動時移動,然后在一個新的方向停止移動。
在一個方面,當(dāng)頭部以特定模式移動時,軀干可以移動。在任何情況下,軀干的運(yùn)動都可以與頭部運(yùn)動相關(guān),例如,通過頭部跟蹤數(shù)據(jù)的平均值或中位數(shù)進(jìn)行數(shù)值計(jì)算,或以其他方式,例如,根據(jù)與檢測到的頭部運(yùn)動的模式相對應(yīng)的特定模式移動軀干。
圖源:patentlyapple
蘋果公司的專利圖1是一個用戶相對于聲景中的聲源定位的圖解;圖2是一個基于頭部到軀干方向的空間音頻的再現(xiàn)方法的流程圖。
圖源:patentlyapple
蘋果公司的專利圖4是一個用戶的頭部相對于聲景中的聲源移動的示意圖;圖9是一個頭部高于軀干的網(wǎng)格生成的示意圖,用于模擬頭部到聲源和頭部到軀干方向的各種組合的頭部相關(guān)傳遞函數(shù)。
想要了解更多專利細(xì)節(jié),可查閱蘋果公司的授權(quán)專利11,375,333。
此外,蘋果公司今天還獲得了題為 "增加背部音量的耳機(jī)"的11,375,306號專利,該專利一般涉及各種耳機(jī)功能。更特別的是,各種功能通過在耳機(jī)中加入一系列的傳感器和新的機(jī)械功能,有助于改善整體的用戶體驗(yàn)。想要了解更多專利細(xì)節(jié),可點(diǎn)此查看蘋果公司的授權(quán)專利。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息