編譯/VR陀螺

蘋(píng)果未來(lái)最重要的產(chǎn)品線之一就是他們的MR頭顯系列。早在2021年4月，蘋(píng)果公司的首席執(zhí)行官Tim Cook就表示AR是 "蘋(píng)果公司未來(lái)的一個(gè)極其重要的組成部分"，他想象著AR能被用于健康、教育、零售和游戲領(lǐng)域。

近日，美國(guó)專利商標(biāo)局公布了蘋(píng)果公司2項(xiàng)與HMD系統(tǒng)有關(guān)的授權(quán)專利，在其中一項(xiàng)專利中蘋(píng)果的AR團(tuán)隊(duì)可以讓雜志或書(shū)籍中的靜態(tài)圖像迅速變成一個(gè)三維虛擬物體，用戶可以在不同層面上進(jìn)行互動(dòng)。

蘋(píng)果公司的專利涵蓋了電子系統(tǒng)的各種實(shí)施方案以及與各種計(jì)算機(jī)生成的現(xiàn)實(shí)技術(shù)有關(guān)的使用技術(shù)，包括虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)（其中包含來(lái)自物理環(huán)境的感官輸入）。特別是，該專利提供了在AR環(huán)境中顯示對(duì)應(yīng)于電子產(chǎn)品的虛擬對(duì)象的技術(shù)。電子產(chǎn)品在物理印刷媒體（如雜志、報(bào)紙、傳單、廣告牌、海報(bào)等）中被識(shí)別，然后在AR環(huán)境中顯示與該電子產(chǎn)品相對(duì)應(yīng)的虛擬對(duì)象。

該虛擬對(duì)象包括物理電子產(chǎn)品的一個(gè)或多個(gè)軟件功能（例如，啟動(dòng)順序、用戶界面）。用戶與虛擬對(duì)象的互動(dòng)可以使虛擬對(duì)象以類似于物理電子產(chǎn)品的方式被修改。例如，用戶可以與顯示在虛擬移動(dòng)電話上的用戶界面進(jìn)行互動(dòng)，其方式類似于在真實(shí)世界的物理移動(dòng)電話的用戶界面上進(jìn)行互動(dòng)。

圖源：patentlyapple

蘋(píng)果公司的專利圖1B說(shuō)明了系統(tǒng)#100，它包括一個(gè)基站#100b（Mac、iPhone或iPad）和一個(gè)頭戴式設(shè)備（HMD）#100c；圖2是印刷媒體#200的圖像（一本書(shū)、雜志、海報(bào)等）；圖3是一個(gè)iPhone/iPad，其顯示屏上顯示了一本書(shū)的圖片。

在專利圖3中，當(dāng)iPhone/iPad檢測(cè)到捕捉到的圖像包括對(duì)電子產(chǎn)品的描述，如智能手機(jī)（204a），就會(huì)顯示一個(gè)圖標(biāo)，表示已經(jīng)檢測(cè)到對(duì)智能手機(jī)的描述，一旦用戶點(diǎn)擊智能手機(jī)圖像的顯示，就可以顯示與智能手機(jī)相對(duì)應(yīng)的虛擬三維虛擬物體，圖3的#306所示。

然后，蘋(píng)果公司指出，他們未來(lái)的混合現(xiàn)實(shí)頭戴式設(shè)備（HMD）將通過(guò)使用眼動(dòng)追蹤跟蹤用戶的手指來(lái)檢測(cè)用戶觸摸顯示屏上的智能手機(jī)圖像。一旦HMD確認(rèn)觸摸發(fā)生了，HMD將用智能手機(jī)的虛擬表現(xiàn)取代iPhone或iPad顯示屏上的智能手機(jī)照片。

另外，當(dāng)iPhone/iPad拍攝廣告產(chǎn)品的照片時(shí)，如印刷雜志中的智能手機(jī)圖像，它也可以檢測(cè)到一個(gè)二維碼，以確定哪個(gè)智能手機(jī)將被轉(zhuǎn)換為HMD觀看者的3D對(duì)象。

在專利中蘋(píng)果公司還表示，用戶可能與3D對(duì)象軟件進(jìn)行互動(dòng)。蘋(píng)果公司將他們的概念又向前推進(jìn)了一步。他們可以讓消費(fèi)者與3D物體的相關(guān)軟件進(jìn)行實(shí)際互動(dòng)。比方說(shuō)，圖像和3D AR對(duì)象顯示的是帶有iOS 24的iPhone 20。用戶將能夠觸摸iPhone顯示屏的虛擬3D圖像，并實(shí)際與iOS 24互動(dòng)，就像他們?cè)谔O(píng)果實(shí)體店一樣看手機(jī)的功能是如何工作的。

HMD將允許用戶以360°的方式與廣告物品的3D對(duì)象互動(dòng)。該圖像還可以讓用戶與該物品的三維版本的操作系統(tǒng)軟件進(jìn)行互動(dòng)，如智能手機(jī)（iPhone，也許是Android手機(jī)等）。

為了更清楚地描述該技術(shù)，蘋(píng)果公司指出："如果電子產(chǎn)品#204a是包括軟件功能（如用戶界面）的物理電子產(chǎn)品的描述，則顯示的虛擬電子產(chǎn)品#404a包括軟件功能的模擬#410a。仿真的軟件特征#410a再現(xiàn)了物理電子產(chǎn)品的軟件特征的外觀和操作。在一些實(shí)施方案中，模擬的軟件特征#410a再現(xiàn)了物理電子產(chǎn)品的啟動(dòng)順序的外觀。在一些實(shí)施例中，模擬的軟件功能#410a是一個(gè)預(yù)定義的視頻，描述了物理電子產(chǎn)品的軟件功能的外觀和操作。"

圖源：patentlyapple

隨著HMD的開(kāi)啟，眼動(dòng)追蹤將能夠跟隨用戶指向軟件的部分進(jìn)行互動(dòng)，如專利圖5所示的一個(gè)菜單。該菜單顯示了一個(gè)歷史/公司/型號(hào)/年份/功能的例子。當(dāng)然，該菜單會(huì)根據(jù)產(chǎn)品和廣告商想要強(qiáng)調(diào)的產(chǎn)品內(nèi)容而有所不同。

顯然，蘋(píng)果將不得不與他們的開(kāi)發(fā)人員緊密合作，以實(shí)現(xiàn)這一目標(biāo)，因?yàn)槎S碼可能必須專門(mén)用于混合現(xiàn)實(shí)內(nèi)容。但以蘋(píng)果公司的經(jīng)驗(yàn)，他們會(huì)讓這個(gè)過(guò)程變得簡(jiǎn)單，廣告商應(yīng)該會(huì)喜歡這個(gè)概念。對(duì)于那些不在蘋(píng)果商店附近的人來(lái)說(shuō)，蘋(píng)果將使HMD用戶很容易與新設(shè)備和iOS專業(yè)功能進(jìn)行互動(dòng)，就像你真的在商店里一樣。

蘋(píng)果這項(xiàng)專利名為 "一種增強(qiáng)現(xiàn)實(shí)環(huán)境中的電子產(chǎn)品"，歸功于Justin Stoyles（工程項(xiàng)目管理領(lǐng)導(dǎo)AR/VR應(yīng)用和內(nèi)容）和Michael Kuhn（軟件開(kāi)發(fā)經(jīng)理，2015年通過(guò)收購(gòu)Metaio GmbH來(lái)到蘋(píng)果）。專利顯示，這方面的工作始于2017年，即收購(gòu)Metaio兩年后，因此這應(yīng)該是蘋(píng)果公司對(duì)其未來(lái)HMD的原創(chuàng)概念。

近日公布的第二個(gè)與HMD相關(guān)的授權(quán)專利涵蓋了通過(guò)散光透鏡顯示圖像和跟蹤用戶眼睛的系統(tǒng)、方法和設(shè)備。

蘋(píng)果公司指出，當(dāng)在HMD中使用帶有散光透鏡的目鏡，并將顯示器移近目鏡（以及眼睛）時(shí)，目鏡和顯示器之間幾乎沒(méi)有剩余空間，這使得難以安裝眼動(dòng)追蹤系統(tǒng)，如一個(gè)或多個(gè)光源和一個(gè)攝像頭。然而，使用選擇性失真散光透鏡（使來(lái)自顯示器的光線失真，但不使來(lái)自光源的光線失真）可以使眼動(dòng)追蹤系統(tǒng)放置在非?？拷跨R的地方，而不會(huì)遇到目鏡的失真。

圖源：patentlyapple

蘋(píng)果公司的專利圖11B是一個(gè)頭戴式設(shè)備的方框圖，根據(jù)一些實(shí)施方案，該設(shè)備的眼動(dòng)跟蹤系統(tǒng)布置在目鏡前面；圖12是一個(gè)HMD設(shè)備系統(tǒng)的方框圖。

更多技術(shù)細(xì)節(jié)可查閱蘋(píng)果公司的授權(quán)專利11,301,036。

來(lái)源：patentlyapple