編譯/VR陀螺

近日，美國(guó)專(zhuān)利商標(biāo)局正式授予蘋(píng)果一項(xiàng)與Apple Vision Pro相關(guān)的專(zhuān)利，該專(zhuān)利涉及計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境，包括在計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境中（如AR）利用多模態(tài)輸入。雖然錄制空間視頻最初是通過(guò)頭顯頂部的按鈕觸發(fā)，但蘋(píng)果的專(zhuān)利還透露，在未來(lái)，可通過(guò)指定的面部表情觸發(fā)錄制事件，例如體育賽事。

蘋(píng)果公司在其專(zhuān)利背景中指出，AR技術(shù)旨在通過(guò)提供一個(gè)增強(qiáng)的物理環(huán)境來(lái)彌補(bǔ)虛擬環(huán)境和物理環(huán)境之間的差距，該物理環(huán)境通過(guò)電子信息進(jìn)行增強(qiáng)。因此，電子信息似乎是用戶感知的物理環(huán)境的一部分。在一個(gè)例子中，AR技術(shù)進(jìn)一步提供了一個(gè)用戶界面，用于與疊加在增強(qiáng)物理環(huán)境中的電子信息進(jìn)行交互。

在蘋(píng)果公司的授權(quán)專(zhuān)利中，該主題技術(shù)的實(shí)現(xiàn)至少部分基于電子設(shè)備是否與相關(guān)基礎(chǔ)設(shè)備通信耦合來(lái)確定電子設(shè)備的操作模式?；诖_定的操作模式，該主題技術(shù)識(shí)別一組輸入模式，用于啟動(dòng)電子設(shè)備視野內(nèi)內(nèi)容的錄制。

主體技術(shù)監(jiān)控由包括在電子設(shè)備中或與電子設(shè)備通信耦合的至少一個(gè)傳感器產(chǎn)生的傳感器信息。

此外，當(dāng)監(jiān)測(cè)到傳感器信息指示所識(shí)別的一組輸入模式中的至少一個(gè)已被觸發(fā)時(shí)，主體技術(shù)會(huì)在電子設(shè)備的視野范圍內(nèi)啟動(dòng)內(nèi)容錄制。

蘋(píng)果頭顯設(shè)備可包括可接收用戶輸入的硬件元件，例如硬件按鈕或開(kāi)關(guān)。由此類(lèi)傳感器和/或硬件元件檢測(cè)到的用戶輸入對(duì)應(yīng)于例如從應(yīng)用內(nèi)啟動(dòng)共存會(huì)話的各種輸入模式。

例如，此類(lèi)輸入模式可包括但不限于面部追蹤、眼動(dòng)追蹤（例如注視方向）、手部追蹤、手勢(shì)追蹤、生物識(shí)別讀數(shù)（例如心率、脈搏、瞳孔放大、呼吸、體溫、腦電圖、嗅覺(jué)）、識(shí)別語(yǔ)音或音頻（例如特定熱詞）以及激活按鈕或開(kāi)關(guān)等。

圖源：patentlyapple

蘋(píng)果專(zhuān)利圖3B和3C說(shuō)明了根據(jù)主題技術(shù)的實(shí)施方案追蹤注視方向以啟動(dòng)計(jì)算機(jī)生成的現(xiàn)實(shí)錄制的示例： 圖4B和圖4C示出了根據(jù)主題技術(shù)的一些實(shí)施例，以確定計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境中的興趣區(qū)域并基于該區(qū)域啟動(dòng)錄制的示例；圖5B和圖5C示出了根據(jù)主題技術(shù)的一些實(shí)施例為計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境中的各種對(duì)象或?qū)嶓w提供注釋的示例。

蘋(píng)果專(zhuān)利圖6示出了在蘋(píng)果頭顯的視場(chǎng)內(nèi)啟動(dòng)內(nèi)容錄制的示例過(guò)程的流程圖。

更具體到蘋(píng)果專(zhuān)利圖3A，蘋(píng)果指出，在一個(gè)實(shí)施方案中，電子設(shè)備（#105頭顯）可以利用各種傳感器追蹤頭顯用戶的面部表情。如圖所示，頭顯的傳感器可以追蹤用戶面部的不同區(qū)域。

例如，一個(gè)攝像頭可追蹤用戶左眉（#312）和右眉（#310）的移動(dòng)。另一個(gè)攝像頭可追蹤包括右眼在內(nèi)的#302區(qū)域和包括左眼在內(nèi)的#304區(qū)域的移動(dòng)。另一個(gè)攝像頭可以追蹤第一區(qū)域#308（例如，包括鼻尖和鼻孔）和/或第二區(qū)域#306（例如，包括鼻背和/或鼻梁）的運(yùn)動(dòng)。同時(shí)，另一個(gè)攝像頭可以追蹤用戶#301的嘴#316。此外，一個(gè)特定的攝像頭可以追蹤下頜#314，包括用戶的下巴。

盡管上文討論了各種攝像頭，但可以理解的是，同一個(gè)攝像頭可以追蹤用戶面部的多個(gè)部分。例如，同一個(gè)攝像頭可以追蹤用戶的下頜和嘴部。

事件檢測(cè)器可獨(dú)立分析或組合使用來(lái)自不同攝像頭的信息。事件檢測(cè)器可以使用這些信息來(lái)檢測(cè)用戶面部的表情。作為對(duì)檢測(cè)到的面部表情的響應(yīng)，事件檢測(cè)器可向錄制框架發(fā)送請(qǐng)求，以啟動(dòng)計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境中的錄制，例如，特定感興趣區(qū)域或視場(chǎng)的錄制。

不同類(lèi)型的面部表情可以對(duì)應(yīng)用戶的各種情緒。在一個(gè)示例中，頭顯確定檢測(cè)到的面部表情對(duì)應(yīng)的特定情緒（例如，驚訝、憤怒、快樂(lè)），并根據(jù)檢測(cè)到的表情啟動(dòng)計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境的錄制以響應(yīng)情緒。

蘋(píng)果公司的專(zhuān)利圖3B和3C示出了根據(jù)主題技術(shù)的實(shí)施方案追蹤注視方向以啟動(dòng)計(jì)算機(jī)生成現(xiàn)實(shí)錄制的示例。

進(jìn)一步參見(jiàn)專(zhuān)利圖4B，場(chǎng)景#420顯示了正在計(jì)算機(jī)生成現(xiàn)實(shí)環(huán)境中發(fā)生的體育賽事（例如曲棍球比賽）。錄制框架繼續(xù)錄制計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境，并聚焦于感興趣區(qū)域#404，該區(qū)域是曲棍球靠近球員#402的曲棍球桿。通過(guò)這種方式，感興趣區(qū)域（冰球）可以移動(dòng)或運(yùn)動(dòng)，而錄制則移動(dòng)或追蹤感興趣區(qū)域。

想了解更多專(zhuān)利詳情，請(qǐng)查閱蘋(píng)果公司的授權(quán)專(zhuān)利11698674。

來(lái)源：patentlyapple