編譯/VR陀螺

近日，美國商標(biāo)專利局發(fā)布了一項(xiàng)蘋果公司的專利，涉及具有物體移動(dòng)檢測功能的頭戴式顯示設(shè)備。

蘋果公司在其專利中指出，該專利公開的各種實(shí)施方案用于檢測處于頭戴式設(shè)備（HMD）視場中的移動(dòng)物體。在各種實(shí)施方案中，HMD包括顯示器、事件攝像頭以及相關(guān)的處理器。

在某些實(shí)施方案中，該方法包括根據(jù)與一個(gè)或多個(gè)物體相關(guān)聯(lián)的深度數(shù)據(jù)，合成描述事件攝像頭視場中一個(gè)或多個(gè)物體特征的第一光流。在某些實(shí)施方案中，該方法包括根據(jù)事件攝像頭提供的事件圖像數(shù)據(jù)，確定描述事件攝像頭視場中一個(gè)或多個(gè)對象的第二光流。在某些實(shí)施方案中，該方法包括根據(jù)第一光流和第二光流確定一個(gè)或多個(gè)物體中的第一物體正在移動(dòng)。

在各種實(shí)施方案中，頭戴式設(shè)備（HMD）包括攝像頭和顯示器。在某些實(shí)施方案中，攝像頭包括一個(gè)面向場景的攝像頭。在某些實(shí)施方案中，顯示屏呈現(xiàn)攝像頭視場中物體的視覺呈現(xiàn)。

在各種實(shí)施方案中，HMD 是可移動(dòng)的。例如，佩戴 HMD 的用戶可以傾斜和/或旋轉(zhuǎn) HMD，隨著 HMD 的移動(dòng)，攝像頭視場中的物體也會(huì)發(fā)生變化。在各種實(shí)施方案中，HMD 可能需要識(shí)別正在移動(dòng)的物體。在某些實(shí)施方案中，HMD 可能需要在 HMD 移動(dòng)時(shí)（例如，在 HMD 旋轉(zhuǎn)、傾斜和/或平移時(shí)）識(shí)別正在移動(dòng)的物體。

在各種實(shí)施方案中，HMD 利用來自事件攝像頭的圖像數(shù)據(jù)來識(shí)別正在移動(dòng)的物體。在某些實(shí)施方案中，HMD 合成第一光流（例如，預(yù)期光流），該光流描述事件攝像頭視場中的一個(gè)或多個(gè)物體。

HMD 會(huì)根據(jù)事件攝像頭提供的事件圖像數(shù)據(jù)確定第二光流（例如，當(dāng)前光流），該光流用于描述事件攝像頭視場中的物體。在某些實(shí)施方案中，HMD 根據(jù)第一光流和第二光流確定事件攝像頭視場中的一個(gè)物體正在移動(dòng)。例如，HMD 根據(jù)當(dāng)前光流不同于預(yù)期光流來確定其中一個(gè)物體正在移動(dòng)。

HMD 還會(huì)顯示場景中的物體正在移動(dòng)的指示。在某些實(shí)施方案中，當(dāng) HMD 的顯示器顯示與場景不對應(yīng)的內(nèi)容時(shí)（例如，當(dāng)顯示器顯示與游戲、電影或視頻聊天對應(yīng)的內(nèi)容而不是顯示場景中物體的視覺表示時(shí)），HMD 會(huì)顯示該指示。在某些實(shí)施方案中，HMD 會(huì)指示事件攝像頭視場中的哪個(gè)物體正在移動(dòng)。

圖源：Apple Patent 11838492

圖 1 是根據(jù)某些實(shí)施方案的示例操作環(huán)境 #100 的框圖。作為一個(gè)非限制性示例，操作環(huán)境 #100 包括控制器 #200 和HMD #300。在圖 1 的示例中，HMD #300 位于場景 #105（例如，會(huì)議室等地理位置）。在圖 1 的示例中，場景 #105 包括各種物體，如狗 #160a 和球 #160b。如圖 1 所示，用戶 #110 可以佩戴 #HMD 300。

在一些實(shí)施例中，控制器 #200 被配置為管理和協(xié)調(diào)用戶 #110 的AR/VR)體驗(yàn)。在一些實(shí)施例中，控制器 #200 包括軟件、固件和/或硬件的適當(dāng)組合。

圖源：Apple Patent 11838492

圖 2 是根據(jù)某些實(shí)施方案的控制器 #200 示例的框圖。在某些實(shí)施方案中，一個(gè)或多個(gè)通信總線 #204 包括用于互連和控制系統(tǒng)組件之間通信的電路。在某些實(shí)施方案中，一個(gè)或多個(gè) I/O 設(shè)備 #206 包括鍵盤、鼠標(biāo)、觸摸板、操縱桿、一個(gè)或多個(gè)麥克風(fēng)、一個(gè)或多個(gè)揚(yáng)聲器、一個(gè)或多個(gè)圖像傳感器、一個(gè)或多個(gè)顯示器、觸摸感應(yīng)顯示器和/或類似設(shè)備中的至少一種。

圖源：Apple Patent 11838492

圖 4 是根據(jù)某些實(shí)施方案繪制的 HMD #300 框圖。在各種實(shí)施方案中，數(shù)據(jù)獲取單元 #342 獲取場景 #105 的 3D 模型 #352。在某些實(shí)施方案中，數(shù)據(jù)獲取單元 #342 獲取與場景相關(guān)的深度數(shù)據(jù) #354。

在某些實(shí)施方案中，數(shù)據(jù)獲取單元 #342 從 3D 模型 #352 中檢索深度數(shù)據(jù) #354。而深度數(shù)據(jù) #354 顯示場景 #105 中各種物體相對于 HMD #300 的位置。換句話說，在某些實(shí)施方案中，深度數(shù)據(jù) #354 表示每個(gè)物體距離 HMD #300 有多遠(yuǎn)。

在某些實(shí)施方案中，數(shù)據(jù)獲取單元 #342 從深度攝像頭 #314b 獲取深度數(shù)據(jù) #354。數(shù)據(jù)獲取單元 #342 從控制器 #200 接收三維模型 #352 和/或深度數(shù)據(jù) #354。而數(shù)據(jù)獲取單元 #342 會(huì)將深度數(shù)據(jù) #354 提供給光流確定單元 #346。

在各種實(shí)現(xiàn)方式中，光流確定單元 #346 根據(jù)深度數(shù)據(jù) #354 合成場景 #105 的預(yù)期光流 (OF) #358。在某些實(shí)施方案中，預(yù)期光流 #358 會(huì)描述事件攝像頭 #314a 視場中的物體。

例如參照圖 1，預(yù)期光流 #358 描述了事件攝像頭 #314a 視場 #316 中的狗 #160a 和球 #160b。在某些實(shí)施方案中，HMD #300（例如光流確定單元 #346）從另一個(gè)實(shí)體（例如控制器 #200）接收場景 #105 的預(yù)期光流 #358。在某些實(shí)施方式中，光流確定單元 #346 將預(yù)期光流 #358 提供給運(yùn)動(dòng)檢測單元 #348。

來源：Apple Patent 11838492