編譯/VR陀螺

近日，美國(guó)專利商標(biāo)局發(fā)布了一項(xiàng)新的蘋果專利申請(qǐng)，該專利申請(qǐng)是蘋果于2017年從蒙特利爾一家名為Vrvana的初創(chuàng)公司那里獲得，是一項(xiàng)關(guān)于混合現(xiàn)實(shí)顯示器的專利。據(jù)領(lǐng)英信息顯示，被列入該專利的六位發(fā)明人包括Vrvana的首席執(zhí)行官和創(chuàng)始人，其在公司被收購(gòu)后并未加入蘋果。盡管現(xiàn)在這是屬于蘋果的專利，但列出的所有發(fā)明者均不是蘋果公司的員工。

Vrvana的頭顯

專利背景首先定義了色度鍵控（或色度鍵合成），這是一種通過(guò)用第二張圖像的內(nèi)容替換一個(gè)圖像中的顏色范圍來(lái)合成兩個(gè)圖像的方法。例如，它通常應(yīng)用于電影或新聞廣播領(lǐng)域的中，通常用靜態(tài)圖像或視頻替換綠色（或藍(lán)色）屏幕背景。

盡管色度鍵控通常是后期制作的效果，或者是使用專用設(shè)備/軟件現(xiàn)場(chǎng)完成的，但是它可以在增強(qiáng)現(xiàn)實(shí)（AR）頭顯（也稱為混合現(xiàn)實(shí)）的環(huán)境中應(yīng)用，其中用戶可以通過(guò)頭戴式顯示設(shè)備實(shí)時(shí)看到真實(shí)環(huán)境中的虛擬元素。

一個(gè)示例是起重機(jī)模擬器，其中的控件將是真實(shí)的對(duì)象，并且彩色屏幕將由虛擬起重機(jī)和虛擬環(huán)境代替。

另一個(gè)示例是使用彩色屏幕的社交MR體驗(yàn)，該彩色屏幕覆蓋了整個(gè)視野，并且只有用戶的手或身體沒(méi)有被虛擬內(nèi)容替代（除非其顏色與屏幕相同）。該示例應(yīng)用程序有時(shí)被歸類為虛擬現(xiàn)實(shí)（VR），但為簡(jiǎn)單起見(jiàn)，我們?cè)谶@里將其視為增強(qiáng)現(xiàn)實(shí)（AR）。

總體而言，本發(fā)明涵蓋了包括照相機(jī)系統(tǒng)、圖像處理單元（SoC和/或FPGA系統(tǒng)）和實(shí)現(xiàn)低等待時(shí)間色度鍵控的顯示系統(tǒng)的頭戴式顯示設(shè)備（HMD）。

HMD中嵌入的色度鍵控處理通過(guò)計(jì)算機(jī)生成的內(nèi)容替換了相機(jī)圖像中用戶定義的顏色范圍，并將結(jié)果顯示在顯示系統(tǒng)上。因此，相機(jī)傳感器、處理系統(tǒng)和顯示系統(tǒng)用于實(shí)現(xiàn)低等待時(shí)間色度鍵控，該鍵控色度鍵被計(jì)算機(jī)生成的內(nèi)容替換了環(huán)境圖像中用戶定義的顏色范圍。具體地說(shuō)，處理系統(tǒng)檢測(cè)用戶選擇的顏色范圍，并用虛擬內(nèi)容制作合成圖像。

總體而言，本發(fā)明提供了一種用于MR沉浸式應(yīng)用的在HMD內(nèi)部實(shí)現(xiàn)色度鍵控的方法。這在模擬、游戲、娛樂(lè)和訓(xùn)練中特別有用。

本專利提供了一種可穿戴式沉浸式頭戴式顯示設(shè)備（HMD），其使用嵌入式立體聲RGB相機(jī)進(jìn)行實(shí)時(shí)色彩鍵控以捕獲環(huán)境，并提供一種顯示系統(tǒng)來(lái)顯示利用虛擬內(nèi)容增強(qiáng)的真實(shí)世界圖像。該系統(tǒng)以高幀速率（通常為75 fps或更高）運(yùn)行，通過(guò)捕獲圖像并將其格式化以顯示在HMD本身中，從而使延遲小于一幀。低延遲是實(shí)現(xiàn)沉浸感所需的關(guān)鍵要素。

嵌入在HMD中的顏色鍵控處理將檢測(cè)選定的顏色范圍，并混合來(lái)自HMD本身或來(lái)自外部源（例如連接的計(jì)算機(jī)）的虛擬內(nèi)容。虛擬內(nèi)容還可以在顏色鍵控區(qū)域的頂部合成，以允許混合現(xiàn)實(shí)內(nèi)容遮擋現(xiàn)實(shí)生活中的對(duì)象。

蘋果專利圖2示出了混合現(xiàn)實(shí)HMD的光學(xué)器件，顯示器和照相機(jī)的非限制性說(shuō)明性實(shí)施例；圖3示出了本系統(tǒng)的數(shù)據(jù)流的非限制性說(shuō)明性實(shí)施例的示意性概述。

蘋果專利圖1示出了色度鍵控設(shè)置的非限制性說(shuō)明性實(shí)施例的概述，該色度鍵控設(shè)置在此由人后的彩色屏幕組成。通過(guò)讓用戶通過(guò)頭戴式顯示設(shè)備（HMD）查看設(shè)置來(lái)實(shí)現(xiàn)混合現(xiàn)實(shí)效果。

蘋果專利圖4A示出了如由HMD的照相機(jī)色度鍵控設(shè)置的非限制性說(shuō)明性實(shí)施例；圖4B示出在用虛擬背景替換鍵屏幕之后，在HMD中顯示的色度鍵設(shè)置的非限制性說(shuō)明性實(shí)施例；圖5A示出了如由HMD的照相機(jī)所看到的色度鍵控設(shè)置的非限制性說(shuō)明性實(shí)施例；圖5B示出了在用虛擬內(nèi)容替換鍵色之后，在HMD中顯示的色度鍵設(shè)置的非限制性說(shuō)明性實(shí)施例。

美國(guó)專利局今天發(fā)布的這項(xiàng)20200252593專利申請(qǐng)是其于2020年2月提交的。但是，獲得該專利的時(shí)間實(shí)際上可以追溯到2017年8月，或者是在收購(gòu)交易被發(fā)現(xiàn)之前約四個(gè)月?？紤]到這是一項(xiàng)專利申請(qǐng)，目前尚不知道這種產(chǎn)品上市的時(shí)間。

該專利的發(fā)明人包括：

Bertrand Nepveu：Vrvana首席執(zhí)行官兼首席執(zhí)行官；收購(gòu)后，Nepveu沒(méi)有加入蘋果。

Vincent Chapdelaine-Couture：計(jì)算機(jī)視覺(jué)科學(xué)家；原始專利是在蘋果收購(gòu)的Vrvana下申請(qǐng)的。收購(gòu)后，Vincent沒(méi)有加入蘋果。

Anthony GHANNOUM：Vrvana的CTO和聯(lián)合創(chuàng)始人，Vrvana的顯示圖像處理架構(gòu)師；收購(gòu)后，他沒(méi)有加入蘋果。

Irv Lustigman：Vrvana技術(shù)與業(yè)務(wù)開(kāi)發(fā)副總裁；收購(gòu)后，他沒(méi)有加入蘋果。

Marc-AndréChénier：Vrvana的高級(jí)嵌入式軟件架構(gòu)師；收購(gòu)后他沒(méi)有加入蘋果。

SimonFortin-Deschê??nes：Vrvana的光學(xué)工程師；收購(gòu)后，他沒(méi)有加入蘋果。

來(lái)源：patentlyapple