美國(guó)專(zhuān)利和商標(biāo)辦公室今天批準(zhǔn)了68項(xiàng)蘋(píng)果公司新申請(qǐng)的專(zhuān)利。這其中包含一項(xiàng)和未來(lái)沉浸式AR十分有關(guān)系的專(zhuān)利，可以用在iMacs設(shè)備的Face Time功能上，以及未來(lái)的頭顯設(shè)備上。 ?專(zhuān)利：光場(chǎng)捕捉 蘋(píng)果新的專(zhuān)利發(fā)明涉及其涉及操作，系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)，使用相機(jī)陣列并且基于觀看者的角度（POV）處理捕獲的圖像，可以用于沉浸式AR，直播顯示屏墻，頭顯，視頻會(huì)議和類(lèi)似應(yīng)用。 ?背景 近年來(lái)，使用沉浸式AR，顯示墻，頭顯和視頻會(huì)議有所增加。視頻會(huì)議是在兩個(gè)或多個(gè)方之間進(jìn)行的在線(xiàn)會(huì)議，每方可以聽(tīng)到聲音并看到另一方的圖像。在視頻會(huì)議中，各方通過(guò)終端，例如臺(tái)式計(jì)算機(jī)系統(tǒng)，平板電腦系統(tǒng)，電視屏幕，顯示墻或智能電話(huà)在每個(gè)站點(diǎn)參與。終端通常包括用于捕獲音頻的麥克風(fēng)，用于捕獲圖像的網(wǎng)絡(luò)攝像頭，用于處理捕獲的音頻和視頻信號(hào)的一組硬件或軟件，用于在各方之間傳輸數(shù)據(jù)的網(wǎng)絡(luò)，用于播放語(yǔ)音的揚(yáng)聲器，以及顯示圖像。在這樣一個(gè)傳統(tǒng)的設(shè)置中，觀眾只能看到他對(duì)手方和她的場(chǎng)景的固定視角，觀眾只能看到對(duì)方的網(wǎng)絡(luò)攝像頭所捕獲的內(nèi)容。此外，當(dāng)觀眾在會(huì)議期間從一個(gè)位置移動(dòng)到另一個(gè)位置時(shí)，他的POV可以改變。然而，由于在對(duì)手方網(wǎng)站上的圖像捕獲的限制，觀看者只能始終從同一視角看到圖像。 ?光場(chǎng)相機(jī) 蘋(píng)果的發(fā)明描述了一種與沉浸式增強(qiáng)現(xiàn)實(shí)，實(shí)時(shí)顯示墻，頭戴式顯示器和視頻會(huì)議應(yīng)用程序相關(guān)，并可用于圖像捕捉和處理的技術(shù)。 在一個(gè)案例中，搭載該技術(shù)的設(shè)備由相機(jī)陣列捕獲的圖像向觀看者提供完整的視圖。 在另一個(gè)例子中，設(shè)備從一個(gè)位置移動(dòng)到另一個(gè)位置時(shí)，可以跟蹤觀看者的觀點(diǎn)（POV），并且根據(jù)他變化的POV顯示圖像。 觀眾POV的變化包括例如X，Y和Z尺寸的運(yùn)動(dòng)。 例如，在視頻會(huì)議期間，每方都通過(guò)終端參與會(huì)議。 每個(gè)終端包括顯示器，照相機(jī)陣列，圖像處理單元（硬件和軟件）以及網(wǎng)絡(luò)連接（通過(guò)電纜或無(wú)線(xiàn)連接）。 每個(gè)相機(jī)陣列可以包括多臺(tái)相機(jī)。 相機(jī)陣列可以捕獲圖像（包括顏色RGB，YUV，YCC等）。 攝像機(jī)陣列也可以捕獲深度，通過(guò)捕獲信息以計(jì)算深度（例如，結(jié)構(gòu)光，飛行時(shí)間，立體圖像等），或者計(jì)算每方的其他深度，同時(shí)跟蹤該方的POV（比如以某人的頭部或眼睛位置為代表）。 觀眾POV的數(shù)據(jù)可以由觀眾的終端發(fā)送，并且由發(fā)聲的人的終端通過(guò)網(wǎng)絡(luò)連接接收。 蘋(píng)果公司還指出：“發(fā)聲者終端內(nèi)的圖像處理單元可以根據(jù)觀眾的POV來(lái)處理發(fā)聲者的拍攝圖像，而圖像處理操作可以對(duì)基于觀看者的POV所拍攝的圖像進(jìn)行修剪像素的剔除操作。剔除操作的目的是減少處理數(shù)據(jù)量。由于處理后的數(shù)據(jù)最終將從一方傳輸?shù)搅硪环剑虼颂蕹梢詼p少傳輸數(shù)據(jù)量，節(jié)省帶寬，減少延時(shí)?！? 在剔除之后，圖像處理單元可以將來(lái)自各個(gè)攝像機(jī)的三維空間的剩余像素映射到二維顯示空間。 接下來(lái)，映射像素的數(shù)據(jù)可以由發(fā)聲者的終端發(fā)送并通過(guò)網(wǎng)絡(luò)連接由觀眾的終端接收。 隨后，觀眾終端內(nèi)的圖像處理單元可以混合映射的像素并組合準(zhǔn)備好顯示的圖像（即“幀”）。 另外，發(fā)聲者的POV可以被觀眾的終端用來(lái)處理觀看者的拍攝圖像。 觀看者終端內(nèi)的圖像處理操作可以“映照”發(fā)聲者終端內(nèi)的處理。 在視頻會(huì)議中，每方對(duì)于對(duì)方來(lái)說(shuō)都是發(fā)聲者和觀眾。 因此，上述在觀眾和發(fā)聲者的場(chǎng)所描述的圖像捕獲和處理操作，在每個(gè)終端內(nèi)是同時(shí)且連續(xù)地進(jìn)行的。 這為每方提供了基于該方的POV的對(duì)手方的幀（即實(shí)時(shí)視頻）的連續(xù)顯示。 此外，相機(jī)陣列可以單獨(dú)擺出，或者集成到顯示器中。 對(duì)于諸如沉浸式增強(qiáng)現(xiàn)實(shí)的應(yīng)用，直播顯示墻和頭戴式顯示器，其中可能只有一個(gè)觀看者，終端可以存在不對(duì)稱(chēng)的情況，因?yàn)橛^眾方可能沒(méi)有相機(jī)陣列。 光場(chǎng)相機(jī)正在徹底改變我們?cè)谝曨l和靜止圖像中觀看圖像的方式。 今天的iPhone 7 Plus可讓用戶(hù)在拍攝照片時(shí)選擇人像模式。 此功能自動(dòng)創(chuàng)建具有散景效果的照片。 這種效果可以做到人物或物體在圖像的最前端是清晰的，而背景圖像是模糊。 隨著這種新光場(chǎng)技術(shù)的添加，iPhone攝像頭的用戶(hù)將能夠更進(jìn)一步，在拍攝完照片后隨意更改焦點(diǎn)。 關(guān)注微信公眾號(hào)：VR陀螺（vrtuoluo）,定時(shí)推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。