美國專利和商標(biāo)辦公室今天批準(zhǔn)了68項蘋果公司新申請的專利。這其中包含一項和未來沉浸式AR十分有關(guān)系的專利，可以用在iMacs設(shè)備的Face Time功能上，以及未來的頭顯設(shè)備上。 ?專利：光場捕捉 蘋果新的專利發(fā)明涉及其涉及操作，系統(tǒng)和計算機可讀介質(zhì)，使用相機陣列并且基于觀看者的角度（POV）處理捕獲的圖像，可以用于沉浸式AR，直播顯示屏墻，頭顯，視頻會議和類似應(yīng)用。 ?背景 近年來，使用沉浸式AR，顯示墻，頭顯和視頻會議有所增加。視頻會議是在兩個或多個方之間進行的在線會議，每方可以聽到聲音并看到另一方的圖像。在視頻會議中，各方通過終端，例如臺式計算機系統(tǒng)，平板電腦系統(tǒng)，電視屏幕，顯示墻或智能電話在每個站點參與。終端通常包括用于捕獲音頻的麥克風(fēng)，用于捕獲圖像的網(wǎng)絡(luò)攝像頭，用于處理捕獲的音頻和視頻信號的一組硬件或軟件，用于在各方之間傳輸數(shù)據(jù)的網(wǎng)絡(luò)，用于播放語音的揚聲器，以及顯示圖像。在這樣一個傳統(tǒng)的設(shè)置中，觀眾只能看到他對手方和她的場景的固定視角，觀眾只能看到對方的網(wǎng)絡(luò)攝像頭所捕獲的內(nèi)容。此外，當(dāng)觀眾在會議期間從一個位置移動到另一個位置時，他的POV可以改變。然而，由于在對手方網(wǎng)站上的圖像捕獲的限制，觀看者只能始終從同一視角看到圖像。 ?光場相機 蘋果的發(fā)明描述了一種與沉浸式增強現(xiàn)實，實時顯示墻，頭戴式顯示器和視頻會議應(yīng)用程序相關(guān)，并可用于圖像捕捉和處理的技術(shù)。 在一個案例中，搭載該技術(shù)的設(shè)備由相機陣列捕獲的圖像向觀看者提供完整的視圖。 在另一個例子中，設(shè)備從一個位置移動到另一個位置時，可以跟蹤觀看者的觀點（POV），并且根據(jù)他變化的POV顯示圖像。 觀眾POV的變化包括例如X，Y和Z尺寸的運動。 例如，在視頻會議期間，每方都通過終端參與會議。 每個終端包括顯示器，照相機陣列，圖像處理單元（硬件和軟件）以及網(wǎng)絡(luò)連接（通過電纜或無線連接）。 每個相機陣列可以包括多臺相機。 相機陣列可以捕獲圖像（包括顏色RGB，YUV，YCC等）。 攝像機陣列也可以捕獲深度，通過捕獲信息以計算深度（例如，結(jié)構(gòu)光，飛行時間，立體圖像等），或者計算每方的其他深度，同時跟蹤該方的POV（比如以某人的頭部或眼睛位置為代表）。 觀眾POV的數(shù)據(jù)可以由觀眾的終端發(fā)送，并且由發(fā)聲的人的終端通過網(wǎng)絡(luò)連接接收。 蘋果公司還指出：“發(fā)聲者終端內(nèi)的圖像處理單元可以根據(jù)觀眾的POV來處理發(fā)聲者的拍攝圖像，而圖像處理操作可以對基于觀看者的POV所拍攝的圖像進行修剪像素的剔除操作。剔除操作的目的是減少處理數(shù)據(jù)量。由于處理后的數(shù)據(jù)最終將從一方傳輸?shù)搅硪环剑虼颂蕹梢詼p少傳輸數(shù)據(jù)量，節(jié)省帶寬，減少延時。” 在剔除之后，圖像處理單元可以將來自各個攝像機的三維空間的剩余像素映射到二維顯示空間。 接下來，映射像素的數(shù)據(jù)可以由發(fā)聲者的終端發(fā)送并通過網(wǎng)絡(luò)連接由觀眾的終端接收。 隨后，觀眾終端內(nèi)的圖像處理單元可以混合映射的像素并組合準(zhǔn)備好顯示的圖像（即“幀”）。 另外，發(fā)聲者的POV可以被觀眾的終端用來處理觀看者的拍攝圖像。 觀看者終端內(nèi)的圖像處理操作可以“映照”發(fā)聲者終端內(nèi)的處理。 在視頻會議中，每方對于對方來說都是發(fā)聲者和觀眾。 因此，上述在觀眾和發(fā)聲者的場所描述的圖像捕獲和處理操作，在每個終端內(nèi)是同時且連續(xù)地進行的。 這為每方提供了基于該方的POV的對手方的幀（即實時視頻）的連續(xù)顯示。 此外，相機陣列可以單獨擺出，或者集成到顯示器中。 對于諸如沉浸式增強現(xiàn)實的應(yīng)用，直播顯示墻和頭戴式顯示器，其中可能只有一個觀看者，終端可以存在不對稱的情況，因為觀眾方可能沒有相機陣列。 光場相機正在徹底改變我們在視頻和靜止圖像中觀看圖像的方式。 今天的iPhone 7 Plus可讓用戶在拍攝照片時選擇人像模式。 此功能自動創(chuàng)建具有散景效果的照片。 這種效果可以做到人物或物體在圖像的最前端是清晰的，而背景圖像是模糊。 隨著這種新光場技術(shù)的添加，iPhone攝像頭的用戶將能夠更進一步，在拍攝完照片后隨意更改焦點。 關(guān)注微信公眾號：VR陀螺（vrtuoluo）,定時推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。