發(fā)布時間：2020-08-25 15:33 | 標(biāo)簽：
Facebook Facebook Reality Labs DeepFovea 圖形渲染
微信掃一掃：分享
微信里點(diǎn)“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
如何讓AR/VR設(shè)備更易于讓消費(fèi)者接受一直是各大廠商需要應(yīng)對的問題，除了價格外，設(shè)備的舒適度、功能和效果都是消費(fèi)者很看重的因素。而當(dāng)前市場上的設(shè)備大部分從外形上來看都較為笨重，也并不適合長時間佩戴。從視覺效果來說，越好的設(shè)備就需要越強(qiáng)的運(yùn)算能力并消耗更大的電量，這也就意味著設(shè)備在外形設(shè)計(jì)上處處受制。那么該如何降低設(shè)備功耗，令設(shè)備可以更加輕便的同時又不影響圖像質(zhì)量？
為此，F(xiàn)acebook的研究部門Facebook Reality Labs基于神經(jīng)網(wǎng)絡(luò)開發(fā)了一款名為DeepFovea的圖形渲染系統(tǒng)，以應(yīng)對這個挑戰(zhàn)。以下是Facebook在其博客上發(fā)表的完整文章：
在Facebook Reality Labs，我們正在建立一個未來，讓現(xiàn)實(shí)世界和虛擬世界可以自由地混合在一起，使我們的日常生活更輕松，生產(chǎn)力更高，并相互連接在一起。功耗是實(shí)現(xiàn)該未來的挑戰(zhàn)之一。為了獲得可以在任意長時間（包括整天）內(nèi)舒適佩戴的增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)（AR / VR）設(shè)備，VR頭戴設(shè)備都必須具有更高的能效，而AR眼鏡必須消耗較少的電量。作為構(gòu)建達(dá)到更高級別的AR / VR系統(tǒng)的一部分，我們正在開發(fā)可顯著降低功耗而又不影響圖像質(zhì)量的圖形系統(tǒng)。
DeepFovea是我們?yōu)閼?yīng)對這一挑戰(zhàn)而開發(fā)的幾種基于神經(jīng)網(wǎng)絡(luò)的方法之一。DeepFovea是一種渲染系統(tǒng)，它應(yīng)用了最近發(fā)明的AI生成對抗網(wǎng)絡(luò)（GAN）概念，以模仿我們的外圍視覺在日常生活中感知世界的方式，并利用可感知匹配的架構(gòu)來提供前所未有的圖形效率。
DeepFovea的神經(jīng)渲染遠(yuǎn)遠(yuǎn)超出了當(dāng)今Oculus產(chǎn)品中使用的傳統(tǒng)的凹版渲染系統(tǒng)，從而可以生成與全分辨率圖像在視覺上無法區(qū)分的圖像，而渲染的像素?cái)?shù)卻不到10％?，F(xiàn)有的集中式渲染方法需要渲染的像素大約是全分辨率圖像的一半，因此DeepFovea降低渲染要求的數(shù)量級代表了感知渲染的新里程碑。
我們首先在2019年11月的SIGGRAPH Asia上展示了DeepFovea。今天，我們將完整的演示發(fā)布到我們的DeepFovea存儲庫中，以幫助圖形研究社區(qū)加深對最新感知渲染的探索。
DeepFovea的關(guān)鍵是利用人眼的生理功能。當(dāng)人們的眼睛直接看著物體時，來自該物體的光子會落在視網(wǎng)膜的中央凹區(qū)域，簡稱中央凹。中央凹是視網(wǎng)膜中唯一具有高分辨率的部分，并且它僅占整個視網(wǎng)膜中很小一部分。在人眼超過150度的視野中，最高分辨率的區(qū)域僅跨越3度，在距中央凹中心10度以內(nèi)的分辨率下降了一個數(shù)量級。我們覺得我們擁有更廣闊的高分辨率視野，但這是因?yàn)槲覀兊拇竽X保存了周圍環(huán)境的模型并填充了缺失的細(xì)節(jié)，同時又將中央凹迅速移至我們?nèi)魏胃信d趣的對象上。實(shí)際上，我們只有一個很小的高分辨率視野區(qū)域，而對圍繞它的一切事物的感知卻非常模糊。
但這并不是說外圍視覺并不重要。外圍視覺對于平衡、運(yùn)動檢測和周圍環(huán)境感知非常重要，并可以提示大腦下一步該去哪里。但是它區(qū)分細(xì)節(jié)的能力受到極大限制。
DeepFovea使用最少的必要數(shù)據(jù)量來生成與視網(wǎng)膜分辨率匹配的圖像。給定一個稀疏渲染的圖像，其可變分辨率與在任何給定時刻指向中央凹的位置的每個點(diǎn)處的視網(wǎng)膜分辨率相匹配，DeepFovea會推斷丟失的數(shù)據(jù)。至關(guān)重要的是，在給定視網(wǎng)膜的分辨率和圖像處理特性的情況下，所產(chǎn)生的結(jié)果在感覺上與全分辨率圖像沒有區(qū)別。但這并不意味著結(jié)果是相同的-實(shí)際上，如在下例中看到的那樣，當(dāng)人們使用中央凹觀察時，所看到的圖像與全分辨率圖像通常并不接近-但外圍視覺的較低分辨率處理可以讓人察覺不到差異。
DeepFovea通過使用生成對抗網(wǎng)絡(luò)（GAN）推斷丟失的外圍信息。我們通過提供數(shù)百萬個具有人為降低的外圍質(zhì)量的真實(shí)視頻來訓(xùn)練DeepFovea的神經(jīng)網(wǎng)絡(luò)。人工降級的視頻模擬了外圍圖像的降級，基于GAN的設(shè)計(jì)可幫助網(wǎng)絡(luò)根據(jù)所看到的所有視頻的統(tǒng)計(jì)信息來學(xué)習(xí)如何填充缺失的細(xì)節(jié)。
結(jié)果，渲染器可以少渲染幾個數(shù)量級的像素，甚至更少——像素密度可以在60×40度視場的外圍減少多達(dá)99％的像素，從而節(jié)省了大量的時間功耗。得益于DeepFovea和眼動追蹤技術(shù)，觀看者才能以完全相同的質(zhì)量感知完全相同的場景。
DeepFovea還可以確保人眼不會察覺到周圍的閃爍，混疊和其他視頻偽像。
此動圖演示了DeepFovea如何在頭顯設(shè)備佩戴者的注視（由光標(biāo)表示）下，在場景中的元素之間移動時重建偏心的視覺效果。觀察輸入像素的數(shù)量如何遠(yuǎn)離中心視覺區(qū)域減少，從而匹配視網(wǎng)膜的分辨率，然后DeepFovea如何在像素落在視網(wǎng)膜外圍區(qū)域的情況下以與全分辨率呈現(xiàn)的像素不同，但在感知上卻相同的方式重建圖像，且最終效果與理想圖像無法區(qū)分。
我們的最終目標(biāo)是使實(shí)時集中式渲染在輕便、高能效的AR / VR設(shè)備上運(yùn)行，該設(shè)備可以讓用戶整天佩戴。DeepFovea建立了新的感知渲染效率標(biāo)準(zhǔn)，這標(biāo)志著朝向該目標(biāo)邁出的重要一步，該方法證明了感知的質(zhì)量損失，同時渲染的像素?cái)?shù)不到傳統(tǒng)渲染器的10％。這種方法也與硬件無關(guān)，這使DeepFovea能夠與各種AR / VR研究系統(tǒng)兼容。
盡管DeepFovea解鎖了在AR和VR中進(jìn)行有效渲染的重要方法，但這僅僅是探索超低功耗感知渲染的開始。通過發(fā)布除我們的研究論文外的DeepFovea演示，我們希望為有興趣為感知和神經(jīng)渲染技術(shù)的發(fā)展做出貢獻(xiàn)的圖形和視覺科學(xué)研究人員提供一個有用的框架。
原文鏈接：
https://research.fb.com/blog/2020/05/deepfovea-ar-vr-rendering-inspired-by-human-vision/
第一時間了解XR資訊
關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）
投稿/爆料：tougao@youxituoluo.com
稿件/商務(wù)合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
