編譯/VR陀螺

來自新加坡國立大學(xué)和其他組織的一個研究團(tuán)隊推出了一項新的渲染技術(shù)HOSNeRF，可以用單一的2D攝像機(jī)創(chuàng)造出更高分辨率的3D圖像。

來自新加坡國立大學(xué)和其他機(jī)構(gòu)的一個研究小組宣布了一項新的渲染技術(shù)，名為“人-物-場景神經(jīng)輻射場（HOSNeRF）”，該技術(shù)可以在任何時間點從單一視頻中創(chuàng)建360°的圖像。 能夠比傳統(tǒng)方法更詳細(xì)地渲染人的動作，即使是沒有用360°相機(jī)拍攝的視頻。而NeRF是一種使用深度學(xué)習(xí)技術(shù)，從多角度拍攝的2D圖像中創(chuàng)建3D圖像的方法。

圖源：HOSNeRF項目論文

與具有固定構(gòu)圖的圖像不同，視頻在主體（如人和網(wǎng)球拍）之間產(chǎn)生復(fù)雜的互動（如打網(wǎng)球）的情況下，人并不是一直拿著球拍，而是可能放下球拍或拿著一個袋子。要準(zhǔn)確地渲染這種人與物體的互動和物體的切換是很困難的，這被認(rèn)為是視頻自由視角渲染的一個挑戰(zhàn)。

為了解決這些問題，HOSNeRF引入了一種表達(dá)人體骨骼和物體骨骼之間聯(lián)系的機(jī)制，以及處理物體狀態(tài)變化的機(jī)制。在涉及物體與環(huán)境互動的視頻中，已經(jīng)成功實現(xiàn)了高精度的自由視點渲染。

研究團(tuán)隊制作的比較圖像顯示，與其他方法相比，物體的排列、模糊和虛化現(xiàn)象較少。

“Ours”指的是HOSNeRF方案（圖源：HOSNeRF項目論文）

該團(tuán)隊還在論文中指出，HOSNeRF專注于“人類和物體”的動態(tài)建模，目前缺乏動態(tài)表示“背景”的能力。未來將進(jìn)一步研究背景方面的渲染方法。

來源：moguravr