編譯/VR陀螺

來自新加坡國立大學和其他組織的一個研究團隊推出了一項新的渲染技術HOSNeRF，可以用單一的2D攝像機創(chuàng)造出更高分辨率的3D圖像。

來自新加坡國立大學和其他機構的一個研究小組宣布了一項新的渲染技術，名為“人-物-場景神經輻射場（HOSNeRF）”，該技術可以在任何時間點從單一視頻中創(chuàng)建360°的圖像。 能夠比傳統(tǒng)方法更詳細地渲染人的動作，即使是沒有用360°相機拍攝的視頻。而NeRF是一種使用深度學習技術，從多角度拍攝的2D圖像中創(chuàng)建3D圖像的方法。

圖源：HOSNeRF項目論文

與具有固定構圖的圖像不同，視頻在主體（如人和網(wǎng)球拍）之間產生復雜的互動（如打網(wǎng)球）的情況下，人并不是一直拿著球拍，而是可能放下球拍或拿著一個袋子。要準確地渲染這種人與物體的互動和物體的切換是很困難的，這被認為是視頻自由視角渲染的一個挑戰(zhàn)。

為了解決這些問題，HOSNeRF引入了一種表達人體骨骼和物體骨骼之間聯(lián)系的機制，以及處理物體狀態(tài)變化的機制。在涉及物體與環(huán)境互動的視頻中，已經成功實現(xiàn)了高精度的自由視點渲染。

研究團隊制作的比較圖像顯示，與其他方法相比，物體的排列、模糊和虛化現(xiàn)象較少。

“Ours”指的是HOSNeRF方案（圖源：HOSNeRF項目論文）

該團隊還在論文中指出，HOSNeRF專注于“人類和物體”的動態(tài)建模，目前缺乏動態(tài)表示“背景”的能力。未來將進一步研究背景方面的渲染方法。

來源：moguravr