編譯/VR陀螺

日前，Meta和牛津大學(xué)的研究人員開發(fā)了一種新的3D生成式AI模型VFusion3D，能夠從單張圖像或文本描述生成高質(zhì)量的3D對(duì)象，可能會(huì)改變虛擬現(xiàn)實(shí)、游戲和數(shù)字設(shè)計(jì)等領(lǐng)域。

VFusion3D界面簡(jiǎn)單直觀，允許用戶自己上傳或從一系列預(yù)加載的示例中選擇圖像。預(yù)加載的示例表現(xiàn)非常出色，生成的3D模型和渲染視頻以顯著的準(zhǔn)確性捕捉了原始2D圖像的本質(zhì)和細(xì)節(jié)。

圖源：Meta

據(jù)悉，研究團(tuán)隊(duì)利用預(yù)訓(xùn)練的視頻人工智能模型生成合成3D數(shù)據(jù)，使他們能夠訓(xùn)練更強(qiáng)大的3D生成系統(tǒng)，解決了長(zhǎng)久以來的3D訓(xùn)練數(shù)據(jù)稀缺問題。

具體來看，這一過程本質(zhì)上是教會(huì)模型從多個(gè)角度想象物體，研究人員對(duì)現(xiàn)有的視頻人工智能模型進(jìn)行了微調(diào)，以生成多視圖視頻序列，這些合成數(shù)據(jù)被用于訓(xùn)練VFusion3D。在測(cè)試中，與以前的最先進(jìn)系統(tǒng)相比，該模型可以在幾秒鐘內(nèi)從單個(gè)圖像生成3D資產(chǎn)，人類評(píng)估者在90%以上的時(shí)間里更喜歡VFusion3D的3D建模。

圖源：Meta

隨著更強(qiáng)大的視頻AI生成模型的開發(fā)和更多3D數(shù)據(jù)可用于微調(diào)，研究人員預(yù)計(jì)VFusion3D的能力將迅速提高，這一突破最終可能會(huì)加速依賴3D內(nèi)容的各個(gè)行業(yè)的創(chuàng)新。

游戲開發(fā)者可以快速制作角色和環(huán)境的原型，建筑師和產(chǎn)品設(shè)計(jì)師可以快速將概念以3D形式可視化，而VR/AR應(yīng)用程序可能會(huì)因?yàn)锳I生成的3D資產(chǎn)而變得更加身臨其境。未來，個(gè)人和小團(tuán)隊(duì)也能夠規(guī)模生產(chǎn)大型工作室級(jí)別的高質(zhì)量3D模型。

目前，VFusion3D研究論文已被2024年歐洲計(jì)算機(jī)視覺會(huì)議（ECCV）接受，代碼已在GitHub 上公開，允許其他研究人員在此基礎(chǔ)上進(jìn)行工作。隨著這項(xiàng)技術(shù)的不斷發(fā)展，VFusion3D有望重新定義3D內(nèi)容創(chuàng)作的可能性邊界，并開辟新的創(chuàng)意表達(dá)領(lǐng)域。

來源：venturebeat