編譯/VR陀螺

日前，Meta和牛津大學的研究人員開發(fā)了一種新的3D生成式AI模型VFusion3D，能夠從單張圖像或文本描述生成高質(zhì)量的3D對象，可能會改變虛擬現(xiàn)實、游戲和數(shù)字設(shè)計等領(lǐng)域。

VFusion3D界面簡單直觀，允許用戶自己上傳或從一系列預(yù)加載的示例中選擇圖像。預(yù)加載的示例表現(xiàn)非常出色，生成的3D模型和渲染視頻以顯著的準確性捕捉了原始2D圖像的本質(zhì)和細節(jié)。

圖源：Meta

據(jù)悉，研究團隊利用預(yù)訓練的視頻人工智能模型生成合成3D數(shù)據(jù)，使他們能夠訓練更強大的3D生成系統(tǒng)，解決了長久以來的3D訓練數(shù)據(jù)稀缺問題。

具體來看，這一過程本質(zhì)上是教會模型從多個角度想象物體，研究人員對現(xiàn)有的視頻人工智能模型進行了微調(diào)，以生成多視圖視頻序列，這些合成數(shù)據(jù)被用于訓練VFusion3D。在測試中，與以前的最先進系統(tǒng)相比，該模型可以在幾秒鐘內(nèi)從單個圖像生成3D資產(chǎn)，人類評估者在90%以上的時間里更喜歡VFusion3D的3D建模。

圖源：Meta

隨著更強大的視頻AI生成模型的開發(fā)和更多3D數(shù)據(jù)可用于微調(diào)，研究人員預(yù)計VFusion3D的能力將迅速提高，這一突破最終可能會加速依賴3D內(nèi)容的各個行業(yè)的創(chuàng)新。

游戲開發(fā)者可以快速制作角色和環(huán)境的原型，建筑師和產(chǎn)品設(shè)計師可以快速將概念以3D形式可視化，而VR/AR應(yīng)用程序可能會因為AI生成的3D資產(chǎn)而變得更加身臨其境。未來，個人和小團隊也能夠規(guī)模生產(chǎn)大型工作室級別的高質(zhì)量3D模型。

目前，VFusion3D研究論文已被2024年歐洲計算機視覺會議（ECCV）接受，代碼已在GitHub 上公開，允許其他研究人員在此基礎(chǔ)上進行工作。隨著這項技術(shù)的不斷發(fā)展，VFusion3D有望重新定義3D內(nèi)容創(chuàng)作的可能性邊界，并開辟新的創(chuàng)意表達領(lǐng)域。

來源：venturebeat