編譯/VR陀螺

近日，Adobe Research與澳大利亞國(guó)立大學(xué)研究人員合作開(kāi)發(fā)了一個(gè)新的AI大模型LRM，它只需5秒即可將2D圖像轉(zhuǎn)化為高質(zhì)量的3D模型。

與以往以特定類別的方式在小型數(shù)據(jù)集上進(jìn)行訓(xùn)練的方法不同，LRM采用高度可擴(kuò)展的基于Transformer的神經(jīng)網(wǎng)絡(luò)架構(gòu)，具有超過(guò)5億個(gè)參數(shù)。它以端到端的方式對(duì)來(lái)自O(shè)bjaverse和MVImgNet數(shù)據(jù)集的約100萬(wàn)個(gè)3D對(duì)象進(jìn)行訓(xùn)練，直接從輸入圖像預(yù)測(cè)神經(jīng)輻射場(chǎng) (NeRF)。

圖源：yiconghong.me/LRM/

《LRM: LARGE RECONSTRUCTION MODEL FOR SINGLE IMAGE TO 3D》論文中指出，“大容量模型和大規(guī)模訓(xùn)練數(shù)據(jù)的結(jié)合使我們的模型具有高度通用性，并根據(jù)各種測(cè)試輸入（包括真實(shí)世界的捕獲和生成模型的圖像）生成高質(zhì)量的3D重建。”

實(shí)驗(yàn)表明，LRM可以根據(jù)真實(shí)世界圖像以及DALL-E和Stable Diffusio等AI生成模型創(chuàng)建的圖像重建高保真3D模型，系統(tǒng)可生成詳細(xì)的幾何形狀并保留木紋等復(fù)雜的紋理。不過(guò)LRM在遮擋區(qū)域的紋理生成方面依舊具有一定的局限性。

在應(yīng)用方面，LRM具有廣闊的前景，其中涵蓋了從工業(yè)設(shè)計(jì)到游戲娛樂(lè)等各種場(chǎng)景，此外，在AR/VR中，LRM可以通過(guò)從2D圖像實(shí)時(shí)生成詳細(xì)的3D環(huán)境來(lái)增強(qiáng)用戶體驗(yàn)。

來(lái)源：venturebeat