編譯/VR陀螺

日前，NVIDIA的AI研究團(tuán)隊(duì)在GTC活動中宣布推出一種新的AI生成模型“LATTE3D”。

該模型被稱作“虛擬的3D打印機(jī)”，可以在一秒鐘內(nèi)將文本提示轉(zhuǎn)換為“可用于標(biāo)準(zhǔn)渲染應(yīng)用程序流行格式”的3D模型，并隨時(shí)部署在視頻游戲開發(fā)、廣告、設(shè)計(jì)項(xiàng)目以及包括VR/AR在內(nèi)的任何需要虛擬環(huán)境的應(yīng)用程序中。

LATTE3D會根據(jù)文本提示為創(chuàng)建者提供不同的3D模型選項(xiàng)，選定的對象可以在幾分鐘內(nèi)進(jìn)行優(yōu)化，以實(shí)現(xiàn)更高的3D模型質(zhì)量。用戶可以將優(yōu)化后的模型導(dǎo)出到諸如NVIDIA Omniverse等的圖形軟件應(yīng)用程序或平臺中，從而實(shí)現(xiàn)基于通用場景描述的3D工作流程和應(yīng)用程序。

圖源：NVIDIA

據(jù)NVIDIA介紹，LATTE3D使用NVIDIA A100 Tensor Core GPU進(jìn)行訓(xùn)練，并在該公司的演示中實(shí)現(xiàn)了在單個NVIDIA RTX A6000上運(yùn)行。這意味著LATTE3D在單個GPU上運(yùn)行推理時(shí)幾乎可以實(shí)時(shí)生成3D模型。

英偉達(dá)人工智能研究副總裁Sanja Fidler對此表示：“一年前，人工智能模型需要一個小時(shí)才能生成LATTE3D質(zhì)量的3D視覺效果，而目前這一水平已經(jīng)被提升到了10-12秒。通過LATTE3D，我們可以讓各行各業(yè)的創(chuàng)作者實(shí)現(xiàn)近乎實(shí)時(shí)的文本到3D生成。”

訓(xùn)練數(shù)據(jù)方面，除了3D形狀之外，LATTE3D還對使用 ChatGPT生成的各種文本提示進(jìn)行了訓(xùn)練，以提高模型處理用戶可能想出的各種描述特定3D對象的prompt的能力，例如輸入不同犬科物種的提示都可以生成對應(yīng)犬類品種的外形。雖然研究人員目前僅在兩個特定的數(shù)據(jù)集（動物和日常物品）上訓(xùn)練LATTE3D，但未來或許可以使用相同的模型架構(gòu)添加更多訓(xùn)練數(shù)據(jù)類別。

圖源：NVIDIA

作為一個研究項(xiàng)目，LATTE3D目前仍處在開發(fā)階段，根據(jù)NVIDIA的說法，該項(xiàng)目不局限于3D模型，未來或許還將擴(kuò)展到“文本生成4D”或“3D動畫生成”領(lǐng)域。

來源：blogs.nvidia