編譯/VR陀螺

近日，Niantic的子公司、WebAR開發(fā)平臺提供商8th Wall宣布在其Inworld和OpenAI平臺上引入生成式人工智能（GenAI）模塊和示例項目。

通過將GenAI與WebAR結(jié)合，8th Wall將為開發(fā)者、品牌和代理公司提供一種新的方式來利用創(chuàng)意資源，讓受眾更好地控制沉浸式體驗。

8th Wall指出，其平臺已允許開發(fā)人員與GenAI工具集成，以加速開發(fā)和構(gòu)建WebAR體驗。這些技術(shù)包括用于添加文本到圖像輸入的 DALL-E 和 Stable Diffusion、用于向天空添加 360 度圖像的 Blockade Labs、用于添加類人互動角色的 Inworld AI、用于添加面部紋理的 Hugging Face 和 ControlNet，以及用于添加逼真動作的 Move.ai 和 Wonder Dynamics。

由于新集成的GenAI Modules以及Inworld和OpenAI的示例項目，新發(fā)布的GenAI Modules和示例項目將使各種技能水平的開發(fā)人員更容易使用GenAI構(gòu)建WebAR體驗。據(jù) 8th Wall 稱，這些新模塊有助于消除通常阻礙將 GenAI 技術(shù)添加到 WebAR 體驗中的開發(fā)開銷，為開發(fā)人員提供了一種將該技術(shù)引入 WebAR 體驗的無憂方式。開發(fā)人員只需將模塊添加到他們的項目中，即可在體驗中啟用由 GenAI 支持的功能。

近幾個月來，TikTok 等社交應(yīng)用上的人工智能濾鏡不斷走紅，其中一個重要原因可能是人工智能最終生成的內(nèi)容有時難以預(yù)測。通過將 WebAR 與 GenAI 相結(jié)合，開發(fā)人員不再需要創(chuàng)建單一用途的內(nèi)容。通過這兩項技術(shù)結(jié)合起來，開發(fā)人員能創(chuàng)造出動態(tài)、不斷發(fā)展的體驗，對終端用戶的互動做出響應(yīng)，這有助于讓用戶更加投入，并希望重新訪問濾鏡和體驗，以創(chuàng)造新的成果。

圖源：8th Wall

此外，借助 8th Wall 平臺，開發(fā)人員能夠一次構(gòu)建、隨處部署，從而在智能手機、電腦、平板電腦以及VR和MR設(shè)備上實現(xiàn)一致的體驗。

Inworld 的角色引擎

Inworld 是一項功能強大的 GenAI 技術(shù)，可讓開發(fā)人員在其 WebAR 體驗中加入交互式、逼真的AI驅(qū)動角色。這些角色、化身和品牌大使可以學習、適應(yīng)并以更個性化的方式與用戶互動。

8th Wall表示，它與Inworld合作創(chuàng)建了Inworld AI集成模塊和一個示例項目。該模塊允許開發(fā)者將Inworld的虛擬化身與8th Wall的工具結(jié)合起來，提供新的互動體驗。例如，開發(fā)人員可將 Inworld 與 Image Targets 或 World Effects 相結(jié)合，創(chuàng)造一種體驗，讓受眾在產(chǎn)品包裝上看到熟悉的人物化身，并與之展開自然對話。據(jù) 8th Wall 稱，借助 Inworld 的“角色大腦”，虛擬化身可以模仿人類的整個表達范圍，這意味著對話每次都會有所不同，而且是根據(jù)語境進行的。

開發(fā)人員現(xiàn)在可以在他們的8th Wall體驗中加入這些角色，而無需復(fù)雜的服務(wù)器配置或認證工作。一旦添加到項目中，模塊就會負責后臺工作，這意味著開發(fā)人員只需輸入API密鑰即可開始工作。開發(fā)人員可使用示例項目構(gòu)建他們的Inworld和8th Wall體驗，該體驗使用Image Targets與一個虛構(gòu)的品牌吉祥物Rainbow Ray進行品牌接觸。

圖源：8th Wall

8th wall在一篇博客文章中表示：“隨著未來MR技術(shù)的發(fā)展，像Inworld所提供的AI角色將成為構(gòu)建虛擬世界的重要組成部分，為用戶在數(shù)字空間中的互動提供無限可能。”

面向OpenAI的全新8th Wall集成模塊

作為新版本的一部分，8th Wall還推出了新的開發(fā)者工具，利用OpenAI的DALL-E和ChatGPT的強大功能來生成圖像和進行AI文本聊天。

OpenAI的DALL-E是一個功能強大的GenAI模型，可根據(jù)用戶基于文本的提示生成細節(jié)豐富、極具創(chuàng)意的圖像。當 DALL-E 與 WebAR 結(jié)合使用時，開發(fā)人員就可以利用這些文本到圖像的提示來創(chuàng)建由用戶控制創(chuàng)造力的體驗。據(jù) 8th Wall 稱，用戶可以輸入獨特的提示，生成圖像來增強天空、人臉、重新想象現(xiàn)實世界中的物體，甚至還能生成WebAR 體驗中的新紋理。

圖源：8th Wall

同樣，ChatGPT通過實時理解和響應(yīng)用戶輸入，使開發(fā)人員能夠創(chuàng)建個性化的交互式WebAR體驗。8th Wall表示，開發(fā)人員現(xiàn)在可以利用這種交互方式與WebAR角色進行基于文本的對話，與ChatGPT合作在場景中放置物體，甚至創(chuàng)建結(jié)合DALL-E和ChatGPT的體驗，以進行實時更改。

與 Inworld AI Integration Module 一樣，OpenAI 的新 Integration Module 可幫助開發(fā)人員節(jié)省時間，并設(shè)置項目代碼以調(diào)用 DALL-E 和 ChatGPT。開發(fā)人員將該模塊添加到8th Wall項目中后，只需添加一個OpenAI API密鑰，即可開始構(gòu)建。

此外，8th Wall 還創(chuàng)建了一個示例項目，開發(fā)者可用于測試將AI融入 WebAR 體驗，并了解如何使用 DALL-E 通過文本生成 3D 紋理并實時應(yīng)用于虛擬對象。此外，開發(fā)人員還可以定制 ChatGPT 提示框，為用戶提供另一種控制體驗元素的方式。

8th Wall 的 XR 開發(fā)人員 Ian Curtis 在談到這些工具時說道：“將生成式AI整合到AR中最讓我興奮的是，它讓每個用戶都能成為他們數(shù)字世界的設(shè)計師。他們不再是被動地消費內(nèi)容，而是主動地創(chuàng)造內(nèi)容，用想象力塑造自己的體驗。”

開發(fā)人員現(xiàn)在可以利用GenAI的潛力，通過8th Wall新發(fā)布的工具改變WebAR體驗，并將GenAI與該平臺的許多功能相結(jié)合，包括但不限于圖像目標、面部特效、世界特效、天空特效、Lightship VPS和共享AR工具。

來源：auganix