文/VR陀螺 冉啟行

“因?yàn)橐苿?dòng)設(shè)備（Vision Pro）的算力是有限的，也就是說如果用移動(dòng)設(shè)備自己運(yùn)算的話，始終無法得到一個(gè)非常理想的高保真的最終渲染結(jié)果，無論是精度或者延遲，或者是否符合物理定律，這是非常巨大的挑戰(zhàn)。”

“也就是說必須結(jié)合云端的算力和邊緣的算力，以及用流媒體的方式去呈現(xiàn)，這可能是以現(xiàn)階段比較現(xiàn)實(shí)，也比較折中的一個(gè)理想的解決方案。”NVIDIA 中國(guó)區(qū)高級(jí)技術(shù)市場(chǎng)經(jīng)理施澄秋告訴 VR陀螺。

近日，NVIDIA 舉辦 Post-GTC 設(shè)計(jì)與仿真媒體交流會(huì)，作為長(zhǎng)期關(guān)注前沿科技發(fā)展的行業(yè)媒體，VR陀螺受邀參加本次活動(dòng)。

NVIDIA 全球副總裁、亞太區(qū)專業(yè)可視化計(jì)算總經(jīng)理 沈威、NVIDIA 中國(guó)區(qū)高級(jí)技術(shù)市場(chǎng)經(jīng)理 施澄秋、NVIDIA 中國(guó) Omniverse業(yè)務(wù)負(fù)責(zé)人 何展出席了本次活動(dòng)。分別就 GTC 2024 Omniverse 相關(guān)發(fā)布亮點(diǎn)回顧、Omniverse 行業(yè)應(yīng)用案例進(jìn)行了主題分享。

作為 NVIDIA 在中國(guó)區(qū)的特色活動(dòng)之一，NVIDIA 還與 VR陀螺以及其他媒體就 NVIDIA 在 Omniverse、數(shù)字孿生技術(shù)上布局，以及市場(chǎng)落地等方面的問題進(jìn)行了深入探討。

 一、從3D原材料到精加工，Vision Pro+Omniverse Cloud 

今年 GTC 上，NVIDIA 宣布將以 API 形式提供 NVIDIA Omniverse Cloud，從而將全球領(lǐng)先的工業(yè)數(shù)字孿生應(yīng)用和工作流創(chuàng)建平臺(tái)的覆蓋范圍擴(kuò)展到整個(gè)軟件制造商生態(tài)系統(tǒng)。

借助五個(gè)全新 Omniverse Cloud 應(yīng)用編程接口（API），開發(fā)者能夠輕松地將 Omniverse 的核心技術(shù)直接集成到現(xiàn)有的數(shù)字孿生設(shè)計(jì)與自動(dòng)化軟件應(yīng)用中，或是集成到用于測(cè)試和驗(yàn)證機(jī)器人或自動(dòng)駕駛汽車等自主機(jī)器的仿真工作流中。

NVIDIA 展示了一個(gè)完全交互式的汽車模型，該模型被高保真?zhèn)鬏數(shù)?Apple Vision Pro VR 頭顯中。其中，應(yīng)用到了Omniverse Cloud API 接口技術(shù)，實(shí)現(xiàn)了高精度的 3D 模型渲染。

我們知道 Apple Vision Pro 擁有 M2+R1 的強(qiáng)大芯片組合，那么為什么蘋果不直接在端側(cè)加載 3D 內(nèi)容，轉(zhuǎn)而借用 NVIDIA Omniverse Cloud API 呢？

對(duì)此，施澄秋告訴 VR陀螺：“因?yàn)橐苿?dòng)設(shè)備的算力是有限的，也就是說如果用移動(dòng)設(shè)備自己運(yùn)算的話，始終是無法得到一個(gè)非常理想的高保真的最終渲染結(jié)果的，無論是精度或者延遲，或者是否符合物理定律，這是非常巨大的挑戰(zhàn)。也就是說必須結(jié)合云端的算力和邊緣的算力，以及用流媒體的方式去呈現(xiàn)，這可能是以現(xiàn)階段比較現(xiàn)實(shí)也比較折中的一個(gè)理想的解決方案。”

具體來看，施澄秋強(qiáng)調(diào) NVIDIA 在該傳輸流程中扮演一個(gè)重要的角色，他表示 NVIDIA 有 GDN 技術(shù)，Omniverse 里的 GPU 是已經(jīng)準(zhǔn)備好的，這些 GPU 是頂尖的 RTX GPU，RTX GPU 里共有三個(gè)最核心的技術(shù)點(diǎn)：

1.傳統(tǒng)著色的部分，可以用來做像素的渲染，能夠確保畫面是美輪美奐的；

2.光線追蹤加速。用包裹體便利的方式去做實(shí)時(shí)光線追蹤，在這個(gè)部分，我們能夠用相對(duì)而言以前路徑追蹤或各式各樣實(shí)時(shí)去支持，比如多次迭代的方式，用實(shí)時(shí)光線追蹤的方式，顯然延遲更低，同時(shí)可能幀率會(huì)很高，對(duì)于用戶的互動(dòng)性也更強(qiáng)，這是 RTX GPU 里最核心的部分；

3.Tensor，RTX GPU 里都有針對(duì)張量運(yùn)算的 Tensor 運(yùn)算的核心，所以它又可以進(jìn)行人工智能的加速，比如像大模型的部分，比如像 GenAI 的部分，比如像 Neural Graphics，像現(xiàn)在很火的 NeRF 等，我們都可以用人工智能的方式去運(yùn)算。所以 RTX 是非常高階的、有分門別類的、針對(duì)不同運(yùn)算需求來提出專門的運(yùn)算模型，同時(shí)它不僅僅能夠分門別類的去運(yùn)算，整體而言又是一個(gè)通用處理器，又可以用 GPU 的方式去運(yùn)算。

“所以，在云端要 Omniverse 的 API 來打造和連接各式各樣的應(yīng)用程序，再用基于 USD 或 OpenUSD 的方式去打通數(shù)字資產(chǎn)之間的連接和現(xiàn)在調(diào)用，最后又通過 RTX GPU 強(qiáng)大的算力和高保真符合物理定律的實(shí)時(shí)光線追蹤的方式，去完成畫面的渲染。”

施澄秋用了一個(gè)通俗的形象比喻說道：“就是說從原材料到粗加工，到精加工，最后給你端上一盤可口的飯菜，以此讓 Apple Vision Pro 用戶看到在這個(gè)空間計(jì)算里面呈現(xiàn)在他眼前的是實(shí)實(shí)在在 3D 的空間場(chǎng)景，這是我們?cè)谠鰪?qiáng)型的空間計(jì)算和高仿真體驗(yàn)方面帶來的合作，也可以面對(duì)當(dāng)前用戶需求，看到有這樣的需求，我們提供這樣的合作，能夠應(yīng)對(duì)這樣的機(jī)會(huì)，能夠解決一些以前解決不了的挑戰(zhàn)。”

二、NVIDIA Omniverse Cloud的3D渲染，如何匹配Vision Pro的單眼4K？

Apple Vision Pro 配備了單眼 4K 分辨率的 Micro-OLED 微顯示器，通過 Pancake 折疊光學(xué)方案，形成了重要的近眼顯示光學(xué)系統(tǒng)。

相比于傳統(tǒng)的 XR 頭顯，Vision Pro 提供了更高的像素密度，人眼可見像素多了，這也對(duì) 3D 模型的渲染 提出了更高的要求。

施澄秋表示，NVIDIA 正在使用很多技術(shù)，去匹配相關(guān)渲染精度，以適應(yīng)用戶需求。他說道：“人眼看到的分辨率受制于你的顯示設(shè)備，你的實(shí)實(shí)在在物理存在的分辨率，這是第一道門檻。第二道門檻，物理存在的分辨率，后端用什么樣的分辨率去渲染？

“RTX GPU 有很多復(fù)雜的特性，卷曲的方式，就是可以略過你當(dāng)前沒看到的畫面，以較低精度的方式去渲染沒看到的畫面，以高精度去渲染你當(dāng)前看到的畫面（注視點(diǎn)渲染技術(shù)）。也就是說我有相當(dāng)多的視野以外的低精度預(yù)渲染方式在后臺(tái)運(yùn)行，這個(gè)很重要。當(dāng)然，它可能建立在一個(gè)運(yùn)動(dòng)預(yù)測(cè)和模型感知基礎(chǔ)上，這是一種實(shí)現(xiàn)的方式。”

除了 3D 模型在渲染方式上的具象化，施澄秋還強(qiáng)調(diào)生成式 AI 的重要性。他表示：“另外一個(gè)實(shí)現(xiàn)的方式就是 AI，GenAI 很重要。我們用 GenAI 可以動(dòng)態(tài)實(shí)時(shí)的支持破損畫面的修復(fù)，支持缺失像素的填補(bǔ)。聽起來很玄幻，因?yàn)橛泻芏喈嬅媸怯玫弯秩径确绞戒秩镜?，也就是說 4K 分辨率可能只用 1080P 的分辨率去渲染，也就是說有 3/4 的像素都沒有被渲染，只渲染了 1/4 的像素，這時(shí)候用 GenAI 方式自動(dòng)渲染，類似于神筆馬良的方式去渲染另外的 3/4 沒有被渲染出來的畫面，可以快速用一個(gè) 1080P 低渲染精度，用 GenAI 方式生成一個(gè) 4K 渲染。”

“游戲開發(fā)商或基于 Omniverse、基于虛幻引擎或 Unity 很多客戶做 3D 場(chǎng)景或數(shù)字孿生構(gòu)建時(shí)，也可以利用這個(gè)技術(shù)，我們叫做 DLSS 技術(shù)。這個(gè)不僅對(duì)于游戲開發(fā)商有用，對(duì)于數(shù)字孿生、數(shù)字資產(chǎn)的管理，包括 VR/XR 的方式也一樣可以使用，這是一個(gè)渲染精度的方式。因?yàn)閱窝?4K 分辨率太高了，想要做光線追蹤，要做物理模擬，其實(shí)是很困難的，所以必須要把算力推動(dòng)到最集中的視野中間去，其他有一部分可以用 AI 解釋。這其實(shí)是我們幾個(gè)實(shí)現(xiàn)方式之一，像 DLSS 等，比如 Neural Graphic 的方式、用 NeRF 的方式去實(shí)現(xiàn)也是可以的。”

相關(guān)閱讀：《高效低成本構(gòu)建元宇宙場(chǎng)景：NeRF神經(jīng)輻射場(chǎng)》

“NVIDIA 的 Omniverse 合作案列中常常使用全保真或高保真的渲染概念。施澄秋解釋道：“這很容易理解，看到的部分眼見為真，首先看到的是真的，但是看到的可能是一個(gè)靜止畫面，也有可能是一個(gè)動(dòng)態(tài)畫面，就像第一個(gè)視頻演示里我給大家介紹 Omniverse 能做什么，它能做基于空氣動(dòng)力的模擬仿真，可以基于粒子的仿真，比如仿真煙霧、仿真粒子系統(tǒng)火焰、光影等，這些都是實(shí)時(shí)模擬系統(tǒng)，這時(shí)候需要利用 NVIDIA GPU 的 Physics 的模型技術(shù)去實(shí)現(xiàn)。”

“同時(shí)，要做到低延時(shí)的方式，也就是說用你的 AR/VR 設(shè)備查看內(nèi)容時(shí)，如果頭轉(zhuǎn)動(dòng)的時(shí)間跟畫面同步不匹配的話，就像人坐車一樣，大腦、小腦，眼睛看到的和運(yùn)動(dòng)感知的交感神經(jīng)系統(tǒng)不匹配的話，就會(huì)產(chǎn)生頭暈。所以如果 VR 算得不夠快、延遲不夠低的話，可能會(huì)暈，甚至嚴(yán)重時(shí)會(huì)惡心、想吐。所以，全保真也好、高保真也好，不僅看到的畫面要細(xì)膩、要逼真，分辨率要高，同時(shí)物理模擬，比如像云、光影、火焰、粒子、空氣、動(dòng)力，整個(gè)要符合自然界真實(shí)的規(guī)律，同時(shí)還要能夠在我們的頭戴設(shè)備上實(shí)現(xiàn)低延遲屏幕畫面的呈現(xiàn)——這個(gè)我們叫做全保真。”

“通俗地說就是數(shù)字孿生，看元宇宙世界時(shí)，跟真實(shí)的世界以現(xiàn)在的階段不能說做到完全一模一樣，至少要現(xiàn)有的能力更好的貼近和接近現(xiàn)實(shí)，這個(gè)稱之為全保真。”

 三、聚焦Graphic，GDN可做光線追蹤、AI模擬 

在 Apple Vision Pro 與 Omniverse Cloud 的傳輸流程中，不難發(fā)現(xiàn)一個(gè)名為“GDN”的網(wǎng)絡(luò)技術(shù)。

我們知道傳統(tǒng)云計(jì)算廠商可以提供的全球化 CDN 服務(wù)，同樣可以實(shí)現(xiàn)云端快速加載 GLTF 或 GLB 的 3D 模型文件，那么 NVIDIA 的 GDN 服務(wù)相比于前者又有哪些差異化特征呢？

“CDN 是 Content Delivery Network，GDN 實(shí)際上也 Delivery Content，但是它主要是聚焦在 Graphic 方面，所以叫GDN。”施澄秋告訴 VR陀螺。

“CDN 同樣可以快速加載，比如 GLB 等 3D 模型文件也同樣可以用分布式的方式就近去提供內(nèi)容，能夠?qū)崿F(xiàn)非常低延遲的方式，但是最核心的優(yōu)勢(shì)在于我們的 GDN 可以做物理模擬，可以做光線追蹤，可以做整個(gè)人工智能的模擬，可以做相應(yīng)的 RTX GPU 能夠完成的非常好的、高階的功能。在這里可以看到 CDN 不能做的事情，GDN 能做，而 CDN 能做的事情，GDN 基本都能做，我們 GPU 里有 Decode、Encode，各式各樣高級(jí)的編解碼方式，我們完全可以實(shí)現(xiàn)。”

“所以可以把 GDN 當(dāng)做是 CDN 一個(gè)更優(yōu)化、更高階、更進(jìn)階的全面的解決方案。計(jì)算成本不言而喻，因?yàn)殇秩緯r(shí) GPU 能耗比非常強(qiáng)大，所以把許多渲染好的高精的畫面用 Encode+Decode 的方式輸送到用戶終端設(shè)備上去。對(duì)于接收端的設(shè)備而言，功耗方面的影響非常小，所以整個(gè) GDN 的方式能夠以現(xiàn)有 CDN 方式提供更好、更優(yōu)化的 Graphic 內(nèi)容的解決方案，能夠完成這樣的需求。”

 四、XR上大算力云，B端先行一步 

依托 NVIDIA 強(qiáng)大的算力，在數(shù)字孿生產(chǎn)業(yè)布局方面， NVIDIA 走在了云端技術(shù)供應(yīng)鏈的前面。

在生態(tài)方面，NVIDIA 去年與皮克斯、Adobe、Apple、Autodesk 這些行業(yè)領(lǐng)先的企業(yè)一起成立了 OpenUSD 聯(lián)盟，來推動(dòng) OpenUSD 的標(biāo)準(zhǔn)化和國(guó)際化。

在落地應(yīng)用層面，NVIDIA 正在和西門子、微軟、羅克韋爾自動(dòng)化等行業(yè)領(lǐng)先企業(yè)展開合作，幫助他們采用Omniverse 技術(shù)，幫助客戶設(shè)計(jì)、模擬、構(gòu)建、運(yùn)行符合物理規(guī)律的數(shù)字孿生。

XR 上云是未來的一個(gè)趨重要?jiǎng)?，不過在 C 端的應(yīng)用上仍有一定時(shí)間周期。正如，NVIDIA 中國(guó)區(qū)高級(jí)技術(shù)市場(chǎng)經(jīng)理 施澄秋所言，XR 等移動(dòng)設(shè)備的算力有限，結(jié)合云端、邊緣計(jì)算來渲染更精美的 3D 內(nèi)容是一個(gè)理想的解決方案。然而，只有當(dāng) B 端的應(yīng)用成功落地，比較順暢的時(shí)候，才會(huì)推廣到體量更大的 C 端去使用。

他舉例談到：“今天互聯(lián)網(wǎng)應(yīng)用很成熟，大家使用手機(jī)非常成熟，我們手機(jī)看愛奇藝、抖音、Bilibili、長(zhǎng)視頻、短視頻，是從3G/4G普及時(shí)開始的，這是一個(gè)典型的C端應(yīng)用，今天每個(gè)人都用手機(jī)看視頻，可是便攜式移動(dòng)設(shè)備看視頻在90年代時(shí)候就有了，從撥號(hào)上網(wǎng)時(shí)就已經(jīng)有專門用來做商用的影像視頻會(huì)議系統(tǒng)，這已經(jīng)是串流的一種應(yīng)用方式了，用了二十年時(shí)間才從B端走到C端上，因?yàn)锽端用戶有購買力，它是一個(gè)專業(yè)解決方案，需要使用這個(gè)來作為它的生產(chǎn)力工具。”

“所以，可以看到云端的 3D 內(nèi)容，在空間計(jì)算、AR/XR 的應(yīng)用上，一定是專業(yè)級(jí)用戶對(duì)于最嚴(yán)苛的應(yīng)用環(huán)境和應(yīng)用場(chǎng)景情況下，我們先去完成他的需求。因?yàn)榈谝?，他?duì)于成本的敏感性不高；第二，他對(duì)于基礎(chǔ)建設(shè)和使用的終端設(shè)備上投入預(yù)算的限制也沒有 C 端用戶那么高。

“總而言之，在算力和整個(gè)基礎(chǔ)設(shè)施比較受限的現(xiàn)階段場(chǎng)景下，我們可能首先去覆蓋 B 端的用戶，當(dāng)整個(gè)使用成本、擁有成本、運(yùn)營(yíng)成本都降低了之后，AI 也好或云端的算力得到大幅提升，我們的供給側(cè)短缺不像現(xiàn)在這么受限的情況下，那個(gè)時(shí)候 C 端可能會(huì)真正的蓬勃發(fā)展起來，比如像游戲、娛樂行業(yè)，就可以通過 VR/AR/XR 的方式去實(shí)現(xiàn)。”