文/VR陀螺

AI PC 時代，NVIDIA RTX 按下加速鍵。

近日，NVIDIA 舉辦 RTX AI 媒體品鑒會。作為長期關(guān)注前沿科技發(fā)展的產(chǎn)業(yè)媒體，VR陀螺受邀參加本次活動。

在 RTX AI 媒體品鑒會上，NVIDIA 圍繞其在 AI PC 時代基于 RTX 系列顯卡，在一系列 AI 上的技術(shù)探索、應(yīng)用落地、生態(tài)合作、AI 工具、游戲賦能等方面帶來了主題分享，現(xiàn)場還展示了 NVIDIA ACE、ChatRTX、Stable Diffusion、DLSS 3.5、NVIDIA APP 等 Demo 體驗，以及來自 Simon 阿文、海辛、言蕭等 AI 藝術(shù)家基于 RTX 40 系列 AI PC 創(chuàng)作的 AIGC 作品。

 一、最高每秒8張圖，RTX 加速AI本地化基建 

在 NVIDIA 看來，RTX AI 已在 AI 繪畫、AI 平面設(shè)計、AI 視頻編輯、AI 3D 創(chuàng)作、AI 視頻體驗、AI 會議、AI 文檔助手、AI 應(yīng)用開發(fā)、AI 游戲等具體應(yīng)用場景上發(fā)揮著自己獨特的價值。

NVIDIA 于 2018 年推出 RTX 技術(shù)和首款專為 AI 打造的消費級 GPU (GeForce RTX) 。AI PC 是搭載專用 AI 加速硬件的計算機，在 RTX GPU 上，這些專用的 AI 加速器被稱為 Tensor Core。運行要求極為嚴(yán)苛的工作和娛樂應(yīng)用時，Tensor Core 能夠顯著加速 AI 性能，并為 PC 用戶引入了以前在云端才能運行的新功能。

結(jié)合諸如 Stable Diffusion 這樣可本地部署的圖像大模型，在 RTX 的助力下，可快速實現(xiàn)煉丹?；顒蝇F(xiàn)場，NVIDIA 展示的即致 AI 基于擴散模型和蒸餾技術(shù)，通過 RTX GPU 的加速，實現(xiàn)了秒級的 AI 實時繪畫。

圖源：VR陀螺

結(jié)合即致 AI 自研的全網(wǎng)下載量超 50W 國內(nèi)建筑行業(yè)大模型，幫助建筑設(shè)計師享受 AI 實時渲染劃時代的快捷、便利的同時，依然可以保證極高的出圖效果。

圖生圖要求對于圖像的理解，而文生圖對于 RTX 來說，似乎更簡單一些。據(jù)介紹，作為市面上最快的 Stable Diffusion 計算出圖方案，用戶開箱即用就能在 RTX 4090 D GPU 享受到高達每秒 8 張圖的生成速度。

使用當(dāng)前最快的 Stable Diffusion 加速方法 TensorRT，再配合開發(fā)者進一步的性能優(yōu)化，目前 RTX 4090 D GPU 最高能實現(xiàn)每秒超過 100 張圖的生成速度，因此 Stable Diffusion 用戶也能像游戲玩家一樣通過高幀率享受絲滑的創(chuàng)作體驗。

RTX 不僅僅是賦能加速圖片的生成，還包括 AI 聲音克隆?，F(xiàn)場，NVIDIA 展示了 RTX GPU 加速的聲音克隆案例，基于開源項目 GPT-SoVITS，僅需 5 秒聲音樣本，AI 根據(jù)其發(fā)音特征由文本生成個性化語音片段，實現(xiàn)高質(zhì)量的聲音克隆，而無需訓(xùn)練。

據(jù)介紹，在 RTX 驅(qū)動的 AI 加速技術(shù)支持下，整個聲音克隆流程可以在短短五分鐘內(nèi)完成，極大地壓縮了創(chuàng)作周期。而對于追求極致相似度的用戶，通過增加錄音樣本至 1 分鐘進行微調(diào)訓(xùn)練，可以進一步逼近 1:1 的聲音還原度，實現(xiàn)幾乎難以辨別的聲音復(fù)刻，為音頻制作與交互式內(nèi)容創(chuàng)作開辟了全新的可能性。

不管是生成文字、圖片，聲音，視頻，它們都離不開底層強大算力的支持。底層芯片的技術(shù)深度，決定了計算的最終速度。

 二、RTX應(yīng)用生態(tài)升級：ChatRTX、NVIDIA APP 

在基于 RTX 的 AI PC 上，NVIDIA 正在帶來全新的應(yīng)用生態(tài)，以擁抱時代的變化。

（一）ChatRTX—NVIDIA端側(cè)AI交互升級

本次活動上，NVIDIA 展示了 Chat with RTX 演示 demo，據(jù)介紹，ChatRTX 使用檢索增強生成、NVIDIA TensorRT-LLM 軟件和 NVIDIA RTX 加速，可將本地生成式 AI 功能引入到支持 RTX 的 Windows 系統(tǒng)中。

相比于傳統(tǒng)大語言模型面臨，RAG 檢索增強生成主要基于上下文和事實進行數(shù)據(jù)輸出，可以有效減少生成式人工智能“幻覺”的產(chǎn)生。此外，由于 ChatRTX 本地化部署，且無需聯(lián)網(wǎng)即可使用，在安全性、可靠性以及隱私性方面帶來突出的本地部署優(yōu)勢。

用戶可快速、輕松地將本地文件作為數(shù)據(jù)集連接到開放式大語言模型，快速查詢與上下文相關(guān)的答案。事實上，NVIDIA 并不提供大語言模型，而是通過特定接口形式，可以讓合作伙伴廠商或用戶自己去選擇接入自己需要的大語言模型。從某種程度上，具有相對的靈活性選擇。

據(jù) NVIDIA 相關(guān)負(fù)責(zé)人介紹，新版的現(xiàn)場演示的 ChatRTX Demo，已支持中文對話交互（文字），語音交互（英文），圖片檢索交互?，F(xiàn)場測試中，ChatRTX 的圖片檢索性能，不僅可以搜索到圖片中的相關(guān)元素，還能深度檢索到圖片上的文字。

（二）NVIDIA APP，解決“槽點”

NVIDIA 這次聽勸了！

對于使用 NVIDIA 系列顯卡的用戶來說，每次驅(qū)動更新升級，都是一個復(fù)雜且煎熬的過程。不僅 GeForce Experience 打開速度較慢，網(wǎng)速慢、關(guān)鍵還要登錄賬戶才能下載驅(qū)動......

而現(xiàn)在，NVIDIA 終于不再強制用戶登陸賬戶了。今年 2 月，NVIDIA 正式發(fā)布了 全新 NVIDIA app 的公開測試版。這款應(yīng)用不僅集成了 NVIDIA 傳統(tǒng)的控制面板、GeForce Experience 驅(qū)動更新和 NVIDIA 的軟件應(yīng)用商店，并且不再強制用戶登陸才能更新進行驅(qū)動升級。

NVIDIA app 還提供了一個統(tǒng)一的 GPU 控制中心，以便用戶在此進行游戲調(diào)優(yōu)設(shè)置和驅(qū)動程序設(shè)置，一鍵設(shè)置。其還引入了經(jīng)過重新設(shè)計的游戲內(nèi)浮窗，方便用戶調(diào)出強大的游戲錄制工具、性能監(jiān)控浮窗和游戲增強濾鏡，包括面向 GeForce RTX 用戶、由 AI 賦能的新濾鏡。

此外，據(jù) NVIDIA 現(xiàn)場工作人員介紹，以及實際體驗，NVIDIA app 相比于此前的 GeForce Experience 打開速度，提升了一倍左右。

 三、NVIDIA For GAME：NVIDA ACE+DLSS 

NVIDIA RTX 系列可謂是多少游戲玩家的夢中情“卡”。

作為 NVIDIA RTX 系列最擅長，且最能將功效發(fā)揮到極致的應(yīng)用場景，游戲一直是 NVIDIA 技術(shù)優(yōu)化方向之一。在本次媒體品鑒會上，NVIDIA 帶來了最新的 NVIDIA ACE 以及 DLSS 3.5 兩項游戲技術(shù)的展示。

（一）AIGC+Game，NVIDIA ACE革新游戲NPC

在游戲產(chǎn)業(yè)的創(chuàng)新市場爭奪中，AIGC 正逐漸成為解鎖新體驗、升級用戶沉浸感的關(guān)鍵鑰匙。而 NVIDIA 推出的 NVIDIA ACE，正是這樣一個前沿的探索。

據(jù)悉，ACE 全稱 Avatar Cloud Engine (ACE) ，它可以幫助開發(fā)人員通過生成式 AI 將數(shù)字化身變?yōu)楝F(xiàn)實，ACE AI 模型設(shè)計為在云端或本地 PC 上運行。

現(xiàn)場 NVIDIA 展示了與 Inworld AI 公司合作開發(fā)的名為“Covert Protocol”的全新技術(shù) Demo，它不僅打破了傳統(tǒng)游戲互動的壁壘，還重新定義了玩家與游戲世界中角色交流的深度與廣度。

Inworld AI 引擎與 NVIDIA 的兩大技術(shù)強強聯(lián)合——NVIDIA Riva 實現(xiàn)精準(zhǔn)的語音轉(zhuǎn)文字功能，確保對話的自然流暢；而 NVIDIA Audio2Face 則通過先進算法賦予角色以細(xì)微表情，讓每一次互動都充滿情感的真實性。

當(dāng)然，開發(fā)商可調(diào)控遠程 AI 大模型的數(shù)據(jù)庫，對特定 NPC 進行了角色設(shè)定，讓對話內(nèi)容始終控制在“游戲進程中”，而不會產(chǎn)生其他幻覺對話內(nèi)容，跳脫核心。

AIGC NPC 的加入，為游戲帶來了更高的自由度和差異性玩法。當(dāng)然，這也對游戲廠商提出了更高的技術(shù)要求，以及更長的開發(fā)周期。

（二）AI提高幀率，DLSS3.5光線重建

在 RTX 系列上，NVIDIA 還帶來了一個游戲畫質(zhì)飛躍的技術(shù)——DLSS 3.5 光線重建。

DLSS 是 NVIDIA 繼光線追蹤后的又一項突破性圖形技術(shù)，可在 GeForce RTX GPU 上利用 AI 提高幀率并改善圖像質(zhì)量。據(jù)介紹，“光線重建”是增強型 AI 驅(qū)動的神經(jīng)渲染器的一部分，該渲染器通過用 NVIDIA 超級計算機訓(xùn)練的 AI 網(wǎng)絡(luò)取代手動調(diào)節(jié)的降噪器，提高所有 GeForce RTX GPU 的光線追蹤圖像質(zhì)量，該網(wǎng)絡(luò)可在采樣光線之間。

在現(xiàn)場的演示中，NVIDIA 在《心靈殺手2》的一幕展現(xiàn)了 DLSS 3.5 技術(shù)對于修正斑點效應(yīng)的顯著效果。在游戲中，伴隨人物的移動，部分物體的反射面會有不明的白色噪點，這是由于傳統(tǒng)降噪器不知如何渲染所造成的畫面效果。在開啟 DLSS 3.5 光線重建后，可以有效修正光影下的反射面物體渲染。（下圖參照物：墻上的畫）

上：DLSS3.5開啟前，下：DLSS3.5開啟后（手機拍攝畫面）

DLSS 3.5 經(jīng)過大幅升級，訓(xùn)練數(shù)據(jù)量是 DLSS 3 的五倍，這讓它能更精準(zhǔn)地辨識復(fù)雜的光線追蹤效果，做出高效的空間和時間數(shù)據(jù)處理決策，保持畫面高頻細(xì)節(jié)，質(zhì)量顯著提升。

利用 AI 極大增強了光線追蹤效能，提升用戶體驗也是開發(fā)商一直在追尋的目標(biāo)。包括《黑神話：悟空》和《永劫無間》等作品也即將集成 DLSS 3.5 的光線重建和全景光線追蹤。

 四、攜手火星時代教育&吐司，NVIDIA賦能B+C 

現(xiàn)場，NVIDIA 還分別宣布了與火星時代教育、吐司/Tensor.Art 的聯(lián)合白皮書發(fā)布，以及場景展示。

NVIDIA 宣布與火星時代教育聯(lián)合發(fā)布《NVIDIA TensorRT Stable Diffusion創(chuàng)作加速指南》和使用案例。據(jù)介紹，《NVIDIA TensorRT Stable Diffusion創(chuàng)作加速指南》是火星時代教育為 AI 設(shè)計愛好者和創(chuàng)作者基于 RTX 40 系 GPU 提升 Stable Diffusion 創(chuàng)作效率的實操性教程。

指南包括：安裝與設(shè)置，加速引擎構(gòu)建，加速效果對比以及 NVIDIA TensorRT 在實際商業(yè)創(chuàng)作場景的應(yīng)用（海報設(shè)計、電商設(shè)計、室內(nèi)效果圖設(shè)計、插畫設(shè)計），幫助使用者在創(chuàng)作過程中借助詳細(xì)教程和加速工具實現(xiàn)商業(yè)創(chuàng)意落地，提升創(chuàng)作效率。指南由火星時代教育 AI 設(shè)計教研團隊主要研發(fā)，NVIDIA 技術(shù)團隊提供技術(shù)支持，未來將根據(jù)應(yīng)用軟件版本優(yōu)化并迭代升級。

《NVIDIA TensorRT Stable Diffusion創(chuàng)作加速指南》

此外，NVIDIA 還與吐司/Tensor.Art 聯(lián)合發(fā)布《個人用戶玩轉(zhuǎn)Stable Diffusion 的GPU配置推薦》，聚焦 SD 1.5 和 SDXL 1.0，全面測試 RTX 40 系顯卡和筆記本電腦 GPU 在 Stable Diffusion 推理和 LoRA 模型訓(xùn)練的表現(xiàn)；其中在 UL Benchmark SD1.5 TRT vs. OpenVINO 的對比測試中 RTX 4090 筆記本電腦 GPU 相對于 iGPU(Arc Graphics)有超過 27 倍的性能提升。

使用吐司基準(zhǔn)測試完 整LoRA 模型在 Stable Diffusion 的訓(xùn)練性能，還對不同型號 RTX 40 系顯卡和筆記本電腦 GPU在 Stable Diffusion 任務(wù)中的性能進行全面評估，旨在為 AIGC 愛好者在后期 LoRA 模型訓(xùn)練和設(shè)備選擇時給予參考。

AI 模型平臺吐司/Tensor.Art 創(chuàng)始人沈振宇表示：“目前吐司和 Tensor.Art 上已經(jīng)有超過 16w+ 的模型數(shù)量。此次與 NVIDIA 聯(lián)合發(fā)布《個人用戶玩轉(zhuǎn)Stable Diffusion 的GPU配置推薦》旨在讓關(guān)注 AIGC 領(lǐng)域的入門用戶以及不同垂類場景的用戶在選擇 RTX AI PC 設(shè)備進行模型訓(xùn)練和應(yīng)用時提供客觀、公正的配置參考，提升用戶使用 AIGC 的生產(chǎn)效率。”

寫在最后

GPU 是 NVIDIA 品牌發(fā)展，企業(yè)崛起的核心，是其最深刻的烙印。

但時至今日，NVIDIA 已遠非局限于 GPU 制造商的角色，它是加速技術(shù)的先驅(qū)。從芯片生產(chǎn)延展至一個圍繞 GPU 核心能力的多元化服務(wù)平臺，To B 與 To C 兩手抓。

Canalys 發(fā)布的最新統(tǒng)計數(shù)據(jù)顯示，2023 年第四季度全球個人電腦（PC）市場出貨量同比增長 3%，結(jié)束了連續(xù)七個季度的同比下滑。

RTX AI PC 目前已成為擁有超過 1 億用戶和 500 款 AI 應(yīng)用的生態(tài)。受益于新一輪的市場增長，NVIDIA 正在以其獨特的定位，憑借軟+硬的生態(tài)組合和硬實力，吸引著更多的消費者一同參與這一場新的技術(shù)革新浪潮。