NVIDIA数字人技术加速部署生成式AI驱动的游戏角色

 

NVIDIA 在 GDC 2024 大会上宣布，Inworld AI 等领先的 AI 应用程序开发者，正在使用 NVIDIA 数字人技术加速部署生成式 AI 驱动的游戏角色。此外，NVIDIA 还更新了 RTX SDK，以简化高质量游戏世界的创建。

NVIDIA 数字人技术助力新一代游戏角色

用户可将全套 NVIDIA 数字人技术或单个微服务整合到其产品中：

NVIDIA Avatar Cloud Engine (ACE)：通过 NVIDIA Audio2Face (A2F) 提供面部动画，以及由 NVIDIA Riva 自动语音识别 (ASR) 和文本转语音 (TTS) 提供的语音支持，可以让数字人更加栩栩如生。

NVIDIA NeMo：一个用于开发自定义生成式 AI 的端到端框架。NeMo 使用户能够通过精确数据管护、先进自定义功能、检索增强生成和加速性能来完成企业就绪型模型。

NVIDIA RTX：RTX 全局照明（RTXGI）和 DLSS 3.5 等渲染技术的集合，可在游戏和应用中实现实时的路径追踪。

这些创新在由 Inworld AI 与 NVIDIA 合作完成的 Covert Protocol（秘密协议）演示中得到了展示。在该演示中，玩家可以扮演一个经验丰富的私人侦探，并在游戏中体验突破常规的 NPC 交互。

该演示使用了 OpenAI 的 ChatGPT 3.5 、ElevenLabs 文本转语音 (TTS)、Riva ASR 和 A2F 微服务，以增强 Inworld 的语言、语音和动画制作流程。Inworld 的 AI 引擎采用了多模态方法来提升 NPC 的表现，它将认知、感知和行为系统相结合，同时利用其 Unreal Engine 插件进行集成，让使用 MetaHumans 变得快速且简单。

用户可以通过申请抢先体验计划来开启 NVIDIA ACE 的旅程，并获取正在开发的 AI 模型。有关可用模型的更多信息，请参阅 NVIDIA 的 API Catalog。在该网站上，用户会发现一套易于使用、旨在加速生成式 AI 部署的微服务—— NVIDIA NIM，其适用于 Riva ASR (模型名称为 Parakeet) 和 A2F。用户可以直接通过浏览器或通过运行完全加速堆栈的 API 端点来体验和评估这些微服务。如果用户拥有 NVIDIA AI Enterprise 许可证，请下载 NIM 并在 DGX 云或任何 CSP 和私有云上部署。

由 AI 驱动的照明改进和更轻松的渲染集成

NVIDIA 推出了 RTX 全局照明（RTXGI）2.0 SDK，其可通过 AI 实现光线追踪的间接照明。RTXGI 的推出进一步丰富了目前已有的神经渲染技术选项：

NVIDIA DLSS 超分辨率技术

DLSS 3 Frame Generation

DLSS 光线重建

DLAA

最新的算法神经辐射缓存（NRC）是一种由 AI 驱动的解决方案，它能够实时训练场景的辐射缓存，并使用反应式照明来处理全动态场景。这种技术不需要事先为几何图形和材质烘焙静态照明，从而为要求严苛的场景提供了更出色的性能和更准确的全局照明。

关闭 NRC (左) 和开启 NRC (右) 时的原始降噪缓存可视化

为提供可扩展性，NVIDIA 推出了空间哈希辐射缓存(SHaRC)，该版本无需使用神经网络即可提供与 NRC 类似的优势。它与任何支持 DirectX 或 Vulkan 光线追踪的 GPU 兼容。这是一种基于空间哈希数据结构构建的辐射缓存，专为用于路径追踪的快速且可扩展的全局照明技术而设计。

“传送门 (Portal)” NVIDIA RTX 版中采用的 SHaRC

审核编辑：刘清