如何在NVIDIA ACE中使用AI动画和语音功能打造逼真的虚拟形象呢？

 

NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine（ACE）的一系列技术，增强了 AI 虚拟形象和数字人的真实感和可访问性，这些新的动画和语音功能实现了更自然的对话和情感表达。

开发者现在可以使用新的云 API 在应用中轻松实现和扩展智能虚拟形象，包括自动语音识别（ASR）、文本转语音（TTS）、神经机器翻译（NMT）和 Audio2Face（A2F）。

借助这些高级功能，抢先体验计划的创作者可以利用 NVIDIA 技术快速构建新一代虚拟形象体验。现在，使用 Unreal Engine 5 等一些热门渲染工具，可以更轻松地在任何地方大规模构建和部署数字人。

AI 驱动的情感动画

用户可使用最新的 ACE AI 动画功能和微服务（包括新添加的 A2F 情感支持）构建更具表现力的数字人，现在还提供用于身体、头部和眼球运动的 Animation Graph 微服务。

对于使用云来处理渲染生产或寻求进行实时推理的开发者，现在有了易于使用的微服务。A2F 的质量改进包括嘴型同步，可为数字人带来更多的真实感。

图 1. NVIDIA ACE 端到端开发套件

增强的 AI 语音功能

现在支持的语言包括意大利语、西班牙语、德语和普通话，ASR 技术的整体准确性也得到了提高，ASR、TTS 和 NMT 的云 API 简化了对最新语音 AI 功能的访问。

无论用户是想使用自己的语音将自定义语音应用到智能 NPC，还是在视频会议通话中随机化用户的语音，新的 Voice Font 微服务都能让用户自定义 TTS 输出。这项技术可将说话者的独特音调和音量转换为参考音频，同时保持相同的节奏和声音模式。

新工具和框架

ACE Agent 是一家专业的对话管理和系统集成商，它能够提供更加流畅的端到端体验，并高效地协调微服务之间的连接。开发者还可以利用与 NVIDIA Omniverse 平台的集成，通过 NVIDIA NeMo Guardrails、NVIDIA SteerLM 和 LangChain 来更好地控制精确且可调节的响应。

现在，可以更轻松地在用户选择的渲染器或编码环境中启动和运行这些工具。新功能包括：

在 Avatar 配置器中支持 Blendshape，以轻松集成 Unreal Engine 等热门渲染器。

面向 Python 用户的全新 A2F 应用程序。

一款参考应用程序，适用于有兴趣为客户服务构建虚拟助理的开发者。

总结

这些新推出的 NVIDIA ACE 功能提高了数字人体验的质量标准。借助简化构建和部署的增强功能，开发者现在可以获得构建新一代数字人应用所需的简化配置。

审核编辑：刘清