英伟达推出全新NVIDIA AI Foundry服务和NVIDIA NIM推理微服务

借助NVIDIA AI Foundry，企业和各国现在能够使用自有数据与 Llama 3.1 405B 和NVIDIA Nemotron模型配对，来构建“超级模型”

NVIDIA AI Foundry 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成式 AI 模型服务，以便部署自定义 Llama 3.1NVIDIA NIM微服务和新的NVIDIA NeMo Retriever微服务，以实现准确响应

埃森哲率先使用新服务，为客户创建自定义 Llama 3.1 模型；Aramco、AT&T、优步和其他行业领导者率先使用全新 Llama NVIDIA NIM 微服务

NVIDIA 宣布推出全新 NVIDIA AI Foundry 服务和 NVIDIA NIM 推理微服务，与同样刚推出的 Llama 3.1 系列开源模型一起，为全球企业的生成式 AI 提供强力支持。

借助 NVIDIA AI Foundry，企业和各国现在能够使用 Llama 3.1 以及 NVIDIA 软件、计算和专业知识，为其特定领域的行业用例创建自定义“超级模型”。企业可以使用自有数据以及由 Llama 3.1 405B 和NVIDIA Nemotron Reward模型生成的合成数据，来训练这些超级模型。

NVIDIA AI Foundry 是由NVIDIA DGX CloudAI 平台驱动。该平台由 NVIDIA 与全球领先的公有云共同设计，旨在为企业提供大量计算资源，所提供的计算资源可随着 AI 需求的变化轻松扩展。

企业以及制定主权 AI 战略的国家正希望创建具有特定领域知识的自定义大语言模型，以便生成式 AI 应用能够反映其独特的业务或文化。因此，这些新服务的推出恰逢其时。

NVIDIA 创始人兼首席执行官黄仁勋表示：“Meta 的 Llama 3.1 开源模型标志着全球企业采用生成式 AI 的关键时刻已经到来。Llama 3.1 将掀起各个企业与行业创建先进生成式 AI 应用的浪潮。NVIDIA AI Foundry 已经在整个过程中集成了 Llama 3.1，并能够帮助企业构建和部署自定义 Llama 超级模型。”

Meta 创始人兼首席执行官马克·扎克伯格表示：“全新的 Llama 3.1 模型是开源 AI 迈出极其重要的一步。借助 NVIDIA AI Foundry，企业可以轻松创建和定制大家想要的最先进的 AI 服务，并通过 NVIDIA NIM 进行部署。我很高兴能将它交付到大家手中。”

企业现在可以从 ai.nvidia.com 了解适用于 Llama 3.1 模型的 NVIDIA NIM 推理微服务，以加快将 Llama 3.1 模型部署到生产级 AI 的速度。NIM 微服务是将 Llama 3.1 模型部署到生产中的最快途径，其吞吐量最多可比不使用 NIM 运行推理时高出 2.5 倍。

企业可以将 Llama 3.1 NIM 微服务与全新 NVIDIA NeMo Retriever NIM 微服务组合使用，为 AI copilot、助手和数字人虚拟形象搭建先进的检索工作流。

埃森哲率先使用 AI Foundry 

为企业创建自定义 Llama 超级模型

全球专业服务公司埃森哲率先借助 NVIDIA AI Foundry，使用 Accenture AI Refinery 框架为自己以及那些希望所部署的生成式 AI 应用能够反映其文化、语言和行业的客户来创建自定义 Llama 3.1 模型。

埃森哲董事长兼首席执行官 Julie Sweet 表示：“全球领军企业看到了生成式 AI 正在如何深入改变各行各业，并且希望部署由自定义模型驱动的应用。埃森哲的内部 AI 应用一直在使用 NVIDIA NIM 推理微服务。现在，借助 NVIDIA AI Foundry，我们能够帮助客户快速创建和部署自定义 Llama 3.1 模型，为他们的优先业务事项提供变革性的 AI 应用。”

NVIDIA AI Foundry 提供一种可用于快速构建自定义超级模型的端到端服务。其结合 NVIDIA 软件、基础设施和专业知识与开放社区模型、技术和来自 NVIDIA AI 生态系统的支持。

借助 NVIDIA AI Foundry，企业能够使用 Llama 3.1 模型和 NVIDIA NeMo 平台（包含在 Hugging Face RewardBench 上排名第一的NVIDIA Nemotron-4 340B Reward模型）创建自定义模型。

在创建了自定义模型后，企业就可以构建 NVIDIA NIM 推理微服务，以便在其首选的云平台和全球服务器制造商提供的 NVIDIA 认证系统上，使用自己选择的最佳机器学习运维（MLOps）和人工智能运维（AIOps）平台在生产中运行这些模型。

NVIDIA AI Enterprise 专家和全球系统集成商合作伙伴与 AI Foundry 客户一同加快从开发到部署的全过程。

NVIDIA Nemotron 

为高级模型自定义提供助力

如果企业需要更多训练数据来创建特定领域的模型，可以在创建自定义 Llama 超级模型同时使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成数据，以提高模型的准确性。

拥有自己的训练数据的客户可以使用 NVIDIA NeMo 对 Llama 3.1 模型进行自定义，通过领域自适应预训练（DAPT）进一步提高模型的准确性。

NVIDIA 和 Meta 还一起为 Llama 3.1 提供了一种提炼方法，供开发者为生成式 AI 应用创建更小的自定义 Llama 3.1 模型。这使企业能够在更多加速基础设施（如 AI 工作站和笔记本电脑）上运行由 Llama 驱动的 AI 应用。

行业领军企业纷纷使用 

NVIDIA 和 Llama 为 AI 提供强力支持

医疗、能源、金融服务、零售、交通、电信等行业的企业已在使用适用于 Llama 的 NVIDIA NIM 微服务。首批使用面向 Llama 3.1 全新 NIM 微服务的公司包括 Aramco、AT&T 和优步。

Llama 3.1 多语种大语言模型（LLM）集合是一个具有 8B、70B 和 405B 三种参数规模的生成式 AI 模型集合。该集合中的模型在超过 16,000 个NVIDIA Tensor Core GPU上训练而成，并针对 NVIDIA 加速计算和软件（无论是在数据中心、云以及配备NVIDIA RTX GPU的本地工作站或配备 GeForce RTX GPU 的 PC 上）进行了优化。

全新 NeMo Retriever RAG 

微服务大幅提高准确性和性能

通过使用全新的 NVIDIA NeMo Retriever NIM 推理微服务来实现检索增强生成（RAG），企业可以将自定义 Llama 超级模型和 Llama NIM 微服务部署到生产中，以提高响应准确性。

当与适用于 Llama 3.1 405B 的 NVIDIA NIM 推理微服务结合使用时，NeMo Retriever NIM 微服务可以为 RAG 工作流中的开放和商业文本问答带来极高的检索准确性。

企业生态系统为 Llama 3.1 

和 NeMo Retriever NIM 部署提供助力

数百家提供企业、数据和基础设施平台的 NVIDIA NIM 合作伙伴现在能够将这些新的微服务集成到其 AI 解决方案中，从而为 NVIDIA 社区 500 多万开发者和 1.9 万家初创公司的生成式 AI 提供超强助力。

现在可以通过NVIDIA AI Enterprise获得 Llama 3.1 NIM 和 NeMo Retriever NIM 微服务的生产支持。

NVIDIA 开发者计划会员将很快能够免费访问 NIM 微服务，以在他们首选的基础设施上进行研究、开发和测试。