宁畅B5000 G5多节点服务器采用第五代英特尔至强可扩展处理器

“基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器，可以在满足大量AI推理场景在吞吐量、时延、容量、并发能力等方面的需求，而且与专用的GPU服务器相比，在灵活性方面更具优势。我们希望能够与英特尔进行更加深度的合作，持续优化该方案的AI推理性能，助力用户加速拥抱大模型。”

“大模型已经成为行业用户进行业务变革的重要驱动力，这带来了规模巨大且仍在快速提升的算力需求。英特尔提供了面向大模型应用的全栈方案，第五代英特尔 至强 可扩展处理器则凭借较高的性能与灵活性，非常适合运行特定域专用模型或长尾模型。通过与宁畅合作，我们希望能够满足更多用户对于大模型推理的性能需求，加速业务转型。”

挑 战

大语言模型等AI模型的快速发展凸显了模型推理的算力瓶颈，给服务器带来了多方面的挑战：

在性能层面，模型的规模不断增长，对于算力的需求不断提升。除了硬件层面的提升之外，通过将模型数据格式转化为较低精度的数据、调用矢量神经网络指令(VNNI)等方式，也有助于提升模型的性能表现。

在灵活性层面，专用的AI推理服务器具有较高的性能表现，但是在应用场景方面有着较为严格的限制，无法高效、灵活地应对多种工作负载的运行需求。对于模型推理需求变化频繁、规模相对较小的用户而言，需要更加灵活的推理服务器，以在不同的工作负载间进行灵活切换。

在成本方面，服务器的算力密度越高，就越有利于节约数据中心空间以及数据中心能耗、设备等方面的成本。同时，通过优化AI推理性能表现，能够进一步节约成本。

解决方案概述

大语言模型(LLM)作为人工智能(AI)应用的一个重要分支，可以处理多种自然语言任务，如文本分类、问答、对话等，在互联网、金融、医疗、教育等行业有着广泛的应用，并被普遍认为是实现通用人工智能的重要方式。近年来，大语言模型实现了“井喷”式的发展，在展现人工智能的革命性价值的同时，也带来了算力层面的巨大挑战。统计数据显示，从2017年到2022年，模型的规模增长了15,000倍，典型的大模型参数规模已经达到了千亿甚至万亿级别。当大模型落地到实际场景之后，模型推理带来了庞大的算力消耗，用户需要应对大模型推理所带来的算力、总体拥有成本(TCO)、灵活性等挑战。  

宁畅B5000 G5多节点服务器作为高密度的服务器，能够为大语言模型等AI应用提供强大的算力支撑。宁畅B5000 G5多节点服务器实现了对于第五代英特尔 至强 可扩展处理器的支持，能够借助第五代英特尔 至强 可扩展处理器的强大算力，以及处理器内置的英特尔 高级矩阵扩展（英特尔 AMX），实现大模型推理等AI应用的加速，在灵活性方面较专用的AI服务器更具优势。此外，宁畅B5000 G5多节点服务器还能够借助RDMA (Remote Direct Memory Access) 技术以及英特尔 以太网控制器E810，提供高速的跨节点通信。

宁畅B5000 G5多节点服务器

宁畅B5000 G5多节点服务器是一款基于英特尔 至强 可扩展处理器自主开发的高密度产品，在4U的空间可最大支持到8个双路节点，单节点已全面支持最新的第五代英特尔 至强 可扩展处理器。整个服务器的8个双路节点间互相独立，互不干扰。B5000 G5多节点服务器可支持更多的计算核心，兼备卓越的计算性能和灵活的IO扩展能力。B5000 G5可实现数据中心的高密部署、提供强大计算性能，也可以满足用户业务多样性与灵活性的需求。

该服务器具备如下优势：

全新升级极致性能：支持第五代英特尔 至强 可扩展处理器，计算性能强劲，总线带宽高达16GT/s；支持DDR5 5600MHz内存频率，内存带宽相比较上一代提升50%；全面支持PCIe 5.0，传输速率提升100%。

多节点计算灵活配置：4U8节点高密度架构，支持8个双路计算节点；机箱模块化设计，配置交换和管理集管理模块；整机最大支持4个NDR/HDR Multi Host模块或8个HDR 200G直通模块；单节点支持2个2.5寸硬盘，兼容U.2  NVMe SSD。

多重监控绿色节能：机箱搭配多级管理，包含统一的CMM管理和整机业务交换管理，整机管理支持前后维护模式，同时可完成整机所有节点IP的管理，实时监控整机状态，提供关键部件健康状态的监控和上报功能，全面保障健康运行；机箱采用模块化设计，贯彻绿色节能的设计理念，整机采用集中供电和散热，搭载高效的智能调速策略，根据环境和整机工作负载实时调速，达到静音运行的效果。

采用第五代英特尔 至强 可扩展处理器为AI推理提供强大算力支持

宁畅B5000 G5多节点服务器支持第五代英特尔 至强 可扩展处理器，进一步提升了算力密度，并提升了能效，能够为计算、存储、网络等多种类型的应用构建强大的性能基础。  

第五代英特尔 至强 可扩展处理器为拓展HPC与AI应用提供了强大的性能基础。新一代处理器拥有更可靠的性能，更出色的能效。它在运行各种工作负载时均可实现显著的每瓦性能增益，在AI、数据中心、网络和科学计算的性能和总体拥有成本(TCO)方面亦有更出色的表现。相较上一代产品，第五代英特尔 至强 可扩展处理器可在相同功耗范围内提供更高的算力和更快的内存。此外，它与一代产品的软件和平台兼容，因此部署新系统时可大大减少测试和验证工作。

图2. 第五代英特尔 至强 可扩展处理器具备更强大性能

除了利用第五代英特尔 至强 可扩展处理器带来的基础性能的提升之外，宁畅B5000 G5多节点服务器还重点利用了处理器提供的AI加速能力。   

该处理器内置了创新的英特尔 AMX加速引擎。英特尔 AMX针对广泛的硬件和软件优化，它进一步增强了前代技术 — 矢量神经网络指令(VNNI)和BF16，从一维向量发展为二维矩阵，以便最大限度地利用计算资源，提高高速缓存利用率，以及避免潜在的带宽瓶颈，显著增加了人工智能应用程序的每时钟指令数(IPC)，可为AI工作负载中的训练和推理提供性能提升，可对参数量多达200亿的模型进行推理和调优10。  

为了进一步增强AI推理性能表现，宁畅B5000 G5多节点服务器还能够英特尔 以太网控制器E810中的RDMA (Remote Direct Memory Access) 功能，降低网路数据传输过程中的时延，提供高速的跨节点通信，化解大规模AI推理任务在集群通信中的网络瓶颈。  

宁畅测试了基于第五代英特尔 至强 可扩展处理器的B5000 G5多节点服务器在多种AI推理工作负载中的性能表现。

大语言模型 (LLM)：高密度、多并发、支持高达70B

LLaMa2是Meta发布的免费可商用版本的大模型，LLaMa2模型系列包含70亿、130亿和700亿三种参数变体。LLaMa2相比第一代在预训练语料库大小上增加了40%，LLaMa2接受了2万亿个Token的训练，精调Chat模型在100万人类标记数据上训练，上下文长度是第一代的两倍，并采用了分组查询注意力机制等优化结构。  

第四代/第五代英特尔 至强 可扩展处理器的代际时延数据对比如图3所示，在LLaMa2-7B和LLaMa2-13B模式中，时延均有13%的下降11。   

此外，第五代英特尔 至强 可扩展平台可支持多通道大容量的内存，使用64G内存时，单节点(Node)至少可以扩展到1024GB内存，这样可支持LLM模型的并发。其中，70B-4Node可同时支持28个LLM模型并发，13B-1Node可同时支持40个LLM模型并发，7B-1Node可同时支持72个LLM模型并发。   在第二次token时，时延可低至63.5毫秒。除了在模型并发上有卓越表现外，模型之间的切换也在10毫秒之内，几乎无感，模型驻留数最高可达到576个12。

图3. LLaMa2-7B和LLaMa2-13B时延比较

Resnet 50

ResNet50是一种非常流行的卷积神经网络模型，ResNet50的主要特点是引入了“残差块”(Residual + Block)。在传统的神经网络中，每一层都是在前一层的基础上添加新的变换，而在ResNet中，每一层都是在前一层的基础上添加新的变换，同时还保留了前一层的原始输入，这种设计使得网络可以更好地学习输入和输出之间的差异，而不是直接学习输出，这有助于提高模型的性能。  

宁畅的测试数据如图4所示，相较第四代英特尔 至强 可扩展处理器，基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器，将ResNet50推理性能提升了10%13。

图4. ResNet50性能比较（越高越好）

文本生成图像

(Stable Diffusion)

Stable Diffusion是一种基于潜在扩散模型(Latent Diffusion  Models) 的文本到图像生成模型，能够根据任意文本输入生成高质量图像，同时还保留了图像的语义结构。Stable-Diffusion一般需要数秒完成图片生成，生成的图像具有较高的逼真度和细节表现力。宁畅的测试数据如图5所示，相较第四代英特尔 至强 可扩展处理器，基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器，将Stable Diffusion推理性能提升了9%14。

图5. Stable Diffusion性能比较

上述测试主要基于单节点配置环境完成，用户还可通过部署更多节点，来获得更高的性能表现。

收 益

基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器为用户的AI推理任务带来了如下收益：    

在保证特定精度的前提下，模型推理的吞吐量、时延等性能指标方面能够比肩常规GPU，满足大语言模型等AI模型的推理需求。

可以在4U8节点上同时执行多个AI推理任务，在特定的服务质量(SLA)要求下，实现较高的并发量，有助于提升资源的利用率，降低AI推理的总体拥有成本(TCO)。

无需增加专门的硬件便可以支持高效的AI推理，有助于提升服务器的灵活性，敏捷地满足多种应用工作负载的支撑需求。

展 望

大模型应用已经进入到爆发期，《中国人工智能大模型地图研究报告》显示，2023 年，全球发布的大模型数量已经超过200个，其中中国发布的大模型已经达到了79个15。面对百亿、千亿乃至万亿规模的大模型数据处理、训练、调优及推理需求，用户迫切希望构建符合自身业务特点和需求的AI算力平台，进行计算资源的合理配置。基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器凭借在性能、灵活性等方面的优势，有望成为用户推动大模型推理的重要基础设施。   

除了模型推理之外，基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器还在更多场景中，提供了卓越的性能、扩展性与敏捷性。双方将在技术探索、产品升级、应用推广等多个层面深度协作，建设从云到边缘的基础设施，推动数字资源平等，打破数字鸿沟，以澎湃的算力赋能数字经济的高速发展。

 

审核编辑：刘清