英特尔AMX助华栖云多场景AI推理性能大幅提升多达96倍

AI技术应用已经深入到各行各业，特别是云服务提供商将AI能力集成到云服务中，能够更好地满足用户对性能、效率和体验的需求。而在主流媒体全面进入互联网阵地的大趋势下，媒体行业面临融合、高效、智能化的挑战。成都华栖云科技有限公司（简称：华栖云）正是这样一家面向蓬勃兴起的泛媒体、大视频时代的企业用户市场，为用户提供媒体云服务的提供商。

为了给用户带来更加智慧的应用体验，大幅提升内容来源的宽度，内容生产的速度、内容发布的广度，华栖云媒体云平台正在集成广泛的AI技术，推动光学字符识别(OCR) 识别、图像超分修复、人体姿态识别、大型语言模型 (LLM) 等应用的落地。

对于最终用户而言，这些 AI 技术对于媒体云基础设施带来了 AI 推理等方面的算力挑战，用户需要通过高性能、低成本、高灵活度的算力方案，来满足实际应用的严苛需求。于是，华栖云与英特尔合作，在媒体云平台上验证了第四代英特尔 至强 可扩展处理器及其内置的英特尔 高级矩阵扩展（英特尔 AMX）加速器。验证结果显示，在英特尔 AMX 的加持下，第四代英特尔 至强 可扩展处理器可显著提升大型语言模型、人体姿态识别、CLIP 图像文本分类处理模型、OCR 识别、图像超分修复等模型的推理能力，提供了高性价比、高灵活性的 AI 基础设施构建选项。

英特尔 AMX及CPU大模型推理与主流GPU性能一致

华栖云之所以选择基于英特尔 CPU 的 AI 推理方案，是因为该方案能够充分利用媒体云已有的服务器资源，在架构上无需进行大幅变动，性价比较高，且在性能上足以满足智能资源管理、智能审核、智能生产等场景所需。

现在，AIGC技术得到越来越多应用。华栖云同样采用了基于大语言模型的 AIGC 技术，使智能媒体云平台能够自动进行要点归纳及内容创作、改写，做到一课一虚拟助教，提高师生教学互动能力。此外，AIGC 技术还能用于课程内容识别理解等更多场景，带来智慧教育新体验。所以，大语言模型的推理能力对于华栖云至关重要。

华栖云采用内置AI加速器英特尔 AMX的第四代英特尔 至强 可扩展处理器，在大语言模型推理性能上表现出强劲实力。在华栖云的测试中，对比了某主流 GPU 与第四代英特尔 至强 可扩展处理器的大语言模型推理性能，测试数据如图1 所示，两者性能基本保持在同一层面。这得益于英特尔 AMX 针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显着增加了人工智能应用程序的每时钟指令数 (IPC)，可为 AI 工作负载中的训练和推理上提供显著的性能提升。从而使华栖云使用CPU不额外增加成本的情况下，获得了同样的AI推理性能。

图1：大语言模型推理性能测试1

英特尔助华栖云多个AI推理场景性能大幅提升

除了大语言模型推理之外，华栖云多项AI推理性能均在英特尔 至强 可扩展处理器和英特尔 AMX的加持下得到显著提升。 

第一，对比语言图像预训练 (CLIP)是一种在各种（图像、文本）对上训练的神经网络，可以用自然语言指示它在给定图像的情况下推理最相关的文本片段，而无需直接针对任务进行优化。在媒体云平台场景中，CLIP 不仅提供了先进的图像分类结果，而且还提供了对象分类、视频中的动作识别和 OCR 等其他视觉任务。CLIP 有助于媒体云平台在不构建巨大数据集的前提下，训练高质量的模型，同时降低计算成本。 

华栖云 CLIP 算法推理性能测试数据如图 2 所示，在将模型转化为BF16 后，第四代英特尔 至强 可扩展处理器的 CLIP 推理性能相较第二代英特尔 至强 可扩展处理器最高提升了 95.63 倍2。

图2：华栖云 CLIP 算法推理性能测试3

第二，OCR 识别在媒体云平台中，常用于图像中的信息提取，如课件识别、版面识别、试卷识别等。华栖云在测试中，对比了第二代英特尔 至强 可扩展处理器与第四代英特尔 至强 可扩展处理器的单线程吞吐性能差异。测试数据如图 3 所示，对比第二代英特尔 至强 可扩展处理器，第四代英特尔 至强 可扩展处理器的性能最高可提升约 6.41 倍4。

图3：OCR 单线程吞吐测试5

第三，超分辨率 (Super-Resolution) 是指通过硬件或软件的方法提高原有图像的分辨率，超分辨率算法有效提高放大后图像的质量，同时节约带宽、存储等方面的资源。ESRGAN 是一种基于生成对抗网络 (GAN) 的图像超分辨率算法，其主要思想是通过学习低分辨率 (LR) 图像与其高分辨率 (HR) 对应物之间的映射，来实现从 LR 图像到 HR 图像的映射过程，从而实现图像的超分辨率。SwinIR 则是一种基于 Swin Transformer 的图像超分辨率重建算法，相对于传统的 Transformer 模型，在处理图像等二维数据时，具有更好的并行性和更高的计算效率。

华栖云测试了第二代/第四代英特尔 至强 可扩展处理器在ESRGAN 算法推理中的性能表现，测试数据如图 4 所示，在将模型转化为 BF16 后，第四代英特尔 至强 可扩展处理器的ESRGAN 推理性能相较第二代英特尔 至强 可扩展处理器最高提升了 3 倍6。

图4：ESRGAN 算法吞吐性能测试7

SwinIR 模型推理性能测试数据如图 5 所示，在将模型转化为BF16 后，第四代英特尔 至强 可扩展处理器的 SwinIR 推理性能相较第二代英特尔 至强 可扩展处理器最高提升了 7.4 倍8。

图5：SwinIR 模型推理性能测试9

第四，人体姿态识别算法能够通过图像获取并识别人体骨架信息，通过算法判断动作类别和姿态，从而实现动作识别。华栖云在智能媒体云平台中采用了基于 OpenPose 方法与 EfficientHRNet 方法的多人 2D 姿势估计网络，针对图像中的每个人，网络都会检测到一个人体姿势：一个由关键点和关键点之间的连接组成的身体骨架。

华栖云基于 OpenPose 方法的人体姿态识别算法推理性能测试数据如图 6 所示，在将模型转化为 BF16 后，第四代英特尔 至强 可扩展处理器的 OpenPose 推理性能相较第二代英特尔 至强 可扩展处理器最高提升了 64.82 倍10。

图6：基于 OpenPose 方法的人体姿态识别推理性能测试11

基于CPU的AI推理方案为华栖云降低TCO并增加灵活性

在采用内置了英特尔 AMX 的第四代英特尔 至强 可扩展处理器之后，华栖云提升了多种典型算法的推理性能，满足了教育、广电等客户对于智能媒体云平台的性能要求，为客户带来以下价值：

在保证模型精度的前提下，显著提升多个 AI 模型的性能表现，有助于提供更加高效的智能媒体云服务；   通过软件优化充分释放了硬件潜力，支持有效利用服务器资源，无需独立、专用的 AI 加速器，有助于降低媒体云平台构建的 TCO；   通用的 CPU 平台不仅能够高效支撑 AI 推理，而且能够灵活应对编解码、转码等负载，更具可扩展性。

AIGC 等AI技术的应用正在为媒体行业注入充沛的活力，推动媒体行业的智能化转型。华栖云以超高清智能媒体处理云平台为驱动引擎，在泛媒体、大教育、政企等行业形成了成熟的云服务及云解决方案。通过与英特尔合作，并利用英特尔 AMX 等创新技术，华栖云正在推动新一代智能融媒体平台覆盖媒体内容生产、管理、发布、运营和数据化管理全流程应用。 

英特尔 AMX及英特尔 至强 可扩展处理器以不逊于GPU的AI推理性能，为华栖云降低了云平台TCO的同时，提供了更大的灵活性和扩展性，支持华栖云智能媒体云平台以新思维、新技术重塑媒体全链路生产与运营模型，建立集内容、产品、用户、数据一体的全媒体融合运营体系，实现媒体基于内容的价值再造。

审核编辑：刘清