英特尔推出了Stratix 10 NX FPGA着眼于AI模型训练和推理

FPGA越来越多地用于加速数据中心中的AI工作负载，以完成诸如机器学习推理之类的任务。越来越多的FPGA加速器正在挑战数据中心GPU的部署，从而有望减轻数据中心服务器中已经工作过度的CPU的负担。

本月初，英特尔（NASDAQ：INTC）推出了Stratix 10 NX FPGA，着眼于AI模型训练和推理。赛灵思公司（纳斯达克股票代码：XLNX）已经对其在VMware vSphere云计算虚拟化平台上运行的Alveo FPGA进行了验证。

VMware使用Xilinx Alveo U250加速卡进行测试，通过Docker容器提供了机器学习模型，该容器与FPGA制造商的新Vitis AI开发堆栈集成在一起，用于机器学习推理。开源堆栈支持Caffe和TensorFlow框架。

合作伙伴本周报告说，虚拟部署和裸机部署之间机器学习推理的低延迟性能“几乎相同”。

使用直接路径I / O配置，虚拟机内部运行的应用程序可以访问FPGA。该设置绕过了管理程序层，以提高性能并减少延迟

Xilinx在描述vSphere测试结果的博客文章中指出：“测试证明，虚拟机和裸机之间的性能差距在吞吐量和延迟方面均保持在2%以内。”

“这表明在虚拟环境中用于［机器学习］推理的vSphere上Alveo U250的性能几乎与裸机基准相同。”

赛灵思和FPGA竞争对手英特尔正在推广其最新的数据中心加速器卡，以满足客户对异构架构不断增长的需求，并随着客户运行更多的AI工作负载而提高性能。随着延迟的减少，FPGA的发展也得到了推广，以降低与通用CPU中未充分利用的硅片容量相关的成本。

随着新工具的出现，FPGA逐渐进入主流，以挑战GPU加速器，以简化FPGA编程和开发。

例如，Xilinx 的Vitis AI工具被定位为一个开发平台，用于推断从Alveo卡到边缘设备的各种硬件。Vitis包括旨在加快AI推理速度的芯片IP，工具，库和模型。

该工具包与“ AI模型动物园”一起包含“ AI优化器”之类的功能，这些功能旨在将模型压缩多达50倍，以提高AI推理性能。同时，探查器跟踪推理实现的效率和利用率，而AI库运行时包括用于应用程序开发的C ++和Python API。

Xilinx AI推理开发堆栈可在GitHub上获得。

同时，竞争对手Stratix 10 NX的推出也使英特尔向异构计算迈进了相似的道路。芯片制造商的战略还包括硬件和软件集成，以及应用程序开发中使用的标准库和框架的集成。