FPGA取代AI加速器中的GPU

AI软件初创公司Mipsology正在与Xilinx合作，以使FPGA能够仅使用一个附加命令即可替换AI加速器应用程序中的GPU。Mipsology的“零努力”软件Zebra将GPU代码转换为可在FPGA上的Mipsology的AI计算引擎上运行，而无需进行任何代码更改或重新培训。

赛灵思今天宣布，将为数据中心向Zebra交付最新版本的Alveo U50卡。Zebra已经在其他Xilinx板上支持推理加速，包括Alveo U200和Alveo U250。

赛灵思最新版本的Alveo U50数据中心加速卡现在带有Mipsology的Zebra软件，用于转换GPU AI代码以在FPGA上运行（图片：Xilinx）

Xilinx营销副总裁Ramine Roane表示：“ Zebra带给我们的Alveo卡的加速水平使CPU和GPU加速器感到羞愧。” “与Zebra结合使用，Alveo U50满足了AI工作负载的灵活性和性能需求，并为任何部署提供了高吞吐量和低延迟性能优势。”

过去，即插即用的 FPGA对于非专业人士来说很难编程，但是Mipsology希望将FPGA变成即插即用的解决方案，就像CPU或GPU一样容易使用。这样做的想法是使从其他类型的加速切换到FPGA尽可能容易。

Mipsology首席执行官Ludovic Larzul说：“最好的方式是[Mipsology]，我们使用FPGA之上的软件来使它们透明化，就像Nvidia用Cuda CuDNN来使GPU对AI用户完全透明一样。“在接受EE Times采访时。

至关重要的是，这可以由非专家完成，而无需具备深厚的AI专业知识或FPGA技能，因为无需进行模型再培训即可过渡。

“易用性非常重要，因为当您查看人们的AI项目时，他们通常无法访问设计神经网络的AI团队，” Larzul说。“通常，如果有人安装了一个机器人系统或一个视频监视系统……他们会让其他团队或其他团体开发神经网络并对其进行培训。一旦获得了[训练有素的模型]，他们就不会更改它，因为他们没有专业知识。”

斑马的堆栈。该技术适用于数据中心，边缘和嵌入式应用程序（图片：Mipsology）

与Xilinx对比当Xilinx
已经拥有自己的神经网络加速器引擎（XDNN）时，为什么会支持第三方软件？

“一句话的重点是：我们做得更好，”拉尔祖尔说。“另一句话是：我们的作品。”

Mipsology在Zebra中拥有自己的计算引擎，该引擎支持客户现有的卷积神经网络（CNN）模型，与XDNN不同，Larzul表示XDNN支持大量演示，但不太适合定制神经网络。他说，这使使用XDNN建立和运行自定义网络“痛苦”。尽管XDNN可以在不受GPU威胁的应用程序中竞争，但Zebra旨在使FPGA根据性能，成本和易用性直接采用GPU。

斑马的堆栈详细。目的是通过尽可能多地隐藏硬件来使FPGA成为从GPU或CPU到AI加速的更简单的切换（图片：Mipsology）

Larzul说，大多数客户改变GPU解决方案的动机是成本。

他说：“他们想降低硬件成本，但又不想重新设计神经网络。” “（避免了）一笔非经常性的费用，因为我们能够透明地替换GPU，并且无需重新训练或修改神经网络。”

FPGA还具有可靠性，部分原因是因为它们在芯片领域不那么积极，并且通常比包括GPU在内的其他加速器类型运行温度更低。这在需要长期维护成本的数据中心中尤其重要。

拉尔祖尔说：“总拥有成本不仅仅是董事会的价格。” “确保系统正常运行还需要付出代价。”

Zebra还旨在使FPGA在性能上竞争。Larzul说，尽管FPGA通常提供比其他加速器更少的TOPS（每秒Tera操作），但由于Zebra精心设计的计算引擎，它们能够更有效地使用TOPS。

Ludovic Larzul（图片：Mipsology）

“这是大多数加速AI的ASIC初创企业都忘记了的-他们在做很大的一块硅片，试图包装更多的TOPS，但是他们没有考虑如何在网络上映射它以提高效率”，他说，并指出Zebra的基于FPGA的引擎比TOPS量为6倍的GPU每秒能够处理更多图像。

如何实现的？尽管Larzul没有提供确切的细节，但他确实表示它们不依赖修剪，因为精度降低太大，以至于不进行重新培训就无法接受。由于相同的原因，它们不使用极限量化（低于8位）。

Zebra的引擎加快了CNN的速度，而CNN如今已广泛用于图像和视频处理应用程序，但Zebra也可以应用于使用类似数学概念的BERT（Google的自然语言处理模型）。Zebra的未来迭代可能会覆盖其他类型的神经网络，包括LSTM（长期短期记忆）和RNN（递归神经网络），但这很难实现，因为RNN在数学上更加多样化。

EVE
Mipsology的团队成立于2015年，在法国约有30人从事研发工作，在加利福尼亚有一个小团队，主要负责业务发展。该公司已获得总计700万美元的资金，其中200万美元是2019年法国政府创新竞赛的奖金。

Mipsology的核心团队来自EVE，这是一家ASIC仿真器公司，于2012年被Synopsys收购，用于其ZeBu（零错误）硬件辅助验证产品，当时是Cadence钯金验证平台的竞争对手。Larzul认为，几乎所有主要的ASIC公司都使用EVE技术在设计周期内验证ASIC。该技术依赖于连接在一起的数千个FPGA来重现ASIC行为。

Mipsology拥有12项正在申请的专利，并且与Xilinx密切合作，并且与第三方加速器卡兼容，例如Western Digital小型（SFF U.2）卡和Vega-4001等研华卡。