人工智能推理的演变

　　人工智能推理市场在过去三四年中发生了巨大变化。以前，边缘AI甚至不存在，大多数推理功能都发生在数据中心，超级计算机或政府应用程序中，这些应用程序通常也是大型计算项目。在所有这些情况下，性能都至关重要，并且始终是重中之重。快进到今天，边缘AI市场与此截然不同，特别是随着它进入更多的商业应用。对于这些用例，主要关注点更多的是低成本、功耗和小尺寸。而不是原始性能。

　　平衡更好的性能与软硬件协同设计

　　在查看推理芯片时，很明显一个芯片与另一个芯片不同。设计师总是在他们的设计中做出选择，好的设计师会考虑他们的最终应用以及他们在这些应用中的约束。例如，当 Flex Logix 设计其第一个推理芯片时，它最初的大小是现在的 4 倍。我们很快意识到，芯片需要小得多，才能成为低成本、低功耗、更小外形边缘AI市场的参与者。

　　有趣的是，大多数人最初认为大多数推理总是在数据中心完成的。这种观点最终发生了变化，因为业界意识到它有太多的数据需要移动，因此，这些数据开始向边缘移动。随着5G开始出现，更清楚的是，不可能始终将原始数据发送到云端进行处理。显然，边缘必须有一定数量的智能可以解决99.9%的场景，而数据中心实际上只需要用于极端情况。一个完美的例子是安全摄像头。边缘人工智能需要能够弄清楚是否有任何可疑活动正在发生，以及周围是否有人。然后，如果发现任何有趣的东西，这些部分可以发送到数据中心进行进一步处理。但是，发送到数据中心的数据实际上只是整体推理的一小部分。边缘推理AI通常意味着满足很多约束，有时如果你想运行非常大的复杂模型，你实际上只在非常小的数据部分上运行这些模型。

　　早期边缘AI推理设计中的另一个误解是，一种适合所有方法就足够了。这也被证明是错误的，因为出现了专门的芯片，展示了它们的优势和力量。关键是真正围绕算法构建芯片，因为如果它能够真正磨练算法，你可以获得更好的性能。正确的平衡实际上是获得最有效的计算，就像专业硬件一样，但在编译时具有可编程性。

　　可编程性是关键

　　该行业确实处于AI发展的风口浪尖。未来几十年，我们将在这个领域看到的创新将是惊人的。就像任何长寿的市场一样，你可以期待变化。这就是为什么不要设计针对某些客户型号的超级专用芯片变得至关重要的原因。如果我们今天这样做，到两年后芯片在客户手中时，模型可能会发生重大变化 - 客户的要求也会发生重大变化。这就是我们不断听到有关公司最终获得AI推理芯片的故事的主要原因 - 然后发现他们并没有真正按照他们需要的方式表现。如果将可编程性内置到芯片架构中，则可以轻松解决该问题。

　　如今，AI 的灵活性和可编程性在任何边缘 AI 处理器中都至关重要。客户的算法会定期更改，系统设计也会更改。随着边缘AI功能在主流中的推出，越来越清楚的是，芯片设计人员需要能够适应和改变客户的模型，而不是选择他们“认为”模型将要成为的样子。我们一次又一次地看到这一点，这就是为什么编译器如此重要。编译器中有很多技术对最终用户是隐藏的，这些技术都是关于分配资源以确保以最小的功率有效地完成所有事情。

　　另一个被密切关注的关键特征是吞吐量。现在正在构建良好的推理芯片，以便它们可以非常快速地通过它们移动数据，这意味着它们必须非常快速地处理该数据，并非常快速地将其移入和移出内存。通常，芯片供应商会抛出各种各样的性能数据，如TOPS或ResNet-50，但研究这些数字的系统/芯片设计人员很快就会意识到这些数字通常毫无意义。真正重要的是推理引擎可以为模型、图像大小、批量大小以及过程和 PVT（过程/电压/温度）条件提供什么吞吐量。这是衡量其性能的头号指标，但令人惊讶的是，很少有供应商提供它。

　　边缘 AI 向前发展

　　如今，许多客户都渴望吞吐量，并且正在寻找能够以与当今相同的功耗/价格为他们提供更高吞吐量和更大图像尺寸的解决方案。当他们得到它时，他们的解决方案将比竞争解决方案更准确，更可靠，然后他们的市场采用和扩张将加速。因此，尽管今天的应用程序有数千或数万个单位，但我们预计随着推理的可用性而迅速增长，推理提供了越来越多的吞吐量/$和吞吐量/瓦。

　　Edge AI市场正在快速增长，芯片供应商也在争夺该市场的地位。事实上，据预测，到20世纪20年代中期，人工智能销售额将迅速增长到数百亿美元，其中大部分增长将用于边缘人工智能推理。没有人能预测未来的模型，这就是为什么在设计时考虑灵活性和可编程性更为重要的原因。

　　审核编辑：郭婷