将可能变为现实：利用Arm技术实现边缘AI和ML

作者：Arm 高级副总裁兼物联网事业部总经理 Paul Williamson

谈到人工智能 (AI) 和机器学习 (ML) 时，您会联想到拖拉机吗？答案应该是不会，但是《经济学人》[1]中的这个类比或许能为您带来些启发。

虽然拖拉机在二十世纪初一经问世就引起轰动，但农场主们对于新技术的接受速度是非常缓慢的。到 1940 年，仅有 23% 的美国农场采用了拖拉机。为何普及速度如此缓慢？主要原因是拖拉机功能有限、可靠性较差、维护困难，以及价格过于昂贵。但即使如此，大多数农场主心里也明白，一旦这些问题得到解决，且当这个产品更具经济吸引力，将带来巨大的变革。

当今技术的普及速度远远超过二十世纪的农业领域，但从拖拉机发展历程中得出的经验，对于 AI 和 ML 在边缘领域的早期应用依然具有重要借鉴意义。换言之，对 AI 系统的竞相投资不能只停留在对美好未来的憧憬上，而要重视切实可行的实施计划。正如二十世纪 40 年代，从一开始农民看到拖拉机时的惊奇，转向切实地提高农业效率，实现农业多样化和集约化，以及为拖拉机开发更多专用附件和服务。

然而，要在边缘侧实现 AI 和 ML 的规模化应用，目前仍需克服重重挑战。

碎片化格局

市场上针对不同应用和场景的硬件类型五花八门，这构成了在边缘侧部署 AI 和 ML 的一大挑战。通常，丰富多样的硬件选择会导致开发者必须为特定硬件定制模型和代码，这无疑会增加开发过程的复杂性和管理成本。

现实情况是，与移动设备和高性能物联网类似，大多数 ML 模型都是在 CPU 上运行。而物联网又广泛构建于 Arm 架构之上。2020 年，Arm 推出了 Helium 技术，它是 Arm Cortex-M 指令集的矢量扩展，支持在超低功耗设备上实现 ML 加速。引入 Helium 的 Cortex-M 能够帮助开发者将 ML 应用的性能提升多达 15 倍，并将其能效提高至少五倍。目前已有超过 35 家合作伙伴推出了采用 Helium 技术的设备，其中包括恩智浦半导体、瑞萨电子、Ambiq 和 Alif Semiconductor。

Arm Ethos NPU 系列产品旨在为边缘 ML 工作负载提供更优异的性能和能效表现，为您的性能提升之路保驾护航。Ethos NPU 兼具可扩展性和可配置性，能够针对不同应用提供不同级别的性能和功耗，适用于计算机视觉、自然语言处理、语音识别、推荐系统等多种应用场景。Ethos NPU 可以与任何基于 Arm 技术的 SoC 集成，为从智能音箱到安全摄像头等各种设备提供无缝的 ML 加速解决方案。

AI 模型生命周期

另一挑战是 AI 模型的生命周期，其中包括训练、调整和部署等环节。为了在边缘部署 AI 模型，开发者需要考虑如何针对特定硬件优化模型。这涉及选择正确的模型架构、数据格式、量化方案和推理引擎，以便使其能够在嵌入式设备上高效运行。此外，开发者需要选择能够充分利用设备硬件功能（如 Ethos NPU 或 Helium 技术）的推理引擎，以加速模型的执行。

Arm 能够让开发者轻松地在嵌入式设备上使用 PyTorch 和 ExecuTorch 等主流 ML 框架。例如，Arm Keil MDK 是可用于简化嵌入式应用程序开发和调试的集成开发环境 (IDE)，能支持 CMSIS 工具包，而后者为设备能力和 ML 模型提供了通用的抽象层。借助经简化的开发流程，开发者仅需单一工具链和经验证的单一架构便可以实现 AI 功能。迄今，基于 Cortex-M 的设备出货量已超过 1000 亿台，在全球范围内拥有 100 多家 ML 生态系统合作伙伴。

利用 Arm 解决方案，开发者可以减少嵌入式设备中 ML 应用开发所需的时间和成本，同时获得更优越的性能和能效表现。

使用嵌入式设备

嵌入式开发面临的主要挑战之一在于，需要在资源受限的设备上优化 ML 应用的性能和效率。不同于基于云端的解决方案，可利用服务器强大的计算和存储能力，嵌入式设备通常必须在严苛的功耗和延迟性约束之下，在本地运行 ML 模型。为了实现所需的 ML 性能，开发者通常不得不在初代产品的价格或功耗上做出妥协。

而 Arm 虚拟硬件的推出带来了一种创新思路，它是一款基于 Arm 架构的云端模拟解决方案，使开发者可以在不依赖物理硬件的情况下开发和测试 ML 应用。该解决方案可与 AWS SageMaker 和 Google Cloud AI Platform 等 MLOps 解决方案无缝集成，有效简化了 ML 模型在各种设备上的部署和管理。这些平台提供的工具和服务支持自动执行 ML 生命周期的每一个阶段，涵盖了从数据管理和模型训练到部署和监控等环节。通过将 Arm 虚拟硬件与 MLOps 解决方案相结合，开发者可以更快地将嵌入式 ML 应用推向市场、降低成本并增强其可扩展性。

部署和保护知识产权

在数以百万计的端侧设备中部署和保护宝贵的知识产权，也是一项重大挑战。ML 模型本质上是数学函数，任何有权访问设备或数据流的人都可以提取和复制它。因此，设备和数据可能会被篡改、操控或恶意攻击，从而导致其功能和可靠性受到损害。开发者必须确保其 ML 模型受到保护，不会轻易被逆向工程破解。

Arm 致力于帮助开发者在边缘设备上部署 ML 模型并保障其安全，方法之一便是在 PSA Certified 提供的框架内操作。PSA Certified 是平台安全架构 (PSA) 的缩写，是 Arm 与合作伙伴为帮助保护物联网设备而制定的最佳实践和规范。经 PSA Certified 认证，用户可以验证和信任物联网产品的安全性，并确保其符合相关法规和标准的要求。

嵌入式边缘 AI

AI 和 ML 正在重新塑造嵌入式系统的发展面貌。

去年，我们与合作伙伴共同探讨了应对嵌入式开发中一些常见挑战的各种方法，例如：类似 Arm 虚拟硬件等的开发解决方案、新行业标准，或通过采用 Arm 架构以实现灵活性、高效率并最大限度地降低安全风险。

今年，我们将直面 AI 和 ML 在边缘领域飞速创新的成果，并切身感受这些变化给 Arm 开发者生态系统带来的影响。物联网边缘互联设备日渐增多，数据量呈指数级增长，这为 AI 算法处理数据并实时提供洞察带来了大量机遇。尽管生成式 AI 和大语言模型 (LLM) 备受瞩目，但部署到边缘物联网设备（如：树莓派）上的较小模型也开始崭露头角。Transformer 架构模型正在边缘侧掀起波澜，因其固有的出色灵活性，使其与传统的卷积神经网络 (CNN) 区别开来。

变革的步伐之快令人惊叹。Arm 非常高兴能够在支持高性能物联网设备和系统实现 AI 方面发挥关键作用。Arm 的愿景是提供安全的智能设备和系统，进而推动创新并改善人们的生活。通过以下举措，Arm 持续致力于帮助开发者应对挑战：

 

通过优化高性能物联网中部署 AI 的硬件和软件，以实现性能、功耗、成本效益、安全性与可扩展性的优异平衡。

 

简便易用的工具和平台，让高性能物联网中的 AI 开发和部署变得更加容易，让更多具有不同知识背景的开发者和系统搭建者都能根据自身需求构建和定制解决方案。

 

强大的生态系统支持和战略合作伙伴关系，加速推动了在高性能物联网中 AI 的普及并最大限度的发挥其效用，鼓励各利益相关方和行业之间开展合作与共创。

这些是 Arm 实现物联网边缘 AI 愿景的重要支柱。我们坚信，就像拖拉机曾经大幅改变了农业和食物供应链一样，边缘 AI 也将转变我们与物理世界的互动方式，开启人类创新创造的崭新篇章。