边缘AI的优势和技术基石

在万物皆可AI（人工智能）的今天，市场上几乎每家企业都在宣称自己的业务中有了AI成分。因此，将AI接入极靠近终端客户的网络边缘也就没什么悬念了。这里的边缘人工智能（即Edge AI，或边缘AI）主要是指将人工智能系统（如预测分析、语音或图像识别或异常检测）与边缘计算相结合的技术实践。

直白地说，这样做的好处是提升了系统反应速度，并减少对网络带宽的需求。边缘AI的这些特性使之非常适合于对时间敏感的应用场景，例如自动驾驶汽车、智慧城市和工业物联网（IoT）以及可穿戴健康监测设备等。

边缘AI的优势

对于传统的人工智能而言，人工智能模型通常位于中央服务器的后端，例如公共云或数据中心，在那里处理和分析发送到中央位置的数据。如果同时处理和分析太多的数据，很可能导致服务器的延迟。

有了边缘人工智能，机器学习算法可以直接在给定网络的边缘运行，在那些更靠近生成运行系统所需的数据和信息的地方，例如物联网设备或配备边缘计算设备的机器。每个边缘设备都可以使用安装在设备上的集成AI或机器学习模型来分析它收集的数据，并做出智能决策，且不会将所有原始数据发送出去，只是将关键的数据传输到中央服务器。

分布式人工智能的概念介于边缘人工智能和传统人工智能之间。通过分布式系统，数据在一系列互连设备上进行处理和分析，包括中央服务器和边缘设备，每个节点都处理其中的一小部分，其思想是借助分布式处理来应对大量工作负载。分布式人工智能的缺点是比边缘人工智能具有更大的延迟，隐私性和安全性较低，管理起来也更复杂。

生成式人工智能、大型语言模型（LLM）和人工智能能力的激增，为AI PC等创新解决方案铺平了道路，提高了各个行业的生产力和效率。边缘AI PC是专门为推理和训练等任务设计的专用计算设备，可以直接在源头完成复杂的数据处理和机器学习。这种本地化的计算能力对于工业自动化、安全和监控中的应用至关重要。

边缘AI可以在各种硬件上运行，从现有的CPU到微控制器，以及高级神经网络处理设备。一些常用的边缘计算芯片是由Intel、NXP和NVIDIA等大型科技公司制造并提供。据Markets and Markets的分析预测，未来5年边缘AI硬件市场规模预计将从2024年的242亿美元增长到2029年的547亿美元，在2024年至2029年的预测期内将以17.7%的复合年增长率增长。

物联网（loT）设备在智能家居、工业自动化、医疗保健、农业和交通等各个行业的快速增长是边缘人工智能硬件发展的重要驱动力。

谁在用边缘AI？

人工智能正日益成为所有行业和广泛用例中的普遍和关键工具。随着边缘人工智能的成熟，边缘处理的应用范围不断扩展。Grand View Research的研究数据显示，截至2022年，边缘人工智能市场规模为147.88亿美元，预计2023年至2030年的复合年增长率将达到21%。

边缘AI能够以更高的速度、更低的成本和更低的功耗，更安全地完成数据的实时分析，这使其成为云计算AI极具吸引力的替代品，制造业、医疗保健、智慧城市以及自动驾驶汽车等行业的公司都在加紧Edge AI的应用和部署。

在医疗保健和健康监测行业，医院及其医疗服务提供者将从边缘AI中深深获益。由于边缘AI能够在设备本地处理数据，从而在紧急情况下可快速生成决策并执行关键操作。基于人工智能的血糖监测仪和生命体征追踪器等医疗设备，可以为医生的决策提供数据支持，减轻了他们的工作量。借助边缘AI，从心脏追踪器和血压传感器等健康监测设备收集的所有数据都可以在本地进行处理和分析，从而实现实时分析，助力医疗专业人员为患者提供更好的护理。此外，边缘AI还能直接在设备上处理敏感数据，减少了个人健康数据在易受攻击的网络中传输的风险。

边缘AI的实现需要结合恰当的硬件、软件、以及安全、连接和传感等支持技术，非常重要的是，能将它们集成到降低复杂性、开发进程快的系统中。

在今年的CES上，NXP发布了其医疗保健AI控制器（AICHI），这是一个能够实时安全收集并分析多模态健康数据的边缘AI平台。作为一项概念验证，AICHI充分展示了边缘AI在医疗保健领域的巨大潜力。该AI控制器利用环境传感器以及非侵入式健康设备（如血压监测仪、心电图贴片、血糖贴片或医疗智能手表）采集的信息，通过结合边缘AI和调优后的大语言模型（LLM）用于会话界面（针对i.MX 95 MPU的eIQ Neutron NPU进行了优化），AICHI能够安全、实时地收集并分析多模态健康与传感器数据。这一能力实现了早期异常检测、个性化护理以及积极干预，同时始终保持较高的安全性与效率标准。

在汽车行业，相比那些层出不穷的新功能，安全的重要性永远排在第一位。当一辆自动驾驶汽车在繁忙的道路上行驶时，每一毫秒都很重要，边缘AI实现的快速数据处理是系统能够快速响应周围环境的基础。

在智能家居系统中，从视频门铃到语音控制灯泡以及可监控食品消费和保质期的冰箱，这些设备今后将不必将所有数据从家里发送到集中式远程服务器进行处理，边缘AI可在现场完成所有操控。此外，利用边缘AI还可以监控供暖、制冷、照明等设施，以优化能源效率。

在智慧城市建设中，边缘AI设备是其关键的组成部分。交通信号灯上的边缘AI设备可以按时间分析交通模式，调整交通信号，优化交通流量，避免或减少道路的拥堵。边缘AI对计算机视觉、物体检测和面部识别的使用使一些安全摄像头特别有效，它们允许从任何位置进行双向音频、数字变焦和远程监控。智能电表、位于非常偏远地区的管道和电网设备的自我监控等都将从边缘AI的应用中获益。

边缘AI的技术基石

半导体是边缘AI的基石，它在技术上的不断演进保障了边缘AI任务所需的高性能和效率。现在，领先的半导体供应商已经为高效的边缘AI设备设计了专用的硬件，一系列的关键组件包括CPU、GPU、NPU等，每个组件在实现高级AI功能方面都发挥着独特的作用。

CPU

CPU是计算系统的大脑，在AI PC中，它是处理和管理复杂任务的中心枢纽。在坚固的边缘AI设计中，通常会在Arm和x86 CPU架构之间进行选择。X86架构的优先考虑是芯片的原始计算能力，用以实现多功能性，而Arm架构则强调芯片的高效能和低功耗特性。具体选用哪种架构的芯片需依实际需求而定。

例如Intel的第14代酷睿处理器，旨在处理密集的计算工作负载，CPU在速度、效率和多任务处理能力方面均有显著提高，是需要强大数据处理和快速决策的人工智能应用的理想选择。

在基于Arm架构的方案选择中，NXP的i.MX 8M Plus系列是一款专注于机器学习和视觉、高级多媒体以及具有高可靠性的工业自动化的应用处理器，它内置四核或双核Arm Cortex-A53处理器，带有神经处理单元（NPU），运行速率高达2.3TOPS，完全满足智慧家庭、智能楼宇、智慧城市和工业4.0等应用中的边缘AI需求。

图：i.MX 8M Plus系列系统框图（图源：NXP）

GPU

GPU对于边缘AI任务的顺利完成至关重要。能够执行并行处理这一特性对于处理大型数据集和复杂算法是极其关键的。在AI PC中，NVIDIA RTX系列或A100 Tensor Core GPU等GPU加速了机器学习模型的训练和推理，大大减少了这些过程所需的时间。这些GPU在图像识别、自然语言处理和复杂模拟等任务中特别有效。

NPU

NPU是更大SoC上的一种新的专用处理器或处理单元，专门用于加速AI PC的神经网络操作和AI任务。与通用CPU和GPU不同，NPU针对数据驱动的并行计算进行了优化，使其在处理视频和图像等大量多媒体数据以及处理神经网络数据方面非常高效。

TMS320F28P55x系列C2000 MCU，是Taxes Instruments面向边缘AI应用推出的一款具有集成神经处理单元（NPU）的实时微控制器产品，可实现高精度、低延迟的故障检测。在电动汽车充电基础设施电源模块的设计和建设中，可有效执行储能系统中的电弧故障检测。

TMS320F28P55x系列MCU使用NPU运行卷积神经网络（CNN）模型，能够减轻主CPU的负担，其延迟时间比软件实现低 5 到 10 倍，可实现更快、更准确的决策。此外，在集成NPU上运行的模型通过训练学习和适应不同的环境，能帮助系统实现高于99%的故障检测准确率，从而在边缘做出更明智的决策。

Taxes Instruments完整的AI工具链包括针对特定应用进行优化和测试的模型，可帮助不同经验水平的工程师轻松完成 AI 模型开发过程。利用Taxes Instruments的Edge AI Studio - Model Composer或Tiny ML Modelmaker加载与训练模型，还可获得高级功能集。

图：使用NPU运行CNN模型的TMS320F28P55x系列MCU系统框图（图源：Taxes Instruments）

为了丰富自己的NPU产品系列，NXP于2025年2月宣布斥资3.07亿美元收购可编程NPU企业Kinara。Kinara的产品支持广泛的边缘AI应用，包括多模态生成式AI模型，Ara-1是Kinara第一代分立NPU，能够进行先进的边缘AI推理。Ara-2作为第二代NPU，其运算能力高达40TOPS（每秒万亿次运算），并针对生成式AI实现系统级高性能进行了优化。Ara-1和Ara-2NPU可以轻松地与嵌入式系统集成，以增强其AI性能，包括对现有现场系统进行升级。这两款器件均采用创新的架构，能够映射推理图，以便在Kinara的可编程专有神经处理单元上高效执行，更大限度地提高边缘AI性能。

鉴于AI算法未来将不断从CNN演进至生成式AI，甚至发展出智能体AI等新方法，这种可编程NPU确保了系统的适应性。Ara-1和Ara-2在性能和能效方面表现出色，非常适合用于视觉、语音、手势等新兴AI应用，以及其他各种由生成式AI驱动的多模态实现。收购完成后，恩智浦可将分立NPU及其AI软件集成到公司的处理器、连接、安全和高级模拟解决方案产品组合中，以进一步增强NXP提供从TinyML到生成式AI的完整、可扩展AI平台的能力。

AI开发工具

在一系列专用芯片的基础上，先进的算法和AI开发工具将进一步加速边缘AI的应用进程。当然，从零开始创建AI/机器学习模型需要海量的数据和一大批数据科学家。现在，通过迁移学习可以加快模型开发过程。

迁移学习是一种热门技术，可以将现有神经网络模型中已经学到的特征提取到新的自定义模型中。NVIDIA TAO工具套件基于TensorFlow和PyTorch构建，是NVIDIA TAO框架的低代码版本，通过抽象出AI/深度学习框架的复杂性来加速模型训练过程。有了TAO工具套件，AI设计人员将无需具备强大的AI专业知识或者大型训练数据集，只需利用迁移学习的强大功能和自己的数据对预训练模型进行微调，并针对推理进行优化，即可自定义构建人工智能模型。

NXP是首家将NVIDIA TAO工具套件API直接集成到其人工智能产品（eIQ机器学习开发环境）中的半导体供应商，并已将NVIDIA经过训练的人工智能模型部署在恩智浦边缘处理设备中。借助eIQ机器学习软件开发环境，用户可在恩智浦的微控制器和微处理器产品组合中利用人工智能算法。

本文小结

边缘人工智能是一种利用边缘位置的有价值数据为深度机器学习提供动力的概念。边缘计算代表了数据处理发生的位置的转变。现代技术使得在网络边缘的远程位置执行大部分计算任务成为可能，这些位置更靠近终端用户，而不是在距离关键数据源非常遥远的传统数据中心。

在边缘结合人工智能可以实现原本不可能或不切实际的功能。除了减少延迟和边缘计算固有的安全优势外，将AI添加到应用中还带来了由复杂的ML推动的前所未有的可扩展性。现在，边缘AI不再是一种概念，它们已经在医疗保健、智能驾驶、智慧城市、智能家居、智能制造等行业获得广泛应用。

在此过程中，专用的高性能半导体器件以及先进的人工智能开发工具是边缘AI发展的基石，并将伴随着边缘AI技术和市场的进步而不断演进。