使用边缘AI支持在物联网设备上实现实时决策

物联网 (IoT) 的战略潜力推动工程师部署了越来越多的边缘设备。这些设备可在没有持续互联网连接的情况下收集、处理和运行数据推断。一直以来，各个机构都是将在边缘收集的数据发送到云中，由机器学习模型进行处理，因为设备缺乏处理这些数据所需的算力。

随着更强大的处理器和模型压缩软件的发展，对云计算的依赖已有所减少。相反，边缘设备现在有能力在本地执行密集的 AI 计算，而这种计算以前是在云中完成的。互联网连接设备的数量预计在 2030 年将达到 290 亿台[1]，随之而来的是对边缘 AI 的需求的指数级增长。预计到 2027 年，边缘 AI 将融入 65% 的边缘设备中[2]。     

推动边缘 AI 发展的赋能技术

边缘 AI 市场预计将从 2022 年的 156 亿美元增长到 2029 年的 1074 亿美元[3]。边缘 AI 并非新概念，但最新技术进步使得边缘 AI 的实现更加简单和经济。如今推动边缘 AI 的四项主要进步是： 

微控制器 (MCU) 和数字信号处理器 (DSP) - 矢量处理器变得更加强大，同时芯片供应商也在对其进行自定义以满足 AI 处理的需求。这些类型的处理器目前在 AI 硬件中占据着主导地位。

GPU（图形处理单元）- 最初用于图形密集型应用，如游戏和视频编辑，GPU 现在已用于训练 AI 模型和运行推断。

AI 加速器 ASIC - 虽然在 AI 相关任务中 GPU 的性能优于 CPU，但为 AI 工作负载量身定制的自定义专用集成电路 (ASIC) 可以提供更高的速度和效率。神经处理单元 (NPU) 是一种专门为处理 AI 模型而设计的 ASIC，因此它们比 CPU 更适合这项任务。

模型压缩方法 - 由于边缘设备通常在内存和处理能力方面存在限制，因此在保持类似准确性和性能水平的同时压缩模型至关重要。如今最常见的 AI 压缩方法有： 

剪枝 - 删除不必要或不太重要的参数，以提高 AI 模型的效率、速度和内存需求，同时最大限度地避免性能下降。 

量化 - 通过降低模型中数值的精度来降低内存负载，提高模型的推断速度和能效。 

知识蒸馏 - 将复杂模型的知识迁移到更紧凑的模型中，以模拟原始模型的行为和性能。 

低秩分解 - 通过将高维数据分解为低维表示来压缩高维数据，以简化复杂的神经网络模型，同时保留辨识特征。 

使用边缘 AI 减少对云计算的依赖

虽然边缘 AI 可能不会完全取代基于云的计算，但处理日益增长的海量数据的需求清楚地表明了一点：工程师无法忽视当今边缘 AI 改变游戏规则的优势。边缘 AI 的主要优势是实时的处理和决策，这会缩短延迟并降低与耗电和云处理相关联的成本。基于局部数据运行推断会减少发送到公共云、私有云或混合云进行处理的原始数据。云服务在特定应用中至关重要，并且可以通过在边缘设备上运行数据推断来得到增强。  

通过减少对持续互联网连接的依赖，工程师能够在许多行业更高效地实现边缘 AI 模型。现已有超出 400 个边缘计算用例[4]，涵盖 19 个行业和 6 个技术领域。集成到边缘设备中的 AI 模型在一些应用中（例如汽车和医学）可能能够拯救生命。 

边缘 AI 支持在设备上的实时智能决策，可显著提高许多应用的效率、响应能力和自适应性。     

汽车安全关键型系统

汽车就是一个边缘设备在本地收集和处理数据从而减少必须发送到云的数据量的一个示例。由于汽车电子控制单元 (ECU) 的自包含性质，数据处理必须在本地执行，安全关键决策必须实时作出。汽车 ECU 等边缘设备上的机器学习模型通过使用实时数据来适应路况并减少碰撞，从而确保乘客安全。 

一家汽车制造商训练机器学习模型来检测过度转向 - 车辆后轮在转弯时失去对路面的抓地力时会出现过度转向。制造商采集了成千上万个与车辆加速度、转向和偏航率（角速度）相关的数据点。通过将数据加载到 MATLAB 中，工程师可以使用 Statistics and Machine Learning Toolbox [5] 训练机器学习模型来识别过度转向。然后，他们使用 MATLAB Coder [6] 将机器学习模型部署并集成到 ECU 中。 



MATLAB 和 Simulink 的自动代码生成功能支持在嵌入式设备上进行快速原型构建和部署边缘 AI 应用，弥合理论和实践之间的差距。    

医疗器械中的实时决策

边缘 AI 在医疗设备领域的一个优势是能够快速作出决策。实时数据分析和异常检测可实现及时干预，并降低与威胁生命和长期健康状态相关联的风险。医疗边缘设备还可以与云中的应用程序进行通信以记录数据，而这不是一项时间敏感型任务。这样，云计算并不会阻碍反而增强了边缘设备上的数据推断，从而创建了更加强大的设备网络。 

例如，某技术研究所研究小组为人工胰腺 (AP) 系统开发了预测算法，可检测即将发生的低血糖和高血糖。该小组创建了虚拟患者，并使用 MATLAB 模拟心率和能量消耗等生理信号。完整的算法部署在移动设备上，该设备与胰岛素泵、血糖监测仪和可穿戴腕带通信以实现有效的血糖浓度控制。最终，该研究小组创建了一个边缘设备网络，作为一个集成的健康监控系统协同工作。     

结束语

工程师必须管理的数据量日益增长，边缘 AI 的实现有助于保持运营和成本效率，同时减少对云处理的依赖。随着工程师构建云推断和 AI 赋能技术的不断发展，将 AI 集成到边缘设备很快成为公司打造特色产品的必要条件。最重要的是，边缘 AI 应被视为云推断的附加工具，而不是当前基于 AI 的系统的替代或全面革新。通过在边缘实现 AI 并将云用于允许时间延迟的应用，任何行业的工程师都可以扩展其 AI 工具箱。

审核编辑：刘清