将AI移至边缘的影响

将 AI 移至边缘的影响

在之前的博文中，我们探讨了将人工智能 (AI) 移至网络边缘的有力论据。在本期中，我们将讨论哪些 AI 应用程序有利于这种方法。作为起点，回顾在网络边缘实施 AI 的原因给出了一些强烈的提示。检查以下任何一项是否适用于该项目：

无法访问快速、稳定的网络连接

产品在受限环境中运行

该项目需要交付实时人工智能

预算有限

鉴于这些因素，哪些特定的人工智能项目可以通过在边缘运行机器学习 (ML) 模型变得更容易？在这里，我们将研究将 AI 和 ML 模型（例如虚拟助手、面部识别和实时监控应用程序）移动到更靠近边缘的好处。

虚拟助理

正如往常一样，Apple 在 2010 年推出 Siri，引领了潮流。这为许多其他虚拟助手铺平了道路，其中最著名的是亚马逊的 Alexa 和 Google Assistant。虚拟助手让科幻式的语音控制成为现实，其工作方式如下：

首先说唤醒词或启动助手。对于 Amazon Echo 等独立设备，设备会使用简单的语音模式匹配持续侦听唤醒词并在本地进行处理。这就是为什么 Alexa 只能识别某些唤醒词。

该设备现在连接到基于云的服务器并发送它听到的录音。

云服务器运行语音到文本 ML 模型，将录制的语音转换为自然语言文本块。

使用自然语言处理来解析文本以提取含义。 

服务器计算出请求的内容并将适当的命令或内容发送回设备。 

很容易看出将 ML 模型移动到边缘如何增强体验：语音助手的响应速度更快，不需要互联网连接，并且可以嵌入语音控制。被调用的应用程序本身可能需要网络连接，例如音乐流服务。

面部识别 

面部识别是人工智能发展最快的应用之一。该技术仍在不断发展，并伴随着一些问题。2016 年，亚马逊的 Rekognition 深陷争议和种族主义指控。在对一组 25,000 张图像进行训练后，该系统错误地将 28 名美国少数民族国会议员识别为已知罪犯。 

2019 年，英国最大的警察部队大都会警察局对面部识别技术进行的早期试验表明，该技术在 81% 的情况下是不准确的。然而，最新的面部识别系统正变得更加准确。今年早些时候，大都会博物馆宣布将采用该技术扫描大型活动中已知的麻烦制造者。 

许多需要面部识别的用例需要该技术近乎实时地工作。因此，应用程序依赖于将 ML 模型移动到网络边缘。Met 采用的系统基于 NEC NeoFace ® Watch，它是完全独立的，可以实时运行。NEC 将其技术瞄准其他几个市场，包括零售、企业活动、节日和其他大型活动以及交通运输。 

实时监控

重工业和采矿业依赖于极其庞大和昂贵的机械。如果这种机器发生意外故障，公司可能会损失数百万美元。例如，许多采矿作业依赖于巨大的高功率泵，这些泵使工作区域远离水并将开采的泥浆泵送到加工厂。如果这些泵中的一个发生灾难性故障，整个操作就会停止。因此，矿业公司将大量资源投入到 AI 系统中，这些系统旨在防患于未然地预测潜在故障。 

目前，这些系统通常基于从连接到设备的物联网 (IoT) 传感器传输数据。然后在中央位置处理此数据，并将任何必要的警告发送回适当的操作员。然而，矿山和建筑工地可能横跨数十公里，通常处于恶劣地形中，因此将 ML 模型直接集成到边缘设备中将简化整个过程。 

在边缘运行 AI 和 ML 模型需要什么？

将 AI 移动到网络边缘需要三件事：

适用硬件

新工具

创建 ML 模型的新范例

让我们看看这些要求中的每一个。

优化的硬件

如前所述，ML 模型通常依赖于大量并行操作。坦率地说，他们需要原始计算能力。然而，计算能力与设备实际消耗的功率之间总是存在权衡。要将 ML 模型移动到边缘，需要消耗尽可能少的功率的设备。当设备需要嵌入时更是如此。幸运的是，现在可以使用范围广泛的高性能、低功耗 MCU。

适用工具

接下来需要的是一个合适的工具链，用于在微控制器上运行 ML 模型。绝大多数 ML 框架设计为在 64 位 Intel 系列 CPU 或图形处理单元 (GPU) 上运行。相比之下，所有适用的微控制器都具有 32 位精简指令集架构，例如 ARM ® Cortex ®系列 MCU。但是， TensorFlow Lite等 ML 框架  使 ML 能够在此类 MCU 上运行。 

一次建模，随处运行 

难题的最后一块是创建和运行ML模型的不同范例。这可以用短语“建模一次，在任何地方运行”来概括。本质上，这正是它的意思：创建模型，通常使用高功率ML优化机器，然后使用工具链将其转换为可以在任何微控制器上运行的代码。不幸的是，这使我们无法从持续学习或强化学习中获益。

权衡

下表描述了ML模型在边缘运行时所做的一些权衡（表1）。希望它能提供一些指导，帮助您决定是否将下一个人工智能项目推向边缘。

表1：边缘运行ML模型的权衡

Feature	In the data center	At the edge
Real-time	No	Yes
Continual learning	Yes	No
Embeddable	No	Yes
Network needed?	Yes	No
Reinforcement learning	Yes	No
Full range of models?	Yes	No

 

结论

将ML模型移动到边缘为AI提供了新的用例，这有望带来一场可嵌入的AI革命。MCU硬件和在这些MCU上运行ML模型所需的工具的发展为此类技术的扩展提供了基础。

审核编辑 hhy