添加边缘智能：采访恩智浦

当今嵌入式世界 2021 的许多演讲中明确涵盖的一个关键主题是广泛采用边缘计算来实现边缘智能。一些预测预计，到 2025 年，90% 的边缘设备将使用某种形式的机器学习或人工智能。

围绕启用这种边缘智能有哪些问题，您如何实现它？这是 NXP Semiconductors 高级副总裁兼边缘处理业务总经理 Ron Martino 最近在播客中的话题。虽然您可以在此处收听完整的播客，但我们提供了本文讨论的一些摘录。

定义边缘计算

边缘计算的核心是更接近用户的高效处理能力。我们可以为数据带来更快的洞察力。 你能在恩智浦如何解决边缘计算的背景下定义它吗？

罗恩·马蒂诺

Martino：边缘计算简单来说就是分布式本地计算和感知能力。它有效地解释、分析和作用于传感器数据以执行一组有意义的功能。它不会试图成为云的替代品或替代品，它变得免费。传统上，例如在语音辅助中，大量数据被发送到云端，在那里使用更高的计算能力来增强体验。边缘计算正在演变为变得更智能，然后更智能。智能边缘计算平衡了本地计算与中央或云计算的使用。随着这种情况的进一步发展，我们希望终端设备有更多的能力来进行解释、分析，然后在本地做出决策，从而变得更加智能。

您能否举例说明如何使用边缘计算来提高生产力和安全性？

Martino：在生产力方面，一个很好的例子是增强劳动力：利用边缘处理或支持视觉和机器学习的可穿戴设备，工人可以诊断问题并更快地修复它，无论是在家里还是在工厂。

智能边缘设备通过识别各种危险信号来提高安全性：通过识别警报、人员跌倒或玻璃破碎，然后通过使用额外的传感器信息和计算来确定问题。无论是使用恩智浦正在开发的雷达传感设备，还是使用视觉功能，或者只是将音频输入解释到设备中。

如果我们转向更环保和能源意识，一个需要解决的概念是吸血鬼的力量，你插入设备，他们什么都不做，但仍然在消耗能量。

我们也正在转向“感知边缘”的概念，其中设备以类似人类的行为做出更多反应。他们开始了解他们的环境，他们汇总输入并与其他设备交互以收集信息并了解情况的背景，然后做出相应的决定。一个简单的实际示例是具有本地能力的交通模式，它可以解释人群和不同的拥堵点，并通过观察和感知汽车数量和条件来优化本地情况，从而提高驾驶效率，从而避免浪费时间。

支持边缘智能的技术

从技术的角度来看，构成智能边缘和感知边缘的部分是什么？

马蒂诺：让我们从基础开始。您需要拥有计算平台，并且它们需要扩展。他们需要节能。与过去不同，现在它实际上是关于多个独立的异构计算子系统。这基本上是有一个 GPU、一个 CPU、一个神经网络处理单元、一个视频处理单元和一个 DSP。

您如何优化这些不同的硬件加速器和计算设备并针对给定的最终应用进行优化？这就是恩智浦真正擅长于拥有可扩展的计算范围以及所有这些其他元素的地方。然后是针对语音应用、人机交互的优化硬件加速器或功能的集成，将视觉和语音结合在一起，然后以真正涉及超低泄漏的方式进行，操作模式可以调整到真正优化能源使用，即使使用这些大型片上存储器，当您查看某些工作负载时也是必要的。

这继续优化机器学习能力、与许多不同攻击面的最高覆盖范围的安全集成、高效连接、高效能源使用以及开放标准。它还可以利用恩智浦提供的技术，例如高精度距离测量，无论是使用我们的 UWB 技术以非常准确的方式定位给定人员或跟踪设备的物理位置。

最后一件事是将这一切包装在无缝的用户体验中，因为如果它不易于使用，并且使用起来不自然，那么它就不会被使用。因此，获得无缝、舒适的体验绝对至关重要。

用户如何构建这样的解决方案？

Martino：我们提供一切，从处理器或微控制器的基本产品，一直到针对本地语音、视觉、检测和推理能力或这些功能的组合预先优化的参考平台。我们将客户可以购买的参考平台放在一起，例如我们的 RT 系列设备。我们有一个可以购买的人脸识别产品，这是一个完全启用和设计的系统，客户可以将其作为修改他们想要专业化或品牌化的需求的起点。

消费者和工业用例的技术差异

大多数业内人士都会同意，我们家庭和工作中的智能设备和系统正在获得牵引力。正如您所说，普通的旧物联网与工业市场之间有哪些技术差异？

Martino：与 [消费者] 物联网世界相比，工业领域的连接标准、环境要求、寿命需求（可能超过 15 年）以及安全要求更加广泛和苛刻。恩智浦投资的一个领域是时间敏感网络 (TSN)，并将 Mac 和交换机集成到一整套设备中，这些设备可以支持多台机器的菊花链设置、工作并支持端点功能，利用这种更具确定性TSN 骨干网，它还支持许多传统标准正在融合的更高的数据速率和吞吐量。

将此与 [消费者] 物联网市场进行比较。对于智能家居和可穿戴设备等应用而言，对极端能源效率、更高使用语音 HMI、无线连接和更短生命周期的需求更为广泛。在可穿戴设备方面，您需要出色的用户体验，但您需要最长的电池寿命。优化这些边缘设备以执行其功能，然后关闭并保持电池寿命非常重要，并且必须以最有效的方式完成真正丰富的用户体验，因为那是它消耗电池的时间。

互操作性挑战

在智能家居领域，通常很难从一家公司获取产品并使其与其他设备一起使用。恩智浦如何尝试改变智能家居无线互操作性挑战？

Martino：以智能家居设备为例，标准和互操作能力非常分散。我们有一个名为 CHIP 的项目，即“基于 IP 的互联家庭”标准项目。它让 NXP 以及许多其他行业领导者共同努力，试图整合，而不是专有标准，而是整个行业通用的开放标准，并允许人们在这个开放标准上进行构建。

该项目的重点是在 NXP 和其他公司围绕 ZigBee 和 Thread 以及 ZigBee 联盟所做的多年工作的基础上，然后利用亚马逊、苹果、谷歌已经推出建立这个我们称之为 CHIP 的开放标准，并在设备之间建立这种通用链接。当您插入某些东西时，连接将非常简单。

恩智浦的计划是在今年晚些时候在市场上推出真正的产品，其中包含 CHIP 标准的第一个版本。

解决添加边缘智能的复杂性和成本

转向边缘的机器学习和人工智能。这一切听起来相当复杂和昂贵，对吧？

Martino：对于很多人来说，当你谈论 AI 和 ML 时，它是一个非常复杂的抽象概念。据预测，到 2025 年，90% 的边缘设备将使用某种形式的机器学习或人工智能。我们坚信确实如此，并且我们正在推出针对此进行优化的产品。这是我们为优化所使用的硬件、处理器和微控制器所做的工作以运行此功能的组合。对于最终用户而言，更多的是部署对最终用例有意义的实用 ML 的复杂程度。

 

 

有许多公司想要收集数据并创建自己的模型。恩智浦关注的是，我们如何启用与云无关的功能，从而在简单的用户界面或开发环境中实现灵活性？

这就是我们最近宣布的对 Au-Zone 的投资，并将在 2021 年推出增强的开发环境，您可以在其中选择引入的内容类型。您自己的数据、您拥有的模型或您拥有的模型已选择通过您最喜欢的来源或云提供商获取，并带来，然后对其进行优化，并将其部署到终端设备上。因为这是优化。

机器学习如何增加最终解决方案的成本？

Martino：如果你有一个非常复杂、繁重的机器学习模型或能力，那将需要更高的计算能力，而计算能力越高，它的成本就越高。您可以选择在边缘处理器上执行此操作，也可以选择将其部署到云中。当我们尝试为特定用例调整这些用例或这些模型时，您可以变得非常高效，然后您可以利用传统的技术扩展和摩尔定律真正添加特定于 ML 的硬件加速，这不会占用硅面积很大。

它会增加少量成本，但却是执行您想要的给定工作的最佳能力。举个例子，无论是在本地检测人员和识别他们是谁，您现在都可以在微控制器上非常有效地做到这一点，该微控制器通过非常非常高效的硅实现进行了优化。然后，您可以使用我们的一些处理器使其可扩展，您可以在其中扩展至外部更高性能的神经网络处理器，或者以免费的方式与云一起工作。同样，所有这些都需要付出代价，这取决于任务的复杂性，但是对于您可以推出的非常复杂的功能来说，它可能非常有效。

道德人工智能

人们越来越担心机器学习模型和人工智能中的偏见。行业在帮助确保道德 AI 方面的作用是什么？

Martino：它需要清晰的操作透明性，无论是简单的概念，“我想知道它是在听我还是在看我”，但如何确定它的结论然后采取行动变得非常重要。安全标准，以确保系统是安全的，并且在其攻击面方面没有后门访问或其他敏感性或漏洞，因此有人可以访问人工智能系统，然后影响它做某些事情或做出某些决定可能对攻击系统的人有利。

你如何实施没有预设偏见的人工智能系统，从原则上看，这是错误的？在 NXP，我们推出了一项 AI 道德倡议，强调了我们对这一道德发展的承诺。其中，我们谈论做善事，我们谈论维护以人为本的人工智能，这实际上是围绕避免从属或被人工智能系统胁迫，以及这种透明度、对科学卓越的高标准以及信任在人工智能系统中。

您认为实施边缘技术仍存在哪些挑战？

Martino：这是一项持续的活动，有许多领域需要继续优化。能源效率、驱动和利用能量收集概念以及设备的接近阈值操作是许多业内人士的持续投资。安全性和保护数据的需要并继续推进这是一项持续的活动。

投资于特定于硅的签名和不同类型的密码学，以及以受保护的方式执行计算的方法，例如同态加密，在加密环境中执行计算并且从不解密。然后围绕延迟要求中吞吐量的连接性以及功耗进行扩展。为了对此进行优化，我们将继续优化连接，并以越来越有效的方式将其引入这些边缘设备。

最后，关于感知终端智能的整个概念，我们正处于第三代开发和实施神经网络处理器或进入我们处理器的子系统中。这正在推动效率和扩展性的提高，但在通过加速器以及围绕脉冲神经网络的不同技术以及量子人工智能推动更高水平的效率方面，该领域仍在继续进行研究。显然，在短期内，我们将看到围绕更多传统加速器的持续发展，并将这些加速器集成到恩智浦推向市场的这些可扩展处理器中。

审核编辑 黄昊宇