物联网智能向边缘发展

　　虽然物联网（IoT）从定义上讲是一个意味着连接性的概念，但在消费者物联网中，对设备中更多本地或基于边缘的处理的需求不断增加，以补充基于云的功能。当然，访问云服务器对于实时信息（如新闻，股票报价和其他动态数据）是必要的。但出于成本、性能、隐私和安全原因，更多地转向边缘已成为越来越重要的优先事项。

　　对于消费者来说，人们想要轻松访问的大部分内容（例如个人日历，备忘录甚至电子邮件）都可以在本地缓存，从而为我们访问有用信息的方式提供更高的速度和安全性。此外，天气等本地化信息可以在本地缓存，有助于提供更快的响应，而不必担心互联网延迟。另一个动机是带宽：当我们安装新的视频门铃时，我们真的想更新我们的数据计划，以支持持续的直播到云吗？最后，也许对用户采用来说最重要的是人类体验：智能设备需要以更自然的方式表现和反应 - 包括能够理解意图，而不仅仅是命令，识别个人偏好，以及近乎实时地做出响应。由于神经网络和人工智能的发展，这些功能现在可以在边缘实现。这从集中式智能架构（云中的AI）中迎来了分布式智能（边缘和云中的AI）的时代，这在过去几年中一直是物联网设备的基石。

　　从供应商的角度来看，除了执行这些类型的功能所需的原始处理能力之外，智能设备还显着增加了云操作所需的成本和带宽。谷歌就是一个很好的例子。在分析谷歌搜索中语音识别对Android手机的影响时，谷歌工程师得出结论，如果谷歌语音搜索的每个用户每天只使用三分钟，该公司将需要两倍的数据中心。寻找更高效的云处理解决方案，如神经网络加速器和机器学习，有助于在数据中心解决这个问题，但从长远来看，通过将负担转移到边缘（和最终用户）来减少对云的依赖已成为消费者物联网生态系统的优先战略。

　　人机界面移至边缘

　　人机界面（HMI）是在这个连接设备的新时代增强用户体验的关键因素。能够理解和预测性地响应我们做什么、说什么或触摸的东西而又不持续依赖云的机器，有望彻底改变物联网如何在我们的生活中提供前所未有的隐私、便利和生产力。例如，具有更灵敏和更复杂的语音或视觉界面的智能设备可以更好地控制照明或温度或物理访问，并允许更多的上下文感知，例如用户个性化，家长控制，运动检测和安全监控。

　　由于 Synaptics 等公司基于边缘的技术的进步，其中许多功能的处理负担可以在本地设备上安全地处理。这在用户体验和成本以及数据安全性方面都有直接的好处。从开发人员的角度来看，对于理解边缘处理与云处理之间的权衡至关重要的几个指标是：

　　·延迟

　　·安全

　　·隐私

　　·权力

　　·可靠性

　　·成本

　　·内容权利

　　今天的边缘处理平台可以很好地达到所有这些标准，设备制造商和消费者都同意，在当今的智能家居、商业和工业环境中，任何可以在本地完成的事情都应该在“设备上”实现。本地缓存、传感器融合和来自机器学习算法的安全推理都使本地处理的用户数量增加，从而在许多方面改善了整体客户体验。

　　神经网络是关键

　　对于许多物联网方案来说，访问互联网对于流媒体电影和音乐以及实时更新或随机信息请求等功能始终是必要的。但是，混合云/边缘物联网的新时代将通过更多的“本地智能”来促进，从而减少对始终发送用户输入（可能是语音或视觉）并从云中获得响应的需求（以及成本和风险）。在边缘处理的AI驱动的神经网络是解决性能和稳健性挑战以及解决隐私问题的关键。

　　到目前为止，智能边缘处理一直被保留用于智能手机等昂贵的设备，因为它需要大量的计算，而这对于低成本设备或电器来说是遥不可及的。新一代 SoC 以针对主流消费类设备的价格点提供安全的神经网络加速。

　　现在，具有成本效益的基于AI的解决方案可用于提高性能，以创建更人性化的体验。真正的智能设备将利用多传感器，始终监听功能来学习行为模式并将其与设备交互相关联。这将使设备能够利用隐式通信，而不是仅依赖于当今设备所依赖的显式通信。最值得注意的是，使设备具有本地智能将使它们能够以接近人类的速度做出反应。通过不进行云调用来实现的延迟降低对用户来说几乎是即时的。

　　物联网人机界面变得多模式

　　语音代表了增长最快的用户界面，并不断被持续的技术创新重新定义。随着使用远场语音接口的性能和功能的突破，这为支持语音的设备带来了更自然的用户便利性和实用性。另一个令人兴奋的领域是设备上集成的计算机视觉，可提供面部，情感和内容识别。计算机视觉现在可以以经济高效的方式在本地启用，物联网界面的下一步是成为多模态，语音，手势，凝视和触摸都将发挥作用，并且将通过安全的生物识别进一步个性化。

　　生物识别可以在设备上实现，而无需注册配置文件，它只是将您的声音与另一个声音区分开来，并且通过机器学习，它可以提供专业内容或个性化。一系列额外的模式与人工智能相结合，将使HMI能够更好地学习和适应个人用户的行为。它将变得上下文感知。为了增强用户体验，除了语音和视觉用户界面之外，设备还应该能够通过用户在设备上本地观看的机器学习方法来分析内容。这将允许设备个性化其界面，以更好地匹配用户偏好。

　　边缘安全推理解决消费者关注的问题

　　边缘的安全推理解决了更广泛地采用物联网设备的许多挑战，并为人机界面开辟了新的可能性，无论是视频、语音、触摸还是视觉。同时，边缘处理增加了隐私，安全性和用户对自己数据的控制，因为个人数据在设备上被处理和使用，并且只有匿名信息被发送到云端。为了使设备具有上下文感知能力并实现更无缝的交互，它需要设备侦听的不仅仅是一个触发词。

　　例如，设备应该能够执行复杂级别的语音到文本和自然语言理解，能够检测用户的人脸并将其与设备上的数据库进行匹配，而无需云资源。使用以云为中心的体系结构启用此类上下文感知功能会给消费者带来隐私和安全问题。新的分布式架构通过在边缘设备中进行高性能处理来解决这些问题，该设备可以在没有云连接的语音识别功能中启用诸如100，000多个单词的词汇表之类的功能。这很重要，因为它可以以非常经济高效的方式在消费者友好的价格点的设备中实现。

　　隐私问题

　　用户隐私已成为连接设备的主要问题。以语音为例，我们可以看到隐私风险在哪里：在典型的当前一代架构中，音频信号要么直接进入CPU或DSP，在那里完成一些处理，然后将实际的音频信号传输到云端。到目前为止，所有的AI处理都是在云中进行的。在这些实现中，所有传感器信息都被发送到云端（其中大部分在预期功能方面是不必要的），并且系统中存在多个漏洞点，可以发生远程攻击 - 无论是利用传感器数据还是提供对个人和敏感信息的直接访问。即使使用软件级加密，黑客也需要了解软件才能绕过它。

　　需要的是本地（边缘）硬件级别的企业级加密。要实现真正安全的方法，需要一个具有正确传感器接口的集成解决方案、一个具有可信执行环境的强大应用处理器、一个具有硬件信任根的防火墙安全处理器和一个神经网络加速器。这是突触为其新的智能边缘AI SoC解决方案系列开发的SyNAP框架的基础方法。对于传感器接口，最低要求是麦克风接口，而RGB传感器接口有利于实现额外的上下文感知。安全处理器和神经网络引擎是实现安全、可靠且具有提供复杂用户体验的健壮性的语音/视觉 UI 的两个关键要素。

　　安全处理器的目标是通过防火墙传感器信息和用户数据来抵御恶意攻击。即使攻击成功使黑客能够在设备上运行软件，但重要的是，任何此类软件都无法访问传感器接口，以及存储在设备上的可信执行环境或TEE中的所有用户数据。在安全推理中，传感器信息和其他用户数据可以由应用处理器和神经网络加速器处理，而数据仍然受到应用处理器上运行的软件框架以及应用处理器上运行的恶意代码的防火墙的监视。

　　通过能够在边缘 SoC 上高效运行神经网络处理，目前在云中完成的许多 AI 处理现在可以在本地消费者边缘设备上完成。这减少了将所有传感器信息传输到云的需要，同时实现了上下文感知的安全“始终侦听”HMI。

　　将一切整合在一起

　　将设备内所有传感器信息防火墙的能力与运行复杂机器学习算法的能力相结合，开辟了一系列以前不切实际的新应用。由于传感器数据是安全的，设备制造商和消费者都可以更有信心地使音频和图像传感器都处于始终在线模式，同时为隐私提供可接受的保证。然后，设备可以使用其机器学习功能，通过音频和/或视频数据变得更加具有上下文感知能力。

　　例如，该设备可以在始终收听模式下运行语音生物识别、大量词汇和自然语言理解。这允许设备不断分解谁在围绕它说话，并从演讲内容中确定是否需要其参与。使用这些信息，设备可以在不使用“嘿Alexa”等触发词的情况下确定它是否正在被寻址，从而使交互更加无缝。在某些情况下，设备甚至可以决定发起对话。然后，随着时间的推移，设备可以建立与上下文事件相关的偏好知识，从而允许设备以最少的交互确定用户的意图。所有这些都不需要连接到云。

　　由于缺乏物联网设备到设备的通用通信标准，仍然需要通过云到云的连接从另一个设备控制另一个设备。但是，随着神经网络加速器在物联网边缘设备中启用，它将刺激LAN中的设备在不进入云的情况下相互控制的新趋势，因为一旦ASR + NLU在设备上发生，除了缺乏通信标准之外，没有真正的理由去云。但是，鉴于 ASR+NLU 是在云上发生的，因此没有真正的动力来执行可由语音触发的真正基于 LAN 的设备控制。但现在这种情况将会改变，因为在LAN中执行此操作具有最低的延迟以及高安全性和隐私性优势。

　　数字版权管理是另一个挑战。在分析内容（用户从 OTT 源流式传输的视频或电影）时，必须考虑与此优质内容关联的内容权利。这些权限禁止将视频和音频轨道的任何部分发送到集中式服务器进行分析，因此必须在安全和受信任的环境中在设备上完成。新的 SoC 可以实现基于机器学习的内容权限分析，从而在安全可信的执行环境中保护视频内容。

　　通过边缘实现更高的效率

　　基于边缘的处理也是减少需要发送到云的数据量的好方法。例如，能够在本地运行对象和事件检测的安全摄像头将节省大量的互联网数据带宽。以1080p录制的安全摄像机可以传输高达4Mbps的速率。与云记录服务一起安装的安全摄像头导致数据使用量爆炸式增长，这可能导致用户快速超出其当前数据计划的极限，这并不罕见。这可能会给用户带来相当大的成本。当摄像机在本地运行对象和事件检测时，可以将其配置为仅在发生有意义的事情时才将视频发送到云。这可以显著节省数据传输成本，并为消费者直接节省成本。

　　还有许多其他应用程序可以在安全摄像头上启用。例如，如果摄像机看到的活动仅来自家庭成员，则可以将其配置为不向云发送视频。通过减少产生无意义通知的烦人的错误触发，以及在通知中提供更有意义的描述，可以使通知更加准确。摄像机还可以使用声学事件的检测来启动云传输和通知。

　　与前面引用的Google语音示例类似，不必存储相机生成的所有数据可以降低数据中心的复杂性和规模，从而降低设备OEM的运营费用。这是这些设备 OEM 大力推动边缘机器学习和 AI 的一个关键原因。

　　使用AI进行边缘处理将扩大消费者物联网的使用

　　物联网设备制造商知道基于边缘的处理的好处，但到目前为止，成本，性能和安全性方面的许多挑战使得在消费产品和系统中实施变得不切实际。将边缘处理与云连接相结合的更多使用的转变已经开始，领先的设备制造商和平台供应商在这一领域采用Synaptics解决方案就是证明。通过使用先进的基于AI的神经网络来实现基于边缘的物联网，芯片供应商能够提供广泛的集成解决方案，以应对传统纯云架构的挑战。这种类型的高级人机界面功能可以经济高效地在各种设备中实现，从而改善和保护我们的生活。

　　审核编辑：郭婷