使用 OpenVINO™ 工具套件测量购物者情绪

衡量消费者情绪是产品、服务等反馈的重要组成部分。近年来，情绪分析（也称为意见挖掘）已被证明是提供消费者反馈的有用工具。情感分析在社交媒体环境中使用文本分析和自然语言处理。情绪分析的基本思想是根据某种形式的交流（例如推文或网站评论）捕捉消费者对某个主题的看法。

情绪分析的一种演变是被动地检测路过货架并查看产品的消费者的情绪。这种类型的情绪分析不仅可以捕获有关消费者对产品意见的统计数据，还可以进行直接交互——例如，如果销售人员表示有兴趣，则通知他们。在此博客中，我们将探讨如何使用英特尔® OpenVINO ™工具包的购物者情绪应用程序，根据输入的面部表情视频自动推断购物者在零售店展示时的情绪。

购物者情绪数据管道

图 1显示了 Shopper Mood 应用程序的管道。让我们仔细看看这个深度学习应用程序中发生了什么。

图 1：购物者情绪推断管道图说明了 OpenVINO™ 工具包的此应用程序如何处理捕获的图像以识别在购物者脸上检测到的情绪。（来源：作者）

该过程首先从安装在零售货架上的摄像机捕捉图像。接下来，捕获的图像被传递到两个深度神经网络中的第一个（基于卷积神经网络或 CNN）。CNN 是最流行的深度学习网络架构之一，旨在处理图像。它们由大量层组成，这些层在前端处理图像的小窗口，在后端产生一个或多个分类分数。第一个 CNN 确定是否可以在捕获的图像中检测到人脸。如果第一个网络发现的人脸超过可配置的概率阈值，则每张人脸都被归类为“购物者”并传递给第二个网络。第二个网络使用以下五个类别之一来识别脸上显示的情绪类型：

快乐的

伤心

吃惊

生气的

中性的

如果 CNN 无法确定检测到的面部的情绪（高于可配置的阈值），则它会被简单地标记为“未知”。您可以在图 2中看到叠加在原始图像上的处理结果。

图 2：Shopper Mood Monitor 输出屏幕显示了叠加在原始捕获图像上的 Shopper Mood Inference Pipeline 结果示例。（来源：英特尔）

从图 2 中可以看出，检测图像中的人脸所需时间为 136 毫秒，情感分析耗时 13 毫秒。这种快速的处理时间使得在需要立即响应的情况下实时进行这种分析成为可能——例如通知销售人员协助购物者。

示例应用程序还可用于非实时统计，可选择通过消息队列遥测传输 (MQTT) 协议将生成的情绪发送到数据分析系统以进行累积和离线分析。

为什么这很酷

借助英特尔® OpenVINO ™分发版和大约 600 行 Go 代码，您可以实现十年前需要非常专业的硬件和软件才能实现的面部表情检测。复杂的工作隐藏在深度学习模型中，这些模型已经过面部和情绪检测的预训练。然后，粘合源加载模型并将捕获的帧呈现给模型进行处理和分类。当与功能强大的硬件（例如基于第 6 代英特尔® 酷睿™ 处理器或由英特尔 Movidius™ X VPU 提供支持的英特尔神经计算棒 2）搭配使用时，可以获得令人印象深刻的推理速度，从而实现实时分析。

改编这个例子

面部表情的实时检测具有广泛的适用用例。许多是商业性的，例如了解购物者的情绪，但您也可以应用此解决方案来帮助患有某些类型面部识别障碍的人。据估计，总人口中有 2% 患有发育性面容失认症。发育性面容失认症是指影响人脸识别或面部表情识别的障碍（表情性失认症）。该应用程序可以识别发育性面容失认症患者的面部和面部表情。

此外，考虑将该技术应用于增强虚拟现实。随着越来越多的嵌入式设备开始支持深度学习，可能的增强虚拟现实用例也会增加。例如，眼镜可以集成摄像机和实时面部检测功能，以便在捕获的图像上呈现虚拟叠加层，描述从佩戴眼镜的人身边经过的人推断出的面部表情。

很容易想到其他应用。使用提供的示例代码，您只需要为您的应用程序使用输出分类。

在哪里了解更多

您可以在英特尔®物联网开发套件GitHub 上了解有关此演示的更多信息。

胶水应用程序是用 C++ 和 Go 语言开发的。该发行版包括面向 OpenVINO ™的英特尔®优化人脸检测和情绪检测模型。您可以使用 Ubuntu 16.04 LTS Linux 操作系统、英特尔® OpenVINO ™工具包分发版和 OpenCL ™运行时包轻松试验此应用程序。

您还可以使用 AIoT 开发套件快速启动您的开发，其中包括 Ubuntu、OpenVINO ™、英特尔® Media SDK 和预装英特尔®酷睿™处理器的英特尔® System Studio 2018。开发工具包包括帮助您快速入门和运行的教程。

您还可以使用基于 Intel ® Apollo Lake ™平台的AAEON UP 板。

 

审核编辑 hhy