使用 OpenVINO™ 工具包监控机器操作员

根据国家安全委员会 (NSC) 的一项研究，每七秒钟就会发生一次工伤事故。这一惊人的统计数字相当于每年约有 450 万名工人受伤。虽然现场主管可以衡量工人的情绪，但主管无法时刻监控工人以防止事故发生。在此博客中，我们将探讨如何使用英特尔® OpenVINO ™工具包的机器操作员监视器应用程序，根据面部表情的视频输入自动推断机器操作员的注意力和情绪水平。有关机器操作员情绪和注意力水平的信息有助于保护操作员免受严重伤害。

机器操作员监控数据管道

图 1显示了 Machine Operator Monitor 深度学习应用程序的管道。让我们探索这个管道和发生的活动。

图 1：操作员姿势和情绪推理管道图说明了捕获的图像如何通过深度神经网络和 OpenVINO ™工具包移动，以识别机器操作员的注意力和情绪水平。（来源：作者）

该应用程序使用安装在制造站上的摄像机捕获的图像。捕获的图像流经一系列三个深度神经网络（基于卷积神经网络或 CNN）。CNN 是一种流行的深度神经网络，通常用于处理图像。第一个 CNN 识别捕获的帧中是否存在人脸。如果第一个 CNN 没有检测到人脸，那么就没有必要进一步处理图像的姿势或情绪。如果第一个 CNN 检测到具有用户可配置检测阈值的人脸，则该人脸将传递到接下来的两个阶段。接下来 CNN 确定操作员是否在看机器。CNN 通过检测操作员是否面向摄像机来做到这一点。最终的 CNN 检测操作员的面部表情。

图 2显示了深度神经网络这三个阶段的完成过程的示例。

图 2 ：Machine Operator Monitor 屏幕显示了 OpenVINO™工具套件应用程序处理捕获的图像后生成的输出示例。（来源：英特尔）

如图 2 所示，检测面部以及推断情绪和姿势所需的时间约为 140 毫秒。这种速度允许快速响应时间，允许及时警告操作员以最大限度地减少事故和伤害的机会。示例应用程序还说明了消息队列遥测传输 (MQTT) 协议如何将信息传送到工业数据分析系统。

为什么这很酷

机器操作员监控应用程序是使用 Intel ® OpenVINO ™发行版和 700 行 Go 或 500 行 C++ 开发的。此代码主要是胶水代码，其中包含在为机器操作员监控任务预训练的深度神经网络中进行的复杂工作。第一个网络可以检测人脸并检查以确保人脸矩形完全位于捕获的帧内——即，不是部分人脸。捕获的图像然后通过姿势网络传递，检查头部是否相对于机器倾斜 45 度角以内。最后，将人脸图像传入情感网络，识别操作员的情绪。当与功能强大的硬件配对时，例如基于第六代Intel ®的硬件Core™ 处理器或由 Intel Movidius™ X VPU 提供支持的 Intel Neural Compute Stick 2，该应用程序可以提供令人印象深刻的推理速度，从而实现实时分析。

改编这个例子

视线跟踪是一项具有许多应用的重要新技术，但当今的一项重要技术是车辆驾驶员监控。艾伦·阿德勒 (Alan Adler) 撰写的 2018 年卡车运输死亡人数达到 29 年来最高水平的文章显示，虽然机动车事故死亡人数正在下降（去年为 2%），但去年大型卡车事故死亡人数上升至 9% 的 29 年来新高。分心驾驶的增加是导致卡车运输死亡人数上升的一个因素。

使用深度神经网络实时跟踪驾驶员的头部姿势是确保驾驶员注意道路的一种方法。使用信息来监控驾驶员的视线可以帮助识别风险并确保驾驶员的合规性，从而减少分心的驾驶员给我们拥挤的道路带来的风险。

此外，您可以将头部姿势检测与其他技术（例如心率检测、体温测量和呼吸监测器）结合使用来识别睡意。关注眼睛，监测眨眼和眼球运动可用于检测微睡眠——我们进入一种非常短暂的无意识状态，即使我们的眼睛保持睁开并且看起来很专心。

很容易想到头部姿势和表情检测的其他应用。使用提供的示例代码，您只需要为您的应用程序使用输出分类，包括修改适当的头部倾斜度。

M. Tim Jones 是一位资深的嵌入式固件架构师，拥有超过 30 年的架构和开发经验。Tim 是多本书籍和多篇文章的作者，涉及软件和固件开发领域。他的工程背景从地球同步航天器的内核开发到嵌入式系统架构和协议开发。 

审核编辑 黄宇