人体存在检测(HPD)是视觉传感的一种应用,是了解一个人何时在场,确定其状态和环境的艺术。如果有效实施,与传统方法相比,它有可能获得许多好处,特别是在安全性和降低功耗方面。
这项技术以各种形式存在了一段时间。现在,精度已经达到足以用于笔记本电脑、PC 或汽车应用(如驾驶员警觉性检测)的程度。可以利用这项技术的其他领域包括智能家居和工业安全。
具有计算机视觉算法的传统相机通常用于此应用,但这样的设置可能矫枉过正,提供的信息远远超过必要的信息,并且为边缘物联网应用消耗太多功率。集成传感器模块也可以显著降低成本,因为带宽大大降低,允许使用低成本MCU,刚好足以处理一些简单的AI算法。然后可以使用微小的ML代码处理部署。
该模块确定人或事物的存在位置以及它们相对于笔记本电脑的位置。它应该提供足够的信息,以便直接在设备级别做出实时决策。
模块中的 HPD
物联网的一个可用的HPD解决方案来自Synaptics,以Emza Visual Sense的形式出现。优化的机器学习 (ML) 计算机视觉算法在超低功耗边缘 AI SoC 上运行。典型应用需要的内存不到 1 MB。
这些算法处理来自低功耗CMOS传感器的数据,通常将功耗保持在5至15 mW的范围内。这可以根据实际需要进一步减少。这些功率水平正在接近现代笔记本电脑的电源噪声本底。所有三个元素——Emza Visual Sense算法、低功耗边缘AI处理器和CMOS传感器——都可以驻留在同一个模块中。
对于笔记本电脑,此模块将在笔记本电脑打开时立即打开,只要笔记本电脑正在运行,该模块就会保持打开状态。当用户离开时,会检测到不存在,将笔记本电脑置于锁定睡眠或挂起模式,直到用户返回。
在开机和关机之间,有更多有趣的选项可以提供安全性和延长电池寿命。例如,当附近的人正在查看笔记本电脑屏幕时,用户会收到安全威胁警报(称为“旁观者检测”),并且可以降低显示可见性,直到威胁过去。
为了节省功耗,Synaptics的HPD可以在用户移开视线时调暗显示屏(称为“移开检测”)。因为 ML 算法可以使用更准确的用户习惯模型进行更新。随着时间的推移,HPD 功能在速度、准确性、响应能力和实用性方面不断改进。
可以使用飞行时间(ToF)传感器设计类似的配置,而不是传感器模块。但是这样的设备不能执行面部识别或确定人与附近宠物之间的区别。
实际上,CMOS传感器输出不会持续记录。相反,处理器每秒拍摄两个快照或帧。该信息被存储,然后与其他帧进行比较。
这些信息足以感知环境并确定人类的存在和运动,以及眼动追踪,这反过来可以触发另一种算法来处理面部识别。这是计算密集型的。
鉴于所检测信息的性质,实施必须在边缘执行必要的处理,以确保不会将个人身份信息 (PII) 发送到上游云。
复杂的软件设计
虽然处理此应用程序的硬件随时可用,但算法开发方面并非易事。谷歌的AutoML向前迈出了一步,简化了流程。AutoML 允许开发人员以有效的方式针对特定需求训练其 AI 模型。
Synaptics Emza Visual Sense HPD技术已经在戴尔和松下的笔记本电脑中实施。解决方案也正在围绕该公司的KatanaAI SoC平台构建,使HPD的优势能够为家用电器和消费电子产品带来好处。例如,电视可以知道谁在观看并在不被询问的情况下提供适当的内容,甚至可以锁定未成年人或其他未经授权的用户。
当Synaptics设计团队首次开始这个项目时,一切都是为了满足边缘AI设计非常严格的超低功耗需求。该模型将所有必要的钩子构建到芯片和软件中,包括为图像处理构建IP,从而避免了启动主CPU的需要。
然后,算法需要缩小,通过减少所涉及的层数使其尽可能高效。由于传感器采用相对较低的分辨率,因此必须进行适当的培训,包括获取必要的数据集。
随着新数据集的出现,该技术不断发展非常重要。
审核编辑:郭婷
全部0条评论
快来发表一下你的评论吧 !