康奈尔大学的研究人员发明了一种耳机系统,可以跟踪佩戴者的面部表情,即使他们戴着口罩。C-Face可以监控脸颊轮廓,并将佩戴者的表情转换为表情符号。例如,这可以让人们在群组通话无需打开网络摄像头就能表达自己的情绪。
康奈尔大学科幻实验室主任、一篇关于C-Face的论文的资深作者Cheng Zhang在一份声明中说:“这种设备比任何现有的耳挂式可穿戴技术更简单,不那么突兀,功能更强大。在以往旨在识别面部表情的可穿戴技术中,大多数解决方案都需要在面部安装传感器,即使使用了如此多的仪器,也只能识别有限的面部表情。”
耳机使用了两个RGB摄像头,分别位于每个耳朵下方。当佩戴者面部肌肉运动时,他们可以记录面颊轮廓的变化。
一旦使用计算机视觉和深度学习模型重建图像,卷积神经网络就会分析2D图像。该技术可以将这些信息转换为 42 个面部特征点,代表佩戴者的嘴巴、眼睛和眉毛的位置和形状。
C-Face可以将这些表情转换成八种表情符号,包括中性或愤怒的表情。该系统还可以使用面部提示来控制音乐应用程序的播放选项。其他可能的用途还包括,在游戏中使用化身来表达人的真实情感。教师也可以追踪学生在远程课堂上的参与度。
由于COVID-19的影响,研究人员只能对9名参与者进行C-Face测试。不过,表情识别的准确率超过了88%,面部表情的识别准确率也超过了85%。研究人员发现耳机的电池容量限制了系统。他们计划开发低强度的传感技术。
原文标题:戴着口罩也能追踪面部表情吗?这款耳机给你答案(视频)
文章出处:【微信公众号:IEEE电气电子工程师学会】欢迎添加关注!文章转载请注明出处。
责任编辑:haq
全部0条评论
快来发表一下你的评论吧 !