视听结合进行持续的情感预测

电子说

1.3w人已加入

描述

阿斯隆理工学院计算机与软件工程系的研究人员致力于寻找合适的特征,并展示基于头部和眼睛的线索在情绪预测上的有效性。

这个项目研究了基于头部和眼睛的特征与语音的结合,用来进行持续的情感预测。从这些模式中手工自动产生和卷积神经网络学习的特征将用于持续的情感预测。该工作采用的方法包括从视频中收集LLDs(low level descriptors),然后根据提出的特征和特征组合输入创建和评估BLSTM-RNN模型。作为特征工程过程的一部分,一些LLDs可以从基于头部姿态、眼睛或视觉特征中获取,而另一些LLD则根据原始数据测量的差异计算。

最近人们对人类情感的机器识别产生了浓厚的兴趣。该方法采用开源软件对通信环境的视听效果进行实时预测。结果表明,与单独使用语音相比,语音和眼神的结合提高了3.5%的唤醒预测和19.5%的效价预测准确率。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分