资料下载
×
基于聚类网络的文本-视频特征学习综述
消耗积分:0 |
格式:pdf |
大小:1.50 MB |
2021-05-18
分享资料个
综合理解视频内容和文本语义在很多领域都有着广泛的硏究。早期的研究主要是将文本-视频映射到一个公共向量空间，然而这种方法所面临的一个问题是大规模文本-视频数据集不足。由于视频数据存在较大的信息冗余，直接通过3D网绐提取整个视频特征会使网络参数较多且实时性较差，不利于执行视频任务。为了解决上述问题，文中通过良好的聚类网络聚合视频局部特征，并可以同时利用图像和视频数据训练网络模型，有效地解决了视频模态缺失问题，冋时对比了人脸模态对召任务的影响。在聚类网络中加入了注意力机制，使得网络更加关注与文本语义强相关的模态，从而提高了文本-视频的相似度值，更有利于提高模型的准确率。实验数据表明，基于聚类网络的文本-视频特征学习可以很好地将文本-视频映射到一个公向量空间，使具有相近语乂的文本和视频距离较近，而不相近的文本和视频距离较远。在MPI和 MSR-VTT数据集上，基于本视频召回任务来测评模型的性能，相比其他模型，所提模型在两个数据集上进行精度均有提升。实验数据表明，基于聚网络的文本-特征学习可以很好地将文本-视频映射到一个公共向量空间，从而用于文本-视频召回任务。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
