微软亚洲研究院发布VASA-1模型,实现图片人物自动言语表达

描述

  4 月 19 日报道,近期微软亚洲研究院推出了名为 VASA-1 的创新模型,针对静态肖像照片和录音音频片段,其能实现图片中角色的自动化配音。

  该模型,尤其擅长展现逼真的面部表情及各类情绪,且嘴唇动作高度拟真。然而,尽管研究员坦承目前仍有不足之处,如无法精准处理头发等纤维质元素,但相较于其他类似模型,VASA-1 的表现已属优异。

  此外,研究员还透露,VASA-1 在离线批量处理模式下,可生成分辨率高达 512*512 的动态短片,帧速率为 45fps;在线直播模式下,帧速率也可达到 40fps,延迟时间仅为 170ms。而完成这一切,只需一台搭载 NVIDIA RTX 4090 显卡的计算机即可。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分