人体图像合成制作可信和逼真的人类图像

电子说

1.3w人已加入

描述

技术和算法的开发和精进让AI换脸、AI克隆都成了可实现的事情。近日,上海科技大学团队的一项新研究,再一扩展了这一领域,其开发建立了人体图像合成——人体图像合成的目的是制作可信和逼真的人类图像,包括运动模拟、外观传递和新视图合成等。

这意味着,模型一旦经过训练,就可以用来处理所有这些任务。只要一张照片、一段视频,就能让特朗普跟着明星偶像“唱、跳、Rap”。

研究团队先是采集了30个研究对象的数据,他们的体型、身高各不相同。每个研究对象穿着不同的衣服,完成一套指定动作和一套随机动作。基于此,建立了一个具有多种样式、不同人物穿不同衣服的数据集,称为Impersonator(iPER)数据集。

随后,研究人员使用三维人体网格恢复模块,以分离姿势和形状。值得一提的是,现有任务特定方法主要利用二维关键点、对人体结构进行估计。但是,它们只表示位置信息没有能力描述人的个性化形状和肢体旋转模型。

而三维人体网格不仅可以对关节的位置和旋转进行建模,还可以对关节的位置和旋转进行建模描述个性化的体型。

为了保存源信息,如纹理、样式、颜色和人脸标识,研究人员还提出了一种注意型液化GAN。比如,通过降噪卷积自动编码器提取特朗普的身体特征,然后经过GAN不断地训练学习、微调、监督、转化,将低分辨率的模型转变成高分辨率的模型,使输出来的视频图像清晰。

人体图像合成一经开发,将在角色动画、角色再现、虚拟服装试穿、电影或游戏制作等方面展示其巨大的潜在应用前景。当然,技术的使用永远需要合理的规制,“以假乱真”一旦泛滥,将对市场造成难以恢复的危害。

责任编辑:PSY

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分