Stability AI推出Stable Video 3D模型,可制作多视角3D视频

描述

  3月21日,Stability AI推出了全新的Stable Video 3D模型,此模型能够实现由单幅照片构建多视角3D视频。

  SV3D_u是Stable Video 3D的一个版本,仅需单幅图片即可生成运动轨迹视频,无须进行相机调整。扩充版本的SV3D_p加入了轨道视图的特性,使其可以根据预设的相机路径创建3D视频。

  与初始的Stable Zero123模型或者开源的Zero123-XL相比,Stable Video 3D具有更高的品质,实现更具丰富视图以及更强泛化能力的效果,能更加真实地展示出输入图片的完整三维形态。

  Stability AI解释说,这种显著的提升得益于它的基础模型——Stable Video Diffusion。此外,Stable Video 3D还增加了相机路径调整功能,可以制作包围物体的各种轨道。

  Stable Video 3D运用了多视角一致性的原则优化了3D NeRF和网格显示方式,这有助于提升直接从新视角生成的3D网格质量。

  为了达到这个目的,Stability AI发明了一种名为“掩码分数蒸馏采样损失”的特殊技术,用以增强3D预测精度。同时,他们还改良了解混光源,降低了因光线造成的干扰,进一步优化了阴影表现。

  Stability AI宣布,Stable Video 3D已经可以商业使用,只需支付相关费用成为其Stability AI会员(每月只需20美元)。如果是非商业需求,还可以在Hugging Face平台上免费下载模型权重。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分