3月21日,Stability AI推出了全新的Stable Video 3D模型,此模型能够实现由单幅照片构建多视角3D视频。
SV3D_u是Stable Video 3D的一个版本,仅需单幅图片即可生成运动轨迹视频,无须进行相机调整。扩充版本的SV3D_p加入了轨道视图的特性,使其可以根据预设的相机路径创建3D视频。
与初始的Stable Zero123模型或者开源的Zero123-XL相比,Stable Video 3D具有更高的品质,实现更具丰富视图以及更强泛化能力的效果,能更加真实地展示出输入图片的完整三维形态。
Stability AI解释说,这种显著的提升得益于它的基础模型——Stable Video Diffusion。此外,Stable Video 3D还增加了相机路径调整功能,可以制作包围物体的各种轨道。
Stable Video 3D运用了多视角一致性的原则优化了3D NeRF和网格显示方式,这有助于提升直接从新视角生成的3D网格质量。
为了达到这个目的,Stability AI发明了一种名为“掩码分数蒸馏采样损失”的特殊技术,用以增强3D预测精度。同时,他们还改良了解混光源,降低了因光线造成的干扰,进一步优化了阴影表现。
Stability AI宣布,Stable Video 3D已经可以商业使用,只需支付相关费用成为其Stability AI会员(每月只需20美元)。如果是非商业需求,还可以在Hugging Face平台上免费下载模型权重。
全部0条评论
快来发表一下你的评论吧 !