多平面图像的单视图合成

电子说

1.3w人已加入

描述

Single-View View Synthesis with Multiplane Images

图像

最近在视图合成方面的一系列工作使用深度学习来生成多平面图像——一种以相机为中心的分层 3D 表示——给定两个或多个已知视点的输入图像。我们将此表示应用于单视图视图合成,这是一个更具挑战性但可能具有更广泛应用的问题。我们的方法直接从单个图像输入中学习预测多平面图像,并且我们引入了用于监督的尺度不变视图合成,使我们能够在在线视频上进行训练。我们展示了这种方法适用于几个不同的数据集,它还生成了合理的深度图,并且它学会了在背景层中填充前景对象边缘后面的内容。

ASSET: Autoregressive Semantic Scene Editing with Transformers atHigh Resolutions

图像

我们提出了资产,一种神经架构,用于根据用户对其语义分割图的编辑自动修改输入的高分辨率图像。我们的架构基于具有新颖注意力机制的转换器。我们的关键思想是在高分辨率下稀疏变换器的注意力矩阵,由在较低图像分辨率下提取的密集注意力引导。虽然以前的注意力机制在处理高分辨率图像时计算成本太高,或者在阻碍远程交互的特定图像区域内受到过度限制,但我们新的注意力机制在计算上既高效又有效。我们的稀疏注意力机制能够捕捉远程交互和上下文,从而合成场景中有趣的现象,例如景观到水面上的反射或与景观的其余部分一致的论坛,这些是以前的卷积网络无法可靠生成的和变压器方法。我们提供定性和定量结果,以及用户研究,证明我们方法的有效性。

      我们的代码和数据集可在我们的项目页面上找到:https://github.com/DifanLiu/ASSET

审核编辑 :李倩

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分