利用图像中水体的反射光来辅助算法进行深度估计和三维重建

三维重建是近年来计算机视觉研究的前沿方向，特别是基于单张RGB图像对三维场景重建更是引起了广泛的关注。而这篇文章的作者通过对环境细心的观察，提出了从单张图像中恢复三维结构的新方法——利用图像中水体的反射光来辅助算法进行深度估计和三维重建，为我们提供了一个全新的思路。

波光粼粼的水面为艺术家和建筑师带来了无线的想象空间和创作灵感，但在星星点点的反光背后却还隐含着场景结构的视觉线索。对于计算机视觉的研究人员来说，水面的反光为图像提供了另一个观察场景对象的视角，如果加以合适的利用就能为视觉任务提供更多更丰富的信息。

简单来说，一张包含目标水面倒影的图像中包含了形成立体视觉的必要信息，相机可以同时记录下直接从目标传播过来的光线，同时还能记录下目标通过水面的反光，这使得单图像立体视觉重建成为了可能。

但水面的反射光毕竟与直接从空气中传输到相机的情况不同，除了几何方面还需要克服光线衰减、扭曲等方面的问题。水面反射光受到环境的复杂影响和水中介质的散射，甚至在较浅的水域还会受到水底反射的影响。为了探索这一问题，研究人员提出了Shape from Water Reflection的概念，通过单张图像同时捕捉目标及其在水面的反射来及进行三维重建。利用规范的迭代方法来调整目标的辐射损失实现高动态范围，同时利用几何关系对相机进行标定，使得这种方法可以在不依赖于相机参数的情况下结合反射图像进行恢复。此外，为了解决水面波浪的情况，研究通过对水面表面法向量的建模同时恢复水面和目标的三维结构。

下图展示了这种方法的主要流程，首先需要从图像中抽取目标和对应的反射区域，而后对特征进行匹配，并基于这些信息进行水面法向量估计和和反射场景的辐射估计，最后进行立体匹配和深度计算；针对有波纹的水面，还需要对波浪进行一定的矫正和三维波浪形状估计。

Shape from Water Reflection

首先针对平静的水面，研究人员将水面视为平面镜面模型可以利用反射模型来对这一过程进行建模。首先需要将图像中需要重建的目标对象分为直接入射区域和水面反射区域，可以利用水面分界线和淹没来实现，随后研究人员通过构建出场景和反射中对应的点对来及逆行水平面的表面估计，随后通过水体表面来估计水面的法向量。

在得到表面法向量后，就可以基于法向量利用直接入射和反射图像来作为外部标定过的立体视觉对。随后研究人员还需要对图像进行辐射校正，通过分离环境光直接传输和反射光，并考虑到水面的菲涅尔反射效应来进行处理。随后得到的图像就可以用于立体匹配了。

由于在几何标定过程中的误差会引起不正确的辐射恢复。所以可以利用辐射恢复的误差信息迭代地优化几何标定过程，不断进行前文流程图中的A2-A4过程使得恢复的形状和场景收敛。此外通过水面的菲涅尔反射过程还可以对相机的内参进行估计，从而可以实现自标定的场景重建。

最后可以基于立体视觉匹配和三角公式实现稠密深度图的计算。如果利用菲涅尔效应带来的不同有效曝光就可以实现图像的高动态范围，并利用深度值和辐射强度值来构建具有纹理映射的三维网格模型了。

基于菲涅尔效应带来的不同曝光来重建出高动态范围的图像

当然水面不可能一直风平浪静，针对有波浪的情形也需要有效处理。研究人员将水面的波动视为水面法向量的差分。首先针对全局进行水面估计，随后迭代的对细节的法向量进行优化，对几何与辐射进行求解。

通过表面法向量差分的方式来估计水面波纹，可以移除波纹对于成像造成的影响。

结果

下图展示了一系列基于这种方法进行重建的结果，可以看到不仅图像纹理的动态范围有所提升，同时细节也得到了良好的恢复。