使用保留特征深度图重采样的新型视图合成

在本文中,我们基于一组以随意方式拍摄的参考图像,提出了一种在新颖视点上合成3D场景图像的新方法。 以这种图像集作为输入,我们的方法首先重建场景的稀疏3D点云,然后将其投影到每个参考图像以获得一组深度点。 之后,利用改进的误差扩散采样方法在每个参考图像中生成一个采样点集,该采样点集包括深度点并很好地保留了图像特征。 因此,可以基于采样点集对图像进行三角剖分。 然后,我们提出了一种基于欧氏距离,颜色相似度和边界分布的距离度量,以将深度信息从深度点传播到其余采样点,因此可以通过在三角形网格中进行插值来生成密集的深度图。 给定所需的视点,选择几个最接近的参考视点,并将它们的彩色深度图投影到新颖的视图。 最后,将多个投影图像合并以填充因碰撞引起的Kong洞,并产生完整的新颖视图。 实验结果表明,对于包含挑战性物体的室外场景,我们的方法可以获得高质量的结果。