基于帧间信息提取的单幅红外图像深度估计

针对红外图像存在纹理信息不丰富和边缘信息较少导致深度估计精度难以提高的问题, 本文设计一种深层神经网络估计红外图像的深度, 该网络融合了一个二维(2D)残差神经网络和一个三维(3D)卷积神经网络。传统单幅红外图像的深度估计方法遗漏了帧间信息, 容易出现物体轮廓模糊甚至丢失的情况。在2D和3D网络输入端分别加入稠密光流和前后帧图像。进一步将3D卷积网络提取的视频特征与2D残差网络的特征图做权值连接。不同于传统神经网络的全连接层, 全卷积层突破了输入图片的尺寸限制。实验结果表明, 本文提出的红外图像深度估计方法具有较高的精度, 估计出的物体轮廓更清晰完整。