基于双流卷积神经网络的RGB D图像联合检测

当前卷积神经网络结构未能充分考虑RGB图像和深度图像的独立性和相关性, 针对其联合检测效率不高的问题, 提出了一种新的双流卷积网络。将RGB图像和深度图像分别输入到两个卷积网络中, 两个卷积网络结构相同且权值共享, 经过数次卷积提取各自独立的特征后, 在卷积层根据最优权值对两个卷积网络进行融合;继续使用卷积核提取融合后的特征, 最后通过全连接层得到输出。相比于以往卷积网络对RGB-D图像采用的早期融合和后期融合方法, 在检测时间相近的情况下, 双流卷积网络检测的准确率和成功率分别提高了4.1%和3.5%。