Deep Multimodal Subspace Clustering Networks.pdf

博客锁对应的文档,需要的可以下载。 Abstract 提出了一种基于卷积神经网络的无监督多模态子空间聚类算法。该框架主要由三部分组成:多模态编码器、自表达层和多模态解码器。编码器以多模态数据为输入,将其融合到一个潜在的空间表示中。自表达层负责增强自表达性并获得与数据点对应的亲和矩阵。解码器重建原始输入数据。该网络利用译码器的重构与原始输入之间的距离进行训练。我们研究了早期、晚期和中期的融合技术,并提出了三种不同的用于空间融合的编码器。对于不同的空间融合方法,自表达层和多模态解码器本质上是相同的。除了各种空间融合方法外,还提出了一种基于亲和融合的网络,该网络中不同模式对应的自表达层是相同的。在三个数据集上的大量实验表明,所提出的方法明显优于目前最先进的多模态子空间聚类方法。