Looking for change? Roll the Dice and demand Attention
Looking for change? Roll the Dice and demand Attention
Change detection, i.e. identification per pixel of changes for some classes of interest from a set of bi-temporal co-registered images, is a fundamental task in the field of remote sensing. It remains challenging due to unrelated forms of change that appear at different times in input images.These are changes due to to different environmental conditions or simply changes of objects that are not of interest. Here, we propose a reliable deep learning framework for the task of semantic change detection in very high-resolution aerial images. Our framework consists of a new loss function, new attention modules, new feature extraction building blocks, and a new backbone architecture that is tailored for the task of semantic change detection. Specifically, we define a new form of set similarity, that is based on an iterative evaluation of a variant of the Dice coefficient. We use this similarity metric to define a new loss function as well as a new spatial and channel convolution Attention layer (the FracTAL). The new attention layer, designed specifically for vision tasks, is memory efficient, thus suitable for use in all levels of deep convolutional networks. Based on these, we introduce two new efficient self-contained feature extraction convolution units. We term these units CEECNet and FracTAL ResNet units. We validate the performance of these feature extraction building blocks on the CIFAR10 reference data and compare the results with standard ResNet modules. Further, we introduce a new encoder/decoder scheme, a network macro-topology, that is tailored for the task of change detection. We validate our approach by showing excellent performance and achieving state of the art score (F1 and Intersection over Union - hereafter IoU) on two building change detection datasets, namely, the LEVIRCD (F1: 0.918, IoU: 0.848) and the WHU (F1: 0.938, IoU: 0.882) datasets.
寻找变化？
变化检测，即从一组双时间共同配准图像中识别某些感兴趣类别的变化的每个像素，是遥感领域的一项基本任务。由于在输入图像中的不同时间出现不相关的更改形式，因此仍然具有挑战性。.. 这些是由于不同的环境条件引起的变化，或者仅仅是不感兴趣的对象的变化。在这里，我们为非常高分辨率的航空图像中的语义变化检测任务提供了可靠的深度学习框架。我们的框架包括一个新的损失函数，新的注意力模块，新的特征提取构件和一个针对语义变化检测任务量身定制的新的主干体系结构。具体来说，我们基于对Dice系数变体的迭代评估，定义了一种新的集合相似性形式。我们使用这种相似性度量来定义新的损失函数以及新的空间和通道卷积注意层（FracTAL）。专为视觉任务而设计的新注意力层可提高内存效率，因此适用于所有级别的深度卷积网络。基于这些，我们介绍了两个新的高效的自包含特征提取卷积单元。我们将这些单位称为CEECNet和FracTAL ResNet单位。我们在CIFAR10参考数据上验证这些特征提取构件的性能，并将结果与标准ResNet模块进行比较。此外，我们引入了一种新的编码器/解码器方案，即网络宏拓扑，它专为更改检测任务而设计。我们通过在两个建筑物变化检测数据集，即LEVIRCD（F1：0.918，IoU：0.848）和WHU（F1）上显示出色的性能并达到最先进的分数（F1和Union上的交点-此后为IoU）来验证我们的方法。 ：0.938，IoU：0.882）数据集。我们介绍了两个新的有效的自包含特征提取卷积单元。我们将这些单位称为CEECNet和FracTAL ResNet单位。我们在CIFAR10参考数据上验证这些特征提取构件的性能，并将结果与标准ResNet模块进行比较。此外，我们引入了一种新的编码器/解码器方案，即网络宏拓扑，它专为更改检测任务而设计。我们通过在两个建筑物变化检测数据集，即LEVIRCD（F1：0.918，IoU：0.848）和WHU（F1）上显示出色的性能并达到最先进的分数（F1和Union上的交点-此后为IoU）来验证我们的方法。 ：0.938，IoU：0.882）数据集。我们介绍了两个新的有效的自包含特征提取卷积单元。我们将这些单位称为CEECNet和FracTAL ResNet单位。我们在CIFAR10参考数据上验证这些特征提取构件的性能，并将结果与标准ResNet模块进行比较。此外，我们引入了一种新的编码器/解码器方案，即网络宏拓扑，它专为更改检测任务而设计。我们通过在两个建筑物变化检测数据集，即LEVIRCD（F1：0.918，IoU：0.848）和WHU（F1）上显示出色的性能并达到最先进的分数（F1和Union上的交点-此后为IoU）来验证我们的方法。 ：0.938，IoU：0.882）数据集。我们在CIFAR10参考数据上验证这些特征提取构件的性能，并将结果与标准ResNet模块进行比较。此外，我们引入了一种新的编码器/解码器方案，即网络宏拓扑，它专为更改检测任务而设计。我们通过在两个建筑物变化检测数据集，即LEVIRCD（F1：0.918，IoU：0.848）和WHU（F1）上显示出色的性能并达到最先进的分数（F1和Union上的交点-此后为IoU）来验证我们的方法。 ：0.938，IoU：0.882）数据集。我们在CIFAR10参考数据上验证这些特征提取构件的性能，并将结果与标准ResNet模块进行比较。此外，我们引入了一种新的编码器/解码器方案，即网络宏拓扑，它专为更改检测任务而设计。我们通过在两个建筑物变化检测数据集，即LEVIRCD（F1：0.918，IoU：0.848）和WHU（F1）上显示出色的性能并达到最先进的分数（F1和Union上的交点-此后为IoU）来验证我们的方法。 ：0.938，IoU：0.882）数据集。 （阅读更多）
