《Deep Multiscale Siamese Network With Parallel Convolutional Structure and Self-Attention for Change Detection》笔记

发表于 2022-10-11 更新于 2024-04-03 分类于论文本文字数： 1.4k 阅读时长 ≈ 1 分钟

论文地址：Deep Multiscale Siamese Network With Parallel Convolutional Structure and Self-Attention for Change Detection

摘要

动机

现有的许多变化检测算法在实际应用中仍需要进一步改进，特别是在增加特征提取的有效性和降低模型计算成本方面。

本文提出的方法在可接受的计算成本下具有出色的特征提取和特征集成能力。该网络主要包含三个子网络：深度多尺度特征提取、PCS进行特征集成、基于self attention特征细化。第一个子网络中设计了一个基于卷积块的深度多尺度孪生网络来描述不同时间图像在不同尺度上的特征；第二个子网络提出了一种PCS模型来综合不同时间图像的多尺度特征；第三个子网络构建SA模型，进一步增强图像信息的表示。

贡献

作者从特征提取和特征集成的有效性以及降低计算存储成本的角度出发，设计并提出了一种新颖的CD深度神经网络。

为了描述多尺度图像特征并提高对不同时间图像的特征提取能力，提出了一种基于设计的卷积块的深度多尺度孪生神经网络（SNN）
为了提升特征融合的有效性，提出了一种并行卷积结构（parallel convolutional structure，PCS）来整合不同时间的特征；此外构建了一个自注意力（SA）模型来进一步提高特征表示能力
提出了一种新的CD模型，在保证检测精度的同时，具有比之前更广的应用范围，大量使用3×3和1×1卷积层来减少参数数量和计算成本

网络结构

整个网络结构分为三部分：共享权重的特征提取模块、基于PCS的特征聚合模块、基于SA的特征细化模块。为了获得图像信息的最优表示，设计了深度多尺度共享权重特征提取器，从不同的时间图像中提取特征。PCS的提出是为了实现不同时相图像的有效特征融合，SA模块为了使特征更具有判别性。网络首先生成多尺度多深度的特征，然后从底向上分别输入PCS和SA模块处理，最后经过卷积层输出变化图。

基于深度多尺度SNN的特征提取

设计网络的初衷是保证提取特征的有效性和非冗余性，使模型能够以较低的参数量和存储成本实现图像的最优表示。因此，作者提出了一个具有新卷积块和大量3×3和1×1卷积层的深度多尺度SNN。多尺度提取通过引入自适应平均池化操作来实现。通过引入双卷积层和BN层，我们可以在每一层中挖掘更多的特征，这比单卷积层更适合复杂背景下的特征表示。

PCS模块

时态特征融合是CD框架中非常关键的部分，它实现了不同时态图像在特征层面的关联，从而最大限度地提高了融合特征对变化的区分度。因此，时间特征整合的有效性决定了 CD 的性能。本文中提出了一种并行卷积结构（PCS）来完成多尺度特征的集成和图像信息的表示。首先将双时相特征进行concat处理，然后输入PCS模块；PCS主要是分组卷积构成，将卷积分为c组，并且每组的dilation参数设置不同。