ChangeFormer：一种基于 Transformer 的孪生网络用于变化检测

一种基于 Transformer 的孪生网络用于变化检测

Wele Gedara Chaminda Bandara 和 Vishal M. Patel

在 IGARSS-22，马来西亚吉隆坡发表。

有用链接：

• 论文（已发表）：https://ieeexplore.ieee.org/document/9883686
• 论文（ArXiv）：https://arxiv.org/abs/2201.01293
• 演示视频（YouTube）：https://www.youtube.com/watch?v=SkiNoTrSmQM

我的其他变化检测仓库：

• 基于去噪扩散概率模型的变化检测：DDPM-CD
• 半监督变化检测：SemiCD
• 无监督变化检测：Metric-CD

网络架构

LEVIR-CD 和 DSIFN-CD 上的定量与定性结果

使用方法

需求

Python 3.8.0
pytorch 1.10.1
torchvision 0.11.2
einops  0.3.2

• 请参阅 requirements.txt 获取所有其他依赖项。

设置 conda 环境：

使用以下命令创建名为 ChangeFormer 的虚拟 conda 环境：

conda create --name ChangeFormer --file requirements.txt
conda activate ChangeFormer

安装

克隆此仓库：

git clone https://github.com/wgcban/ChangeFormer.git
cd ChangeFormer

LEVIR 数据集快速入门

我们在文件夹 samples_LEVIR 中提供了一些来自 LEVIR-CD 数据集的样本，方便快速上手。

首先，您可以下载我们训练好的 ChangeFormerV6 模型——通过 Github-LEVIR-Pretrained。

将其放置在 checkpoints/ChangeFormer_LEVIR/ 目录下。

运行演示以开始使用：

python demo_LEVIR.py

您可以在 samples/predict_LEVIR 中找到预测结果。

DSIFN 数据集快速入门

我们在文件夹 samples_DSIFN 中提供了一些来自 DSIFN-CD 数据集的样本，方便快速上手。

下载我们训练好的 ChangeFormerV6 模型——通过 Github。下载完成后，您可以将其放入 checkpoints/ChangeFormer_DSIFN/ 目录中。

运行演示以开始使用：

python demo_DSIFN.py

您可以在 samples/predict_DSIFN 中找到预测结果。

在 LEVIR-CD 上训练

当我们首次训练 ChangeFormer 时，为了加快收敛速度，我们用在 RGB 分割任务（ADE 160k 数据集）上预训练的模型初始化了网络的部分参数。

您可以下载预训练模型 Github-LEVIR-Pretrained。

wget https://www.dropbox.com/s/undtrlxiz7bkag5/pretrained_changeformer.pt

然后，通过更新 run_ChangeFormer_LEVIR.sh 中的 path 参数来指定预训练模型的路径。 此处： https://github.com/wgcban/ChangeFormer/blob/a3eca2b1ec5d0d2628ea2e0b6beae85630ba79d4/scripts/run_ChangeFormer_LEVIR.sh#L28

您可以在 scripts 文件夹中找到训练脚本 run_ChangeFormer_LEVIR.sh。您可以通过在命令行环境中执行 sh scripts/run_ChangeFormer_LEVIR.sh 来运行该脚本。

详细的 run_ChangeFormer_LEVIR.sh 脚本如下所示：

#!/usr/bin/env bash

#GPU
gpus=0

#设置路径
checkpoint_root=/media/lidan/ssd2/ChangeFormer/checkpoints
vis_root=/media/lidan/ssd2/ChangeFormer/vis
data_name=LEVIR


img_size=256    
batch_size=16   
lr=0.0001         
max_epochs=200
embed_dim=256

net_G=ChangeFormerV6        #ChangeFormerV6 是最终版本

lr_policy=linear
optimizer=adamw                 #选项：sgd（设置 lr 为 0.01）、adam、adamw
loss=ce                         #选项：ce、fl（Focal Loss）、miou
multi_scale_train=True
multi_scale_infer=False
shuffle_AB=False

#从预训练权重初始化
pretrain=/media/lidan/ssd2/ChangeFormer/pretrained_segformer/segformer.b2.512x512.ade.160k.pth

#训练和验证划分
split=train         #训练
split_val=test      #测试、验证
project_name=CD_${net_G}_${data_name}_b${batch_size}_lr${lr}_${optimizer}_${split}_${split_val}_${max_epochs}_${lr_policy}_${loss}_multi_train_${multi_scale_train}_multi_infer_${multi_scale_infer}_shuffle_AB_${shuffle_AB}_embed_dim_${embed_dim}

CUDA_VISIBLE_DEVICES=1 python main_cd.py --img_size ${img_size} --loss ${loss} --checkpoint_root ${checkpoint_root} --vis_root ${vis_root} --lr_policy ${lr_policy} --optimizer ${optimizer} --pretrain ${pretrain} --split ${split} --split_val ${split_val} --net_G ${net_G} --multi_scale_train ${multi_scale_train} --multi_scale_infer ${multi_scale_infer} --gpu_ids ${gpus} --max_epochs ${max_epochs} --project_name ${project_name} --batch_size ${batch_size} --shuffle_AB ${shuffle_AB} --data_name ${data_name}  --lr ${lr} --embed_dim ${embed_dim}

在 DSIFN-CD 上训练

遵循与 LEVIR-CD 类似的流程。使用 scripts 文件夹中的 run_ChangeFormer_DSIFN.sh 来在 DSIFN-CD 上进行训练。

在 LEVIR 上评估

您可以在 scripts 文件夹中找到评估脚本 eval_ChangeFormer_LEVIR.sh。您可以通过在命令行环境中执行 sh scripts/eval_ChangeFormer_LEVIR.sh 来运行该脚本。

详细的 eval_ChangeFormer_LEVIR.sh 脚本如下所示：

#!/usr/bin/env bash

gpus=0

data_name=LEVIR
net_G=ChangeFormerV6 #这是最佳版本
split=test
vis_root=/media/lidan/ssd2/ChangeFormer/vis
project_name=CD_ChangeFormerV6_LEVIR_b16_lr0.0001_adamw_train_test_200_linear_ce_multi_train_True_multi_infer_False_shuffle_AB_False_embed_dim_256
checkpoints_root=/media/lidan/ssd2/ChangeFormer/checkpoints
checkpoint_name=best_ckpt.pt
img_size=256
embed_dim=256 #请确保更改嵌入维度（最佳且默认值为 256）

CUDA_VISIBLE_DEVICES=0 python eval_cd.py --split ${split} --net_G ${net_G} --embed_dim ${embed_dim} --img_size ${img_size} --vis_root ${vis_root} --checkpoints_root ${checkpoints_root} --checkpoint_name ${checkpoint_name} --gpu_ids ${gpus} --project_name ${project_name} --data_name ${data_name}

在 DSIFN 上进行评估

请遵循与 LEVIR-CD 相同的评估流程。您可以在 scripts 文件夹中找到评估脚本 eval_ChangeFormer_DSFIN.sh。在命令行环境中，可以通过运行 sh scripts/eval_ChangeFormer_DSIFN.sh 来执行该脚本。

数据集准备

数据结构

具有像素级二值标签的变化检测数据集；
├─A
├─B
├─label
└─list

A：t1 阶段的图像；

B：t2 阶段的图像；

label：标签图；

list：包含 train.txt、val.txt 和 test.txt，每个文件记录变化检测数据集中图像的名称（XXX.png）。

用于训练/验证/测试的处理后数据集链接

您可以通过以下 Dropbox 链接下载处理后的 LEVIR-CD 和 DSIFN-CD 数据集：

• LEVIR-CD-256：点击此处下载
• DSIFN-CD-256：点击此处下载

由于文件较大，建议使用命令行工具下载，例如在 Linux 系统中运行以下命令：

下载 LEVIR-CD 数据集：

wget https://www.dropbox.com/s/18fb5jo0npu5evm/LEVIR-CD256.zip

下载 DSIFN-CD 数据集：

wget https://www.dropbox.com/s/18fb5jo0npu5evm/LEVIR-CD256.zip

供参考，我还附上了原始 LEVIR-CD 和 DSIFN-CD 的链接：LEVIR-CD 和 DSIFN-CD。

其他有用提示

ChangeFormer 用于多类变化检测

如果您希望将 ChangeFormer 用于多类变化检测，需要对现有代码库进行一些修改，因为当前代码是为二分类变化检测设计的。相关讨论已在 Issues 中展开。所需修改如下（https://github.com/wgcban/ChangeFormer/issues/93#issuecomment-1918609871）：

1. run_ChangeFormer_cd.sh：将 n_class 设置为 8，并将其作为超参数传递给 python main.py。
2. models/networks.py：修改网络定义为 net = ChangeFormerV6(embed_dim=args.embed_dim, output_nc=args.n_class)。
3. models/basic_model.py：注释掉 pred_vis = pred * 255，即修改可视化处理部分。
4. models/trainer.py：修改混淆矩阵计算模块，使其支持多类别：ConfuseMatrixMeter(n_class=self.n_class)。

许可协议

代码仅用于非商业和科研目的。如需商业用途，请联系作者。

引用

如果您在研究中使用此代码，请引用我们的论文：

@INPROCEEDINGS{9883686,
  author={Bandara, Wele Gedara Chaminda and Patel, Vishal M.},
  booktitle={IGARSS 2022 - 2022 IEEE International Geoscience and Remote Sensing Symposium}, 
  title={基于 Transformer 的双分支网络用于变化检测}, 
  year={2022},
  volume={},
  number={},
  pages={207-210},
  doi={10.1109/IGARSS46834.2022.9883686}}

免责声明

感谢以下仓库的工作：

• https://github.com/justchenhao/BIT_CD（我们的 ChangeFormer 是基于该仓库提供的代码实现的）

ChangeFormer 快速上手指南

ChangeFormer 是一个基于 Transformer 的孪生网络，专为遥感图像变化检测任务设计。本指南将帮助中国开发者快速完成环境配置、安装及基础推理演示。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.8.0
• 深度学习框架:
  • PyTorch: 1.10.1
  • Torchvision: 0.11.2
• 其他依赖: einops (0.3.2) 等（详见 requirements.txt）
• 硬件: 建议配备 NVIDIA GPU 以加速推理和训练

提示：国内用户建议使用清华源或阿里源加速 pip 和 conda 包的下载。

安装步骤

1. 创建 Conda 虚拟环境

使用项目提供的 requirements.txt 创建名为 ChangeFormer 的虚拟环境：

conda create --name ChangeFormer --file requirements.txt
conda activate ChangeFormer

若自动安装失败，可手动指定国内源安装核心依赖：

conda install pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch
pip install einops==0.3.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 克隆代码仓库

将项目代码克隆到本地：

git clone https://github.com/wgcban/ChangeFormer.git
cd ChangeFormer

基本使用

本项目提供了基于 LEVIR-CD 和 DSIFN-CD 数据集的快速演示脚本。以下以 LEVIR-CD 为例，展示如何加载预训练模型并进行推理。

1. 下载预训练模型

下载针对 LEVIR-CD 数据集预训练的 ChangeFormerV6 模型，并将其放置在指定目录：

# 创建目录
mkdir -p checkpoints/ChangeFormer_LEVIR/

# 下载模型 (示例链接，若下载慢可手动下载后放入目录)
wget https://github.com/wgcban/ChangeFormer/releases/download/v0.1.0/CD_ChangeFormerV6_LEVIR_b16_lr0.0001_adamw_train_test_200_linear_ce_multi_train_True_multi_infer_False_shuffle_AB_False_embed_dim_256.zip

# 解压并将模型文件 (.pt) 移动至 checkpoints/ChangeFormer_LEVIR/ 目录
unzip CD_ChangeFormerV6_LEVIR_b16_lr0.0001_adamw_train_test_200_linear_ce_multi_train_True_multi_infer_False_shuffle_AB_False_embed_dim_256.zip
# 请确保最终的 .pt 文件位于 checkpoints/ChangeFormer_LEVIR/ 下

2. 运行演示脚本

项目文件夹 samples_LEVIR 中已包含少量测试样本。直接运行以下命令即可生成预测结果：

python demo_LEVIR.py

3. 查看结果

推理完成后，生成的变化检测掩码图将保存在以下路径：

• 结果目录: samples/predict_LEVIR

---

注：如需使用 DSIFN-CD 数据集进行演示，请参考上述步骤，将模型下载至 checkpoints/ChangeFormer_DSIFN/ 并运行 python demo_DSIFN.py，结果将输出至 samples/predict_DSIFN。