基于人工智能的变化检测：最新进展与挑战

1. 引言

基于遥感（RS）数据的变化检测是探测地球表面变化的重要方法，在城市规划、环境监测、农业调查、灾害评估和地图更新等领域有着广泛的应用。近年来，融合人工智能（AI）技术已成为开发新型变化检测方法的研究热点。尽管有研究者声称基于AI的变化检测方法优于传统方法，但AI究竟如何以及在多大程度上提升变化检测性能仍不甚明了。本综述聚焦于AI在变化检测领域的最新方法、应用及面临的挑战。具体而言，首先介绍基于AI的变化检测实现流程；随后，阐述用于变化检测的不同传感器数据，包括光学遥感数据、合成孔径雷达（SAR）数据、街景图像以及多源异构数据，并列出现有的公开数据集；系统性地回顾并分析基于AI的变化检测方法的通用框架，进一步探讨无监督方案在其中的应用；接着，描述AI在变化检测中常用的网络结构；从实践角度出发，依据适用性将基于AI的变化检测方法的应用领域进行分类；最后，讨论并梳理AI在变化检测中的主要挑战与未来展望，包括（a）异构大数据处理、（b）无监督AI以及（c）AI的可靠性问题。本综述将有助于研究人员更好地理解该研究领域。

2. 实现流程

图2展示了基于AI的变化检测的一般实现流程，然而AI模型的具体结构多种多样，需根据不同的应用场景和训练数据进行合理设计。值得一提的是，现有的成熟框架如TensorFlow、Keras、PyTorch和Caffe等，能够帮助研究人员更便捷地完成AI模型的设计、训练与部署，其官方文档也提供了详尽的说明。

2.1 基于AI方法的可用代码

2.2 传统方法可用代码

3. 开放数据集

目前，存在一些可免费获取的变化检测数据集，这些数据集可用作未来研究中人工智能训练和精度评估的基准数据集。详细信息见表3。

可以看出，可用于变化检测任务的公开数据集数量较少，且其中部分数据集规模较小。目前，仍缺乏可用于人工智能训练的大规模SAR数据集。大多数基于人工智能的变化检测方法都依赖于几组包含变化类型较为有限的SAR数据集，例如伯尔尼数据集、渥太华数据集、黄河数据集和墨西哥数据集，这些数据集难以满足复杂地表覆盖及多种变化类型的区域变化检测需求。此外，这些数据集的标注信息也并非公开可用。在计算机视觉（CV）领域，街景数据集通常被用于基于人工智能的变化检测方法研究。在CV中，基于图像或视频的变化检测同样是一个热门研究方向，其基本思路与基于遥感（RS）数据的变化检测一致。因此，除了街景图像数据集外，CV领域中的若干视频数据集也可用于基于人工智能的变化检测方法研究，如CDNet 2012和CDNet 2014。

4. 应用

基于人工智能的变化检测技术的发展极大地促进了众多应用的开展，并提升了其自动化与智能化水平。大多数基于人工智能的变化检测方法生成的是二值分类图，而相关研究往往仅关注算法本身，缺乏明确的应用场景。因此，可以认为这类方法普遍适用于土地利用/土地覆被变化检测。在本节中，我们将重点介绍与具体应用相关的技术，并将其大致分为四类：

• 城市环境：城市扩张监测、公共空间管理以及建筑物变化检测；
• 资源与环境：人类活动引起的环境变化、水文环境变化、海冰、地表水体及森林监测；
• 自然灾害：滑坡制图与灾损评估；
• 天文学：行星表面研究。

我们对不同应用类别下文献中各类变化检测技术进行了综述，并将与这些应用相关的研究工作及数据类型列于表4中。

5. 软件程序

目前有大量具备变化检测工具的软件，我们对其进行了简要总结，详见表5。

6. 变化检测综述论文

以下论文有助于研究人员更好地理解遥感变化检测这一领域，详见表6。

7. 参考文献

[1] 高光谱变化检测数据集。在线获取：https://citius.usc.es/investigacion/datasets/hyperspectral-change-detection-dataset（访问日期：2020年5月4日）。

[2] Wang, Q.; Yuan, Z.; Du, Q.; Li, X. GETNET：一种用于高光谱图像变化检测的通用端到端二维卷积神经网络框架。IEEE地球科学与遥感汇刊，2018年，57卷，第3–13页。[Google 学术] [CrossRef]

[3] Daudt, R.C.; Le Saux, B.; Boulch, A.; Gousseau, Y. 大规模语义变化检测中的多任务学习。计算机视觉与图像理解，2019年，187卷，102783页。[Google 学术] [CrossRef]

[4] Ji, S.; Wei, S.; Lu, M. 基于开放航空与卫星影像数据集的多源建筑物提取全卷积网络。IEEE地球科学与遥感汇刊，2018年，57卷，第574–586页。[Google 学术] [CrossRef]

[5] Benedek, C.; Sziranyi, T. 基于多层条件混合马尔可夫模型的光学航空影像变化检测。IEEE地球科学与遥感汇刊，2009年，47卷，第3416–3430页。[Google 学术] [CrossRef]

[6] Benedek, C.; Sziranyi, T. 一种用于大时间跨度航空照片变化检测的混合马尔可夫模型。载于2008年第19届国际模式识别会议论文集，美国佛罗里达州坦帕市，2008年12月8–11日；第1–4页。[Google 学术]

[7] Daudt, R.C.; Le Saux, B.; Boulch, A.; Gousseau, Y. 利用卷积神经网络进行多光谱地球观测的城市变化检测。载于2018年IEEE IGARSS国际地球科学与遥感研讨会论文集，西班牙瓦伦西亚，2018年7月22–27日；第2115–2118页。[Google 学术]

[8] Zhang, M.; Shi, W. 一种基于特征差分卷积神经网络的变化检测方法。IEEE地球科学与遥感汇刊，2020年，第1–15页。[Google 学术] [CrossRef]

[9] Wu, C.; Zhang, L.; Zhang, L. 用于多时相超高分辨率遥感影像的场景变化检测框架。信号处理，2016年，124卷，第184–197页。[Google 学术] [CrossRef]

[10] Fujita, A.; Sakurada, K.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Nakamura, R. 通过卷积神经网络从航空影像中检测损毁情况。载于2017年第十五届IAPR机器视觉应用国际会议论文集，日本名古屋大学，2017年5月8–12日；第5–8页。[Google 学术]

[11] Gupta, R.; Goodman, B.; Patel, N.; Hosfelt, R.; Sajeev, S.; Heim, E.; Doshi, J.; Lucas, K.; Choset, H.; Gaston, M. 创建xBD：一个用于评估卫星影像中建筑物损毁情况的数据集。载于2019年IEEE计算机视觉与模式识别研讨会论文集，美国加利福尼亚州长滩市，2019年6月16–20日；第10–17页。[Google 学术]

[12] Bourdis, N.; Marraud, D.; Sahbi, H. 用于航空影像变化检测的约束光流。载于2011年IEEE国际地球科学与遥感研讨会论文集，加拿大不列颠哥伦比亚省温哥华，2011年7月24–29日；页码4176–4179。 [Google 学术] [CrossRef]

[13] Lebedev, M.A.; Vizilter, Y.V.; Vygolov, O.V.; Knyaz, V.A.; Rubis, A.Y. 利用条件对抗网络进行遥感影像变化检测。ISPRS 国际摄影测量、遥感与空间信息科学档案，2018年，565–571页。 [Google 学术] [CrossRef]

[14] Chen, H.; Shi, Z. 一种基于时空注意力机制的方法及新的遥感影像变化检测数据集。遥感，12(10)，1662页。 [Google 学术] [CrossRef]

[15] Alcantarilla, P.F.; Stent, S.; Ros, G.; Arroyo, R.; Gherardi, R. 利用反卷积网络进行街景变化检测。自主机器人，2018年，42卷，1301–1322页。 [Google 学术] [CrossRef]

[16] Sakurada, K.; Okatani, T. 利用CNN特征和超像素分割从街景图像对中检测变化。载于英国机器视觉大会（BMVC）论文集，英国斯旺西，2015年9月7–10日；页码61.1–61.12。 [Google 学术]

[17] Sakurada, K.; Okatani, T.; Deguchi, K. 从车载相机拍摄的多视角图像中检测场景三维结构的变化。载于IEEE计算机视觉与模式识别会议论文集，美国俄勒冈州波特兰，2013年6月23–28日；页码137–144。 [Google 学术]

[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection.net：一个新的变化检测基准数据集。载于2012年IEEE计算机学会计算机视觉与模式识别研讨会论文集，美国罗德岛州普罗维登斯，2012年6月16–21日；页码1–8。 [Google 学术]

[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014：一个扩展的变化检测基准数据集。载于2014年IEEE计算机视觉与模式识别研讨会论文集，美国俄亥俄州哥伦布，2014年6月23–28日；页码393–400。 [Google 学术]

[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. 一种用于变化检测基准测试的新视频数据集。IEEE 图像处理汇刊，2014年，23卷，4663–4679页。 [Google 学术] [CrossRef]

[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). 基于自动核典型相关分析的多时相跨传感器影像光谱配准；ISPRS 摄影测量与遥感杂志，第107卷，2015年，50–63页。 [CrossRef]

[22] L. T. Luppino、F. M. Bianchi、G. Moser 和 S. N. Anfinsen. 用于异质性变化检测的无监督图像回归。IEEE 地球科学与遥感汇刊。2019年，57卷，第12期，9960–9975页。 [CrossRef]

[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding 和 X. Huang，《SemiCDNet：一种用于高分辨率遥感影像变化检测的半监督卷积神经网络》。IEEE地球科学与遥感汇刊。2020年。 [CrossRef]

[24] 杨坤平等。用于语义变化检测的非对称暹罗网络。arXiv预印本 arXiv:2010.05687 (2020)。 [CrossRef]

[25] 张超、岳鹏、塔佩特、蒋立、尚冠博、黄磊和刘刚。一种深度监督的图像融合网络，用于高分辨率双时相遥感影像的变化检测。ISPRS摄影测量与遥感杂志。2020年。 [CrossRef]

[26] LEENSTRA, Marrit 等。自监督预训练提升哨兵-2影像中的变化检测能力。arXiv。2021年。 [CrossRef]

[27] 史谦等。基于深度监督注意力度量的网络及面向遥感变化检测的公开航空影像数据集。IEEE地球科学与遥感汇刊。2021年。 [CrossRef]

[28] 沈莉等。S2Looking：用于建筑物变化检测的卫星侧视数据集。arXiv。2021年。 [CrossRef]

[29] LEBEDEV, M. A. 等。利用条件对抗网络进行遥感影像的变化检测。国际摄影测量、遥感与空间信息科学档案，2018年。 [CrossRef]

[30] 孙宇丽等。基于结构一致性的图方法，用于同质与异质遥感影像的无监督变化检测。IEEE地球科学与遥感汇刊，2021年。 [CrossRef]

[31] 朴振满等。ChangeSim：迈向工业室内环境中端到端的在线场景变化检测。arXiv。2021年。 [CrossRef]

引用

如果您觉得这篇综述对您有所帮助，请考虑引用我们的论文。 [开放获取]

@Article{rs12101688,
AUTHOR = {史文忠、张敏、张睿、陈善雄、詹钊},
TITLE = {基于人工智能的变化检测：现状与挑战},
JOURNAL = {遥感},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}

注

此列表将及时更新，欢迎志愿者贡献。如有疑问或分享，请随时 联系我们 或提交问题。

参考资料：

• I-Hope-Peace/ChangeDetectionRepository
• Michele Volpi个人研究页面
• llu025/Heterogeneous_CD
• wenhwu/awesome-remote-sensing-change-detection
• neverstoplearn/remote_sensing_change_detection
• GIS中的变化检测
• 高枫个人研究页面
• Bobholamovic/ChangeDetectionToolbox

# 创建名为 cd_env 的虚拟环境，指定 Python 版本为 3.8
conda create -n cd_env python=3.8 -y
conda activate cd_env

pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
# 若下载速度慢，可尝试手动下载 wheel 文件后本地安装

git clone https://github.com/likyoo/Siam-NestedUNet.git
cd Siam-NestedUNet

pip install -r requirements.txt
# 如果项目中没有 requirements.txt，通常只需安装基础库：
# pip install numpy opencv-python tqdm scikit-image

# 示例：训练 SNUNet-CD 模型
# --gpu_ids 指定 GPU ID，--batch_size 根据显存调整
python train.py --model_name snunet --batch_size 8 --gpu_ids 0 --epoch 100

# 示例：运行测试脚本
# 指向测试数据目录和保存结果的目录
python test.py --model_name snunet --checkpoint_path checkpoints/snunet_best.pth --data_root data/test --save_path results/