遥感语义分割

本仓库是若干遥感相关任务的 PyTorch 实现。

方法

基于 SAM:

MFNet (IEEE TGRS 2025) (ESI 高被引论文).

SAM_RS (IEEE TGRS 2024) (ESI 高被引论文).

基于 Mamba:

RS^3Mamba (IEEE GRSL 2024) (ESI 热点论文).

无监督域自适应 (UDA):

GLGAN (IEEE TGRS 2024).

MBATA_GAN (IEEE TGRS 2023) (ESI 高被引论文).

多模态融合:

MFNet (IEEE TGRS 2025) (ESI 高被引论文).

ASMFNet (IEEE JSTARS 2024).

FTransUNet (IEEE TGRS 2024) (ESI 热点论文).

CMFNet (IEEE JSTARS 2022) (ESI 高被引论文).

MSFNet (IEEE IGARSS 2022).

参考

对于 UDA：

• TransGAN
• Advent
• AdaSegNet

对于 Segment Anything Model：

• Medical-SAM-Adapter
• SAM

对于语义分割：

• TransUNet
• UNetformer
• UCTransNet
• Swin-Transformer
• Swin-Unet
• v-FuseNet
• FuseNet

对于基于 Mamba 的语义分割：

• VMamba
• VM-UNet
• Swin-UMamba

数据集

包括 ISPRS Potsdam、ISPRS Vaihingen 和 loveDA 的数据集可在此下载：这里。

MMHunan 数据集可在此下载：这里。

脚本

utils 文件夹中包含一些脚本，包括图像分割、图像合并以及绘制损失曲线等。

其他工作

我们团队还有其他一些工作：

场景分类：DF4LCZ (IEEE TGRS 2024)。

变化检测：GCD-DDPM (IEEE TGRS 2024) (ESI 高被引论文)，GVLM (ISPRS 2023) (ESI 高被引论文)。

超分辨率：ASDDPM (IEEE JSTARS 2024)，GCRDN (IEEE JSTARS 2023)。

引用

如果这些代码对您的研究有所帮助，请引用以下内容：

@ARTICLE{ma2024manet,
  author={Ma, Xianping and Zhang, Xiaokang and Pun, Man-On and Huang, Bo},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={A Unified Framework With Multimodal Fine-Tuning for Remote Sensing Semantic Segmentation}, 
  year={2025},
  volume={63},
  number={},
  pages={1-15}
}

@article{ma2024frequency,
  author={Ma, Xianping and Zhang, Xiaokang and Ding, Xingchen and Pun, Man-On and Ma, Siwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Decomposition-Based Unsupervised Domain Adaptation for Remote Sensing Image Semantic Segmentation}, 
  year={2024},
  volume={62},
  number={},
  pages={1-18}
}

@ARTICLE{ma2024rs3mamba,
  author={Ma, Xianping and Zhang, Xiaokang and Pun, Man-On},
  journal={IEEE Geoscience and Remote Sensing Letters}, 
  title={RS$^3$Mamba: Visual State Space Model for Remote Sensing Image Semantic Segmentation}, 
  year={2024},
  volume={},
  number={},
  pages={1-1}
}

@ARTICLE{ma2024ftransunet,
  author={Ma, Xianping and Zhang, Xiaokang and Pun, Man-On and Liu, Ming},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={A Multilevel Multimodal Fusion Transformer for Remote Sensing Semantic Segmentation}, 
  year={2024},
  volume={62},
  number={},
  pages={1-15},
  doi={10.1109/TGRS.2024.3373033}
}

@article{ma2024sam,
  author={Ma, Xianping and Wu, Qianqian and Zhao, Xingyu and Zhang, Xiaokang and Pun, Man-On and Huang, Bo},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={SAM-Assisted Remote Sensing Imagery Semantic Segmentation With Object and Boundary Constraints}, 
  year={2024},
  volume={62},
  pages={1-16},
}

@article{ma2023unsupervised,
  title={Unsupervised domain adaptation augmented by mutually boosted attention for semantic segmentation of vhr remote sensing images},
  author={Ma, Xianping and Zhang, Xiaokang and Wang, Zhiguo and Pun, Man-On},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  volume={61},
  pages={1--15},
  year={2023},
  publisher={IEEE}
}

@ARTICLE{ma2024asmfnet,
  author={Ma, Xianping and Xu, Xichen and Zhang, Xiaokang and Pun, Man-On},
  journal={IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing}, 
  title={Adjacent-Scale Multimodal Fusion Networks for Semantic Segmentation of Remote Sensing Data}, 
  year={2024},
  volume={},
  number={},
  pages={1-13}
}

@article{ma2022crossmodal,
  title={A crossmodal multiscale fusion network for semantic segmentation of remote sensing data},
  author={Ma, Xianping and Zhang, Xiaokang and Pun, Man-On},
  journal={IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing},
  volume={15},
  pages={3463--3474},
  year={2022},
  publisher={IEEE}
}

@inproceedings{ma2022msfnet,
  title={MSFNET: Multi-Stage Fusion Network for Semantic Segmentation of Fine-Resolution Remote Sensing Data},
  author={Ma, Xianping and Zhang, Xiaokang and Pun, Man-On and Liu, Ming},
  booktitle={IGARSS 2022-2022 IEEE International Geoscience and Remote Sensing Symposium},
  pages={2833--2836},
  year={2022},
  organization={IEEE}
}

联系方式

Xianping Ma (xianpingma@ling.cuhk.edu.cn), (ma.xianping125@gmail.com)

星标历史

SSRS 快速上手指南

SSRS (Semantic Segmentation for Remote Sensing) 是一个基于 PyTorch 的遥感图像语义分割开源工具箱，集成了多种前沿算法（如 SAM、Mamba、多模态融合及无监督域适应等）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 Windows (需配置 WSL2 或原生 CUDA 环境)。
• Python: 3.8 或更高版本。
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 >= 8GB 以运行大型模型如 SAM 或 Mamba）。
• 前置依赖:
  • PyTorch (建议 1.10+ 或 2.0+)
  • torchvision
  • CUDA Toolkit (版本需与 PyTorch 匹配)

提示：国内用户建议使用清华源或阿里源加速 Python 包和 PyTorch 的安装。

安装步骤

1. 克隆项目代码

git clone https://github.com/sstary/SSRS.git
cd SSRS

2. 创建虚拟环境 (推荐)

conda create -n ssrs python=3.9
conda activate ssrs

3. 安装 PyTorch

请根据您的 CUDA 版本选择对应的安装命令。以下为使用清华源安装 PyTorch 2.0 + CUDA 11.8 的示例：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

其他版本请参考 PyTorch 官网。

4. 安装项目依赖

安装 requirements.txt 中列出的其他依赖库：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：如果根目录下没有 requirements.txt，请根据具体模型子目录下的依赖文件进行安装，或手动安装常见库如 numpy, opencv-python, scikit-image, tqdm 等)

基本使用

1. 数据集准备

本项目支持 ISPRS Potsdam, ISPRS Vaihingen, loveDA 等主流遥感数据集。请将下载并解压后的数据集放置在指定目录（通常为 data/ 或项目根目录下的特定文件夹），并按照 utils 文件夹中的脚本进行预处理（如切割图像）。

数据集下载参考：

• MMSegmentation 数据集准备指南
• MMHunan 数据集

2. 工具脚本使用

utils 文件夹提供了一些辅助脚本，可用于数据预处理和可视化：

• 图像切割与合并: 用于处理大幅遥感影像。
• 绘制损失曲线: 用于训练过程监控。

示例（假设脚本名为 split_images.py）：

python utils/split_images.py --input_path ./data/raw --output_path ./data/split

3. 模型训练与推理

由于该项目包含多个独立的方法（如 MFNet, RS3Mamba, SAM_RS 等），具体的训练和推理命令通常位于各方法对应的子目录或特定的 .sh 启动脚本中。

通用训练流程示例（以某个具体模型为例，需参照对应论文代码目录）：

# 示例：启动训练 (具体配置文件路径需根据所选模型调整)
python train.py --config configs/MFNet_potsdam.py --gpu 0

# 示例：启动测试/推理
python test.py --config configs/MFNet_potsdam.py --checkpoint weights/best_model.pth --save_dir results/

注意：请务必进入您想要运行的具体算法文件夹（例如 cd methods/MFNet），并查看该目录下的 README 或 run.sh 脚本以获取最准确的参数配置。

4. 引用

如果在您的研究中使用了本项目的代码或方法，请引用相关论文（详见项目根目录 Citations 部分）。