学习适应结构化输出空间以进行语义分割

我们方法的 PyTorch 实现，用于将语义分割从合成数据集（源域）迁移到真实数据集（目标域）。基于该实现，我们的结果在 VisDA 挑战赛 中排名第三。

联系人：蔡宜轩 (wasidennis at gmail dot com) 和洪伟志 (whung8 at ucmerced dot edu)

论文

学习适应结构化输出空间以进行语义分割
蔡宜轩*, 洪伟志*, 塞缪尔·舒尔特、苏基赫、杨明轩 和 钱德拉克
IEEE 计算机视觉与模式识别会议 (CVPR)，2018 年 (亮点) (* 表示共同第一作者)。

如果您认为我们的论文对您的研究有帮助，请引用它。

@inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

示例结果

定量结果

安装

• 从 http://pytorch.org 安装 PyTorch，使用 Python 2 和 CUDA 8.0

• 新增 添加 LS-GAN 目标以提升性能

  • 使用方法：训练时添加 --gan LS 选项（详情见下文）

• PyTorch 0.4，使用 Python 3 和 CUDA 8.0

  • 使用方法：将训练和评估代码替换为 pytorch_0.4 文件夹中的代码
  • 更新：通过在命令中添加 --tensorboard 提供 TensorBoard 支持
  • 注意：单层级模型运行正常，而多层级模型需要较小的权重，例如 --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005。我们将尽快调查此问题。

• 克隆本仓库

git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

数据集

• 下载 GTA5 数据集 作为源域，并将其放入 data/GTA5 文件夹

• 下载 Cityscapes 数据集 作为目标域，并将其放入 data/Cityscapes 文件夹

预训练模型

• 请在此处找到我们使用 ResNet-101 在三个基准设置上的预训练模型 链接

• 它们包括基线模型（无适应和特征适应）以及我们的模型（单层级和多层级）

测试

• 新增 使用 LS-GAN 以及 Synscapes 作为源域的更新结果

  • 性能：参见更新后的 arXiv 论文 的附录（2019 年 10 月 17 日更新）
  • 预训练模型

• 下载预训练的多层级 GTA5 到 Cityscapes 模型 并将其放入 model 文件夹

• 测试模型，结果将保存在 result 文件夹中

python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• 或者，测试基于 VGG-16 的模型 模型链接

python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• 在 Cityscapes 上计算 IoU（感谢来自 VisDA 挑战赛 的代码）

python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

训练示例

• 新增 训练 GTA5 到 Cityscapes 模型（单层级，使用 LS-GAN）

python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan \
                                     --lambda-seg 0.0 \
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 \
                                     --gan LS

• 训练 GTA5 到 Cityscapes 模型（多层级）

python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi \
                                     --lambda-seg 0.1 \
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• 训练 GTA5 到 Cityscapes 模型（单层级）

python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single \
                                     --lambda-seg 0.0 \
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

相关实现和数据集

• Y.-H. Tsai, K. Sohn, S. Schulter 和 M. Chandraker. 基于判别式补丁表示的结构化输出领域适应。ICCV，2019 年。（口头报告）[论文] [项目] [实施指南]
• W.-C. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin 和 M.-H. Yang. 用于半监督语义分割的对抗学习。BMVC，2018 年。[论文] [代码]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang 和 M. Sun. 不再歧视：跨城市道路场景分割器的适应性迁移。ICCV 2017。[论文] [项目]

致谢

本代码大量借鉴自 Pytorch-Deeplab。

注意事项

该模型和代码仅可用于非商业性研究目的。

• 2019 年 10 月：更新了使用 LS-GAN 和 Synscapes 的性能及训练/评估代码（特别感谢 刘彦婷 在实验方面的帮助）
• 2019 年 1 月：更新了适用于 PyTorch 0.4 的训练代码
• 2018 年 7 月 23 日：更新了适用于 PyTorch 0.4 的评估代码
• 2018 年 6 月 4 日：更新了预训练的 VGG-16 模型
• 2018 年 2 月：代码发布

AdaptSegNet 快速上手指南

AdaptSegNet 是一个基于 PyTorch 的语义分割域自适应工具，旨在将模型从合成数据集（源域，如 GTA5）迁移到真实数据集（目标域，如 Cityscapes）。该项目曾获得 VisDA Challenge 第三名。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: Python 2.7 或 Python 3.6+
  • 若使用 Python 2，需搭配 CUDA 8.0。
  • 若使用 Python 3，建议使用 PyTorch 0.4 版本并搭配 CUDA 8.0。
• 深度学习框架: PyTorch
  • 官方安装地址：http://pytorch.org
  • 国内加速建议：推荐使用清华或中科大镜像源安装 PyTorch 及相关依赖。

    pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
    

• 其他依赖: 代码依赖 tensorboard (PyTorch 0.4 版本支持)，可通过 pip 安装。

安装步骤

1. 克隆仓库 从 GitHub 克隆项目代码到本地：

   git clone https://github.com/wasidennis/AdaptSegNet
   cd AdaptSegNet
   

2. 配置 PyTorch 0.4 版本（推荐 Python 3 用户） 如果您使用的是 Python 3 和 PyTorch 0.4，需要将训练和评估代码替换为兼容版本：

   # 将 pytorch_0.4 文件夹下的文件覆盖根目录下的对应文件
   cp pytorch_0.4/*.py .
   

3. 准备数据集 您需要下载源域和目标域数据集并放置在指定目录：

   • 源域: 下载 GTA5 Dataset 并放入 data/GTA5 文件夹。
   • 目标域: 下载 Cityscapes Dataset 并放入 data/Cityscapes 文件夹。
   • 注：国内用户若下载困难，可尝试寻找国内高校镜像站或开源社区提供的数据集备份。

4. 下载预训练模型 下载多层级 GTA5-to-Cityscapes 预训练模型并放入 model 文件夹：

   mkdir -p model
   wget http://vllab.ucmerced.edu/ytsai/CVPR18/GTA2Cityscapes_multi-ed35151c.pth -P ./model/
   

   (如果 wget 下载速度慢，建议手动下载后上传至服务器)

基本使用

以下是最简单的测试示例，用于评估预训练模型在 Cityscapes 验证集上的表现。

1. 运行评估脚本 执行以下命令加载模型并生成预测结果（结果将保存在 result 文件夹）：

   python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth
   

   如需测试基于 VGG-16 的模型，可使用：

   python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth
   

2. 计算 IoU 指标 使用官方脚本计算平均交并比（IoU）：

   python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes
   

进阶：简单训练示例

若您希望从头训练一个单层级模型（启用 LS-GAN 以提升性能），可使用以下命令：

python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan \
                                     --lambda-seg 0.0 \
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 \
                                     --gan LS