DAFormer：改进领域自适应语义分割的网络架构与训练策略

作者：Lukas Hoyer, Dengxin Dai, 和 Luc Van Gool

[CVPR22 论文] [扩展论文]

:bell: 新闻：

• [2024-07-03] 我们很高兴地宣布，我们的工作 SemiVL（具有视觉 - 语言引导的半监督语义分割）已被 ECCV24 接收。
• [2024-07-03] 我们很高兴地宣布，我们的后续工作 DGInStyle（用于域泛化语义分割的图像扩散）已被 ECCV24 接收。
• [2023-09-26] 我们很高兴地宣布，我们的 扩展论文（关于域泛化和从清晰到恶劣天气的无监督域适应）已被 PAMI 接收。
• [2023-08-25] 我们很高兴地宣布，我们的后续工作 EDAPS（关于全景分割 UDA）已被 ICCV23 接收。
• [2023-04-23] 我们在 扩展论文 中进一步将 DAFormer 扩展到域泛化和从清晰到恶劣天气的无监督域适应 (UDA)。
• [2023-02-28] 我们很高兴地宣布，我们的后续工作 MIC（关于上下文增强的 UDA）已被 CVPR23 接收。
• [2022-07-06] 我们很高兴地宣布，我们的后续工作 HRDA（关于高分辨率 UDA）已被 ECCV22 接收。
• [2022-03-09] 我们很高兴地宣布，DAFormer 已被 CVPR22 接收。

概述

由于获取真实图像的像素级标注是一个昂贵的过程，模型可以使用更易获得的合成数据进行训练，并适应真实图像，而无需其标注。这个过程在无监督域适应 (Unsupervised Domain Adaptation, UDA) 中被研究。

尽管大量方法提出了新的 UDA 策略，但它们大多基于过时的网络架构。在这项工作中，我们特别研究了网络架构对 UDA 性能的影响，并提出了 DAFormer，一种专为 UDA 设计的网络架构。它由一个 Transformer 编码器和一个多级上下文感知特征融合解码器组成。

DAFormer 得益于三种简单但关键的训练策略，以稳定训练并避免过拟合源域：虽然源域上的稀有类别采样 (Rare Class Sampling) 通过减轻自训练对常见类的确认偏差来提高伪标签的质量，但物体类 ImageNet 特征距离和学习率预热 (Learning Rate Warmup) 促进了来自 ImageNet 预训练的特征迁移。

DAFormer 显著提升了最先进 (SOTA) 性能，GTA→Cityscapes 提升了 10.8 mIoU (平均交并比)，Synthia→Cityscapes 提升了 5.4 mIoU，并且能够很好地学习甚至困难的类别，如火车、公交车和卡车。

与之前的 SOTA UDA 方法 ProDA 相比，DAFormer 的优势也可以在 Cityscapes 验证集的定性示例中观察到。

DAFormer 可以进一步扩展到域泛化，从而降低了对访问目标图像的需求。即使在域泛化中，DAFormer 也将 SOTA 性能显著提高了 +6.5 mIoU。

有关 DAFormer 的更多信息，请查看我们的 [CVPR 论文] 和 [扩展论文]。

如果您认为本项目对您的研究有用，请考虑引用：

@InProceedings{hoyer2022daformer,
  title={{DAFormer}: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation},
  author={Hoyer, Lukas and Dai, Dengxin and Van Gool, Luc},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={9924--9935},
  year={2022}
}

@Article{hoyer2024domain,
  title={Domain Adaptive and Generalizable Network Architectures and Training Strategies for Semantic Image Segmentation},
  author={Hoyer, Lukas and Dai, Dengxin and Van Gool, Luc},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI)}, 
  year={2024},
  volume={46},
  number={1},
  pages={220-235},
  doi={10.1109/TPAMI.2023.3320613}}
}

与最先进 UDA 方法的比较

DAFormer 在多个 UDA 基准测试上显著优于以往的工作。这包括 GTA→Cityscapes 和 Synthia→Cityscapes 的合成到真实适应，以及 Cityscapes→ACDC 和 Cityscapes→DarkZurich 的从清晰到恶劣天气的适应。

	GTA→CS(val)	Synthia→CS(val)	CS→ACDC(test)	CS→DarkZurich(test)
ADVENT [1]	45.5	41.2	32.7	29.7
BDL [2]	48.5	--	37.7	30.8
FDA [3]	50.5	--	45.7	--
DACS [4]	52.1	48.3	--	--
ProDA [5]	57.5	55.5	--	--
MGCDA [6]	--	--	48.7	42.5
DANNet [7]	--	--	50.0	45.2
DAFormer (Ours)	68.3	60.9	55.4*	53.8*

• 我们 扩展论文 的新结果

参考文献：

1. Vu et al. "Advent: Adversarial entropy minimization for domain adaptation in semantic segmentation" in CVPR 2019.
2. Li et al. "Bidirectional learning for domain adaptation of semantic segmentation" in CVPR 2019.
3. Yang et al. "Fda: Fourier domain adaptation for semantic segmentation" in CVPR 2020.
4. Tranheden et al. "Dacs: Domain adaptation via crossdomain mixed sampling" in WACV 2021.
5. Zhang et al. "Prototypical pseudo label denoising and target structure learning for domain adaptive semantic segmentation" in CVPR 2021.
6. Sakaridis et al. "Map-guided curriculum domain adaptation and uncertaintyaware evaluation for semantic nighttime image segmentation" in TPAMI, 2020.
7. Wu et al. "DANNet: A one-stage domain adaptation network for unsupervised nighttime semantic segmentation" in CVPR, 2021.

与最先进领域泛化（Domain Generalization, DG）方法的对比

DAFormer 在从 GTA 到真实街道场景的领域泛化任务上显著优于之前的工作。

DG 方法	Cityscapes	BDD100K	Mapillary	Avg.
IBN-Net [1,5]	37.37	34.21	36.81	36.13
DRPC [2]	42.53	38.72	38.05	39.77
ISW [3,5]	37.20	33.36	35.57	35.38
SAN-SAW [4]	45.33	41.18	40.77	42.43
SHADE [5]	46.66	43.66	45.50	45.27
DAFormer (本文)	52.65*	47.89*	54.66*	51.73*

* 我们 扩展论文 的新结果

参考文献：

1. Pan et al. "Two at once: Enhancing learning and generalization capacities via IBN-Net" in ECCV, 2018.
2. Yue et al. "Domain randomization and pyramid consistency: Simulation-to-real generalization without accessing target domain data" ICCV, 2019.
3. Choi et al. "RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening" in CVPR, 2021.
4. Peng et al. "Semantic-aware domain generalized segmentation" in CVPR, 2022.
5. Zhao et al. "Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation" in ECCV, 2022.

环境设置

本项目使用 Python 3.8.5。我们建议设置一个新的虚拟环境：

python -m venv ~/venv/daformer
source ~/venv/daformer/bin/activate

在该环境中，可以使用以下命令安装依赖项：

pip install -r requirements.txt -f https://download.pytorch.org/whl/torch_stable.html
pip install mmcv-full==1.3.7  # requires the other packages to be installed first

请从 SegFormer 的 OneDrive 下载 MiT ImageNet 权重（b3-b5），并将它们放入 pretrained/ 文件夹中。此外，请下载 DAFormer 在 GTA→Cityscapes 上的检查点 并解压到 work_dirs/ 文件夹中。

所有实验均在 NVIDIA RTX 2080 Ti 上执行。

推理演示

在此阶段，提供的 DAFormer 模型即可应用于演示图像：

python -m demo.image_demo demo/demo.png work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/211108_1622_gta2cs_daformer_s0_7f24c.json work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/latest.pth

在评估预测结果时，请注意 DAFormer 在训练期间无法访问真实世界的标签。

数据集设置

Cityscapes： 请从 此处 下载 leftImg8bit_trainvaltest.zip 和 gt_trainvaltest.zip，并将它们解压到 data/cityscapes。

GTA： 请从 此处 下载所有图像和标签包，并将它们解压到 data/gta。

Synthia（可选）： 请从 此处 下载 SYNTHIA-RAND-CITYSCAPES，并将其解压到 data/synthia。

ACDC（可选）： 请从 此处 下载 rgb_anon_trainvaltest.zip 和 gt_trainval.zip，并将它们解压到 data/acdc。此外，请使用以下命令将文件夹结构从 condition/split/sequence/ 重命名为 split/：

rsync -a data/acdc/rgb_anon/*/train/*/* data/acdc/rgb_anon/train/
rsync -a data/acdc/rgb_anon/*/val/*/* data/acdc/rgb_anon/val/
rsync -a data/acdc/gt/*/train/*/*_labelTrainIds.png data/acdc/gt/train/
rsync -a data/acdc/gt/*/val/*/*_labelTrainIds.png data/acdc/gt/val/

Dark Zurich（可选）： 请从 此处 下载 Dark_Zurich_train_anon.zip 和 Dark_Zurich_val_anon.zip，并将它们解压到 data/dark_zurich。

最终的文件夹结构应如下所示：

DAFormer
├── ...
├── data
│   ├── acdc (可选)
│   │   ├── gt
│   │   │   ├── train
│   │   │   ├── val
│   │   ├── rgb_anon
│   │   │   ├── train
│   │   │   ├── val
│   ├── cityscapes
│   │   ├── leftImg8bit
│   │   │   ├── train
│   │   │   ├── val
│   │   ├── gtFine
│   │   │   ├── train
│   │   │   ├── val
│   ├── dark_zurich (可选)
│   │   ├── gt
│   │   │   ├── val
│   │   ├── rgb_anon
│   │   │   ├── train
│   │   │   ├── val
│   ├── gta
│   │   ├── images
│   │   ├── labels
│   ├── synthia (可选)
│   │   ├── RGB
│   │   ├── GT
│   │   │   ├── LABELS
├── ...

数据预处理： 最后，请运行以下脚本将标签 ID 转换为训练 ID，并为 RCS 生成类别索引：

python tools/convert_datasets/gta.py data/gta --nproc 8
python tools/convert_datasets/cityscapes.py data/cityscapes --nproc 8
python tools/convert_datasets/synthia.py data/synthia/ --nproc 8

训练

为了方便起见，我们提供了最终 DAFormer 的 注释配置文件。可以使用以下命令启动训练任务：

python run_experiments.py --config configs/daformer/gta2cs_uda_warm_fdthings_rcs_croppl_a999_daformer_mitb5_s0.py

对于我们在论文中的实验（例如网络架构比较、组件消融等），我们使用一个系统来自动生成和训练配置：

python run_experiments.py --exp <ID>

有关可用实验及其分配 ID 的更多信息，请参见 experiments.py。生成的配置文件将存储在 configs/generated/ 中。

测试与预测

提供的在 GTA→Cityscapes 上训练的 DAFormer checkpoint (检查点)（已通过 tools/download_checkpoints.sh 下载）可以使用以下命令在 Cityscapes 验证集上进行测试：

sh test.sh work_dirs/211108_1622_gta2cs_daformer_s0_7f24c

预测结果将保存至 work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/preds 以供检查，模型的 mIoU (平均交并比) 将打印到控制台。提供的 checkpoint (检查点) 应能达到 68.85 的 mIoU。有关更多信息（例如各类别的 IoU (交并比)），请参阅 work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/20211108_164105.log 的末尾。

同样，训练完成后也可以测试其他模型：

sh test.sh path/to/checkpoint_directory

当评估在 Synthia→Cityscapes 上训练的模型时，请注意评估脚本计算所有 19 个 Cityscapes 类别的 mIoU (平均交并比)。然而，Synthia 仅包含其中 16 个类别的标签。因此，在 UDA (无监督域适应) 中，通常仅针对这 16 个类别报告 Synthia→Cityscapes 的 mIoU (平均交并比)。由于缺失的 3 个类别的 IoU (交并比) 为 0，您可以进行转换：mIoU16 = mIoU19 * 19 / 16。

Cityscapes→ACDC 和 Cityscapes→DarkZurich 的结果是在目标数据集的测试集划分上报告的。要为测试集生成预测，请运行：

python -m tools.test path/to/config_file path/to/checkpoint_file --test-set --format-only --eval-option imgfile_prefix=labelTrainIds to_label_id=False

可以将预测结果提交到相应数据集的公共评估服务器以获取测试分数。

域泛化

关于 DAFormer 的域泛化扩展，请参考 HRDA 仓库的 DG 分支：https://github.com/lhoyer/HRDA/tree/dg

检查点

下面，我们提供了不同基准下的 DAFormer checkpoint (检查点)。由于论文中的结果是三个随机种子的平均值，我们在此提供具有中位数验证性能的 checkpoint (检查点)。

• DAFormer 用于 GTA→Cityscapes
• DAFormer 用于 Synthia→Cityscapes
• DAFormer 用于 Cityscapes→ACDC
• DAFormer 用于 Cityscapes→DarkZurich
• DAFormer 用于 GTA 域泛化

Checkpoint (检查点) 附带训练日志。请注意：

• 日志提供 19 个类别的 mIoU (平均交并比)。对于 Synthia→Cityscapes，需要将 mIoU (平均交并比) 转换为 16 个有效类别。请参阅上述部分了解如何转换 mIoU (平均交并比)。
• 日志提供验证集上的 mIoU (平均交并比)。对于 Cityscapes→ACDC 和 Cityscapes→DarkZurich，论文中报告的结果是基于测试集划分计算的。对于 DarkZurich，验证集和测试集划分的性能差异显著。请参阅上述部分了解如何获取测试 mIoU (平均交并比)。

框架结构

本项目基于 mmsegmentation version 0.16.0。有关框架结构和配置系统的更多信息，请参阅 mmsegmentation 文档 和 mmcv 文档。

DAFormer 最相关的文件如下：

• configs/daformer/gta2cs_uda_warm_fdthings_rcs_croppl_a999_daformer_mitb5_s0.py: 最终 DAFormer 的注释配置文件。
• mmseg/models/uda/dacs.py: 带有 ImageNet 特征距离的 UDA (无监督域适应) 自训练实现。
• mmseg/datasets/uda_dataset.py: 带有稀有类采样的 UDA (无监督域适应) 数据加载器。
• mmseg/models/decode_heads/daformer_head.py: 带有上下文感知特征融合的 DAFormer 解码器实现。
• mmseg/models/backbones/mix_transformer.py: Mix Transformer 编码器 (MiT) 的实现。

致谢

本项目基于以下开源项目。感谢其作者公开源代码。

• MMSegmentation
• SegFormer
• DACS

许可证

本项目根据 Apache License 2.0 发布，而该存储库中的一些特定功能可能使用其他许可证。如果您将我们的代码用于商业用途，请参阅 LICENSES.md 进行仔细检查。

DAFormer 快速上手指南

DAFormer 是一种专为无监督领域自适应（UDA）语义分割设计的网络架构。它通过 Transformer 编码器和多尺度上下文感知特征融合解码器，显著提升了从合成数据到真实场景的分割性能。

环境准备

建议配置如下：

• 操作系统: Linux (推荐) / Windows (需 WSL)
• Python 版本: 3.8.5
• GPU: NVIDIA (如 RTX 2080 Ti)
• 依赖: PyTorch, MMDetection/MMSegmentation (通过 mmcv-full)

建议使用虚拟环境隔离依赖：

python -m venv ~/venv/daformer
source ~/venv/daformer/bin/activate

安装步骤

在激活的虚拟环境中，依次执行以下命令安装依赖并下载预训练权重。

1. 安装依赖包

pip install -r requirements.txt -f https://download.pytorch.org/whl/torch_stable.html
pip install mmcv-full==1.3.7  # 确保其他包已先安装

2. 下载预训练模型

请将以下文件下载至指定目录：

• MiT ImageNet 权重 (b3-b5): 从 SegFormer OneDrive 下载，放入 pretrained/ 文件夹。
• DAFormer 检查点 (GTA→Cityscapes): 从 Google Drive 下载并解压，放入 work_dirs/ 文件夹。

提示: 国内用户访问上述链接可能需要网络加速工具。

基本使用

推理演示 (Inference Demo)

安装完成后，可直接对示例图片进行推理测试：

python -m demo.image_demo demo/demo.png work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/211108_1622_gta2cs_daformer_s0_7f24c.json work_dirs/211108_1622_gta2cs_daformer_s0_7f24c/latest.pth

数据集准备

若需进行训练或自定义测试，请按照以下结构组织数据：

data
├── cityscapes       # 必须：leftImg8bit_trainvaltest.zip, gt_trainvaltest.zip
├── gta              # 必须：图像与标签包
├── synthia          # 可选
├── acdc             # 可选
└── dark_zurich      # 可选

具体下载链接及文件夹重命名脚本请参考项目官方 README。对于新数据集，还需运行预处理脚本来转换标签 ID 并生成类索引。