循环一致性对抗域适应 (CyCADA)

一个基于 PyTorch 的 CyCADA 实现。

如果您在研究中使用此代码，请考虑引用以下文献：

@inproceedings{Hoffman_cycada2017,
       authors = {朱迪·霍夫曼、埃里克·曾格、朴泰成、朱俊彦,
             菲利普·伊索拉、凯特·萨恩科、阿列克谢·A·叶夫罗思和特雷弗·达雷尔},
       title = {CyCADA: 循环一致性对抗域适应},
       booktitle = {国际机器学习大会 (ICML)},
       year = 2018
}

设置

• 克隆仓库（递归选项会同时克隆 CycleGAN 仓库的 CyCADA 分支）。
  git clone --recursive https://github.com/jhoffman/cycada_release.git cycada
• 安装 Python 依赖：
  • pip install -r requirements.txt

仅进行图像适应训练（数字）

• 图像适应基于 CycleGAN 的工作。本仓库中的子模块是一个分支，其中也包含了语义一致性损失。
• 数字数据的预训练结果可在此下载：
  • SVHN 转 MNIST（114MB）
  • MNIST 转 USPS（6MB）
  • USPS 转 MNIST（3MB）
• SVHN 转 MNIST 的生成：
  • 关于如何训练 SVHN 到 MNIST 的图像适应示例，请参阅 cyclegan/train_cycada.sh。在 cyclegan 子文件夹内运行 train_cycada.sh。
  • 模型快照将保存在 cyclegan/cycada_svhn2mnist_noIdentity 目录下。在 test_cycada.sh 中设置您希望使用的 epoch 值，然后运行脚本以生成 50 张转换后的图像（用于快速预览），或运行 test_cycada.sh all 以生成完整的约 7.3 万张 SVHN 图像作为 MNIST 数字。
  • 结果存储在 cyclegan/results/cycada_svhn2mnist_noIdentity/train_75/images 目录中。
  • 注意，我们使用的是 mnist_svhn 数据集，并且本次实验是以反向方式进行（B到A），因此源域（SVHN）图像被转换为看起来像 MNIST 数字的形式时，将以 [label]_[imageId]_fake_B.png 的命名方式保存。后续加载该目录下的图像时，只会选择符合该命名规范的文件。

仅进行特征适应训练（数字）

• 特征适应的主要脚本位于 scripts/train_adda.py。
• 修改用于存储所有数字数据集的目录路径（或数据将被下载到的路径）。

在图像适应之后进行特征适应训练

• 使用特征空间适应代码，并结合图像适应阶段的数据和模型。
• 例如：要训练 SVHN 到 MNIST 的迁移任务，在 scripts/train_adda.py 中设置 src = 'svhn2mnist' 和 tgt = 'mnist'。
• 您可以下载上述相关图像，也可以先运行图像空间适应代码并提取已转换的图像。

面向语义分割的特征适应训练

• 下载 GTA 转 CityScapes 图像（16GB）。
• 下载 GTA DRN-26 模型。
• 下载 GTA 转 CityScapes 的 DRN-26 模型。
• 使用 scripts/train_fcn_adda.sh 进行适应：
  • 选择所需的 src 和 tgt 以及 datadir。请确保下载相应的基础模型和数据。
  • 最终从 GTA 到 CityScapes 的 DRN-26 CyCADA 模型可在此下载：DRN-26 CyCADA 模型

CyCADA 快速上手指南

CyCADA (Cycle Consistent Adversarial Domain Adaptation) 是一个基于 PyTorch 的域自适应实现，主要用于解决图像风格迁移（如 SVHN 转 MNIST）和语义分割（如 GTA 转 CityScapes）中的域偏移问题。

环境准备

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python: 推荐 Python 3.6+
• 框架依赖: PyTorch
• 其他依赖: Git, pip
• 硬件要求: 推荐使用 NVIDIA GPU 进行训练和推理

安装步骤

1. 克隆仓库 使用 --recursive 参数克隆，以自动获取包含语义一致性损失的 CycleGAN 子模块。

   git clone --recursive https://github.com/jhoffman/cycada_release.git cycada
   cd cycada
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   提示: 国内用户若下载依赖缓慢，可指定清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下以最经典的 SVHN 到 MNIST 数字图像风格迁移 为例，展示从训练到测试的流程。

1. 训练图像自适应模型

进入 cyclegan 子目录并运行训练脚本。该脚本将训练一个能将 SVHN 图片转换为 MNIST 风格的生成器。

cd cyclegan
./train_cycada.sh

• 输出位置: 模型快照保存在 cyclegan/cycada_svhn2mnist_noIdentity。
• 注意: 此实验使用反向方向 (BtoA)，生成的图片命名格式为 [label]_[imageId]_fake_B.png。

2. 测试与生成图像

编辑 test_cycada.sh 设置所需的 epoch 值，然后运行脚本生成转换后的图像。

• 快速预览 (生成 50 张):

  ./test_cycada.sh
  

• 全量生成 (生成约 73K 张):

  ./test_cycada.sh all
  

• 结果查看: 生成的图像位于 cyclegan/results/cycada_svhn2mnist_noIdentity/train_75/images。

3. 进阶：特征自适应 (可选)

若需进行特征层面的域自适应（通常接在图像自适应之后），请返回根目录修改 scripts/train_adda.py：

• 设置源域和目标域，例如：src = 'svhn2mnist', tgt = 'mnist'。
• 确保已下载上述步骤生成的转换图像或预训练模型。
• 运行脚本：

  python scripts/train_adda.py
  

预训练模型: 若不想从头训练，可直接下载官方提供的预训练权重（如 SVHN2MNIST, GTA2CityScapes 等），链接详见项目原始 README 的 "Pre-trained image results" 部分。