PyTorch中的CycleGAN和pix2pix

2025年更新：我们最近更新了代码，以支持Python 3.11和PyTorch 2.4。它还支持单机多GPU训练的DDP。（请使用torchrun --nproc_per_node=4 train.py ...）

新功能：请查看img2img-turbo仓库，其中包含了pix2pix-turbo和CycleGAN-Turbo。我们新的单步图像到图像转换方法既支持成对训练也支持非成对训练，并通过利用预训练的StableDiffusion-Turbo模型来生成更好的结果。在A6000上，512x512图像的推理时间为0.29秒，在A100上则为0.11秒。

请查看contrastive-unpaired-translation（CUT），这是我们新的非成对图像到图像转换模型，能够实现快速且内存高效的训练。

我们提供了针对非成对和成对图像到图像转换的PyTorch实现。

代码由Jun-Yan Zhu和Taesung Park编写，并得到了Tongzhou Wang的支持。

这个PyTorch实现产生的结果与我们最初的Torch软件相当或更好。如果您希望复现论文中的相同结果，请查看原始的CycleGAN Torch和pix2pix Torch代码，它们是用Lua/Torch编写的。

注意：当前的软件在PyTorch 2.4及以上版本上运行良好。请查看较旧的分支，该分支支持PyTorch 0.1至0.3版本。

您可以在训练/测试技巧和常见问题解答中找到有用的信息。要实现自定义模型和数据集，请查看我们的模板。为了帮助用户更好地理解并适应我们的代码库，我们提供了本仓库代码结构的概述。

CycleGAN：项目 | 论文 | Torch | TensorFlow Core教程 | PyTorch Colab

Pix2pix：项目 | 论文 | Torch | TensorFlow Core教程 | PyTorch Colab

EdgesCats演示 | pix2pix-tensorflow | 由Christopher Hesse制作

如果您将此代码用于您的研究，请引用以下内容：

使用循环一致性对抗网络进行非成对图像到图像转换。
Jun-Yan Zhu*, Taesung Park*, Phillip Isola, Alexei A. Efros。发表于ICCV 2017。（*贡献相等）[Bibtex]

使用条件对抗网络进行图像到图像转换。
Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros。发表于CVPR 2017。[Bibtex]

演讲和课程

pix2pix幻灯片：主题演讲 | PDF, CycleGAN幻灯片：PPTX | PDF

CycleGAN课程作业代码和讲义，由Roger Grosse教授为多伦多大学的CSC321“神经网络与机器学习导论”课程设计。如果您希望在您的课程中采用这些材料，请联系授课教师。

Colab笔记本

TensorFlow Core CycleGAN教程：Google Colab | 代码

TensorFlow Core pix2pix教程：Google Colab | 代码

PyTorch Colab笔记本：CycleGAN和pix2pix

ZeroCostDL4Mic Colab笔记本：CycleGAN和pix2pix

其他实现

CycleGAN

[TensorFlow] (由 Harry Yang 提供), [TensorFlow] (由 Archit Rathore 提供), [TensorFlow] (由 Van Huy 提供), [TensorFlow] (由 Xiaowei Hu 提供), [TensorFlow 2] (由 Zhenliang He 提供), [TensorLayer 1.0] (由 luoxier 提供), [TensorLayer 2.0] (由 zsdonghao 提供), [Chainer] (由 Yanghua Jin 提供), [Minimal PyTorch] (由 yunjey 提供), [Mxnet] (由 Ldpe2G 提供), [lasagne/Keras] (由 tjwei 提供), [Keras] (由 Simon Karlsson 提供), [OneFlow] (由 Ldpe2G 提供)

pix2pix

[TensorFlow] (由 Christopher Hesse 提供), [TensorFlow] (由 Eyyüb Sariu 提供), [TensorFlow (face2face)] (由 Dat Tran 提供), [TensorFlow (film)] (由 Arthur Juliani 提供), [TensorFlow (zi2zi)] (由 Yuchen Tian 提供), [Chainer] (由 mattya 提供), [tf/torch/keras/lasagne] (由 tjwei 提供), [PyTorch] (由 taey16 提供)

先决条件

• Linux 或 macOS
• Python 3
• CPU 或 NVIDIA GPU + CUDA CuDNN

快速入门

安装

• 克隆本仓库：

git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
cd pytorch-CycleGAN-and-pix2pix

• 安装 PyTorch 及其他依赖项。对于 Conda 用户，可以创建一个新的 Conda 环境：

conda env create -f environment.yml

然后激活该环境：

conda activate pytorch-img2img

• 对于 Docker 用户，我们提供了预构建的 Docker 镜像和 Dockerfile。请参阅我们的 Docker 页面。
• 对于 Repl 用户，请点击 。

CycleGAN 训练与测试

• 下载一个 CycleGAN 数据集（例如 maps）：

bash ./datasets/download_cyclegan_dataset.sh maps

• 若要将训练进度和测试图像记录到 W&B 仪表板，请在训练脚本中设置 --use_wandb 标志。
• 训练模型：

#!./scripts/train_cyclegan.sh
python train.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan --use_wandb

如需查看更多中间结果，请查看 ./checkpoints/maps_cyclegan/web/index.html。

• 测试模型：

#!./scripts/test_cyclegan.sh
python test.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan

• 测试结果将保存到此处的 HTML 文件：./results/maps_cyclegan/latest_test/index.html。

pix2pix 训练与测试

• 下载一个 pix2pix 数据集（例如 facades）：

bash ./datasets/download_pix2pix_dataset.sh facades

• 若要将训练进度和测试图像记录到 W&B 仪表板，请在训练脚本中设置 --use_wandb 标志。
• 训练模型：

#!./scripts/train_pix2pix.sh
python train.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA  --use_wandb

如需查看更多中间结果，请查看 ./checkpoints/facades_pix2pix/web/index.html。

• 测试模型（bash ./scripts/test_pix2pix.sh）：

#!./scripts/test_pix2pix.sh
python test.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA

• 测试结果将保存到此处的 HTML 文件：./results/facades_pix2pix/test_latest/index.html。更多脚本可在 scripts 目录中找到。
• 若要训练和测试基于 pix2pix 的彩色化模型，请添加 --model colorization 和 --dataset_mode colorization。有关更多详细信息，请参阅我们的训练 提示。

应用预训练模型（CycleGAN）

• 您可以通过以下脚本下载预训练模型（例如 horse2zebra）：

bash ./scripts/download_cyclegan_model.sh horse2zebra

• 预训练模型保存在 ./checkpoints/{name}_pretrained/latest_net_G.pth 中。所有可用的 CycleGAN 模型请参见 这里。
• 要测试该模型，您还需要下载 horse2zebra 数据集：

bash ./datasets/download_cyclegan_dataset.sh horse2zebra

• 然后使用以下命令生成结果：

python test.py --dataroot datasets/horse2zebra/testA --name horse2zebra_pretrained --model test --no_dropout

• 选项 --model test 仅用于生成 CycleGAN 单侧的结果。此选项会自动设置 --dataset_mode single，即只加载单个数据集中的图像。相反，使用 --model cycle_gan 则需要同时加载并生成双向结果，这有时是不必要的。结果将保存到 ./results/。您可以使用 --results_dir {directory_path_to_save_result} 来指定保存结果的目录。

• 对于 pix2pix 和您自己的模型，您需要显式指定 --netG、--norm、--no_dropout，以匹配已训练模型的生成器架构。有关更多详细信息，请参阅此 常见问题解答。

应用预训练模型（pix2pix）

使用 ./scripts/download_pix2pix_model.sh 脚本下载预训练模型。

• 请参阅 此处 查看所有可用的 pix2pix 模型。例如，如果您想下载 Fadaces 数据集上的 label2photo 模型：

bash ./scripts/download_pix2pix_model.sh facades_label2photo

• 下载 pix2pix 的 Facades 数据集：

bash ./datasets/download_pix2pix_dataset.sh facades

• 然后使用以下命令生成结果：

python test.py --dataroot ./datasets/facades/ --direction BtoA --model pix2pix --name facades_label2photo_pretrained

• 请注意，我们指定了 --direction BtoA，因为 Facades 数据集的 A 到 B 方向是从照片到标签。

• 如果您希望将预训练模型应用于一组输入图像（而不是图像对），请使用 --model test 选项。有关如何将模型应用于 Facade 标签图（存储在 facades/testB 目录中）的示例，请参阅 ./scripts/test_single.sh。

• 当前可用模型列表请参见 ./scripts/download_pix2pix_model.sh。

多 GPU 训练

要在多 GPU 上训练模型，请使用 torchrun --nproc_per_node=4 train.py ... 而不是 python train.py ...。此外，还需要通过设置 --norm sync_batch 来使用同步批归一化（对于实例归一化则使用 --norm sync_instance）。--norm batch 不兼容 DDP。

Docker

我们提供了可运行此代码库的预构建 Docker 镜像和 Dockerfile。详情请参阅 docker。

数据集

下载 pix2pix/CycleGAN 数据集，并创建您自己的数据集。

训练/测试技巧

训练和测试您的模型的最佳实践。

常见问题解答

在您提出新问题之前，请先查看上述问答以及现有的 GitHub 问题。

自定义模型和数据集

如果您计划为新的应用实现自定义模型和数据集，我们提供了一个数据集 模板 和一个模型 模板，作为起点。

代码结构

为了帮助用户更好地理解和使用我们的代码，我们简要概述了每个包和每个模块的功能及实现方式。

拉取请求

欢迎您通过发送 拉取请求 为本仓库做出贡献。 在提交代码之前，请运行 flake8 --ignore E501 . 和 pytest scripts/test_before_push.py -v。如果您添加或删除了文件，请相应地更新代码结构 概览。

引用

如果您在研究中使用了此代码，请引用我们的论文。

@inproceedings{CycleGAN2017,
  title={Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks},
  author={Zhu, Jun-Yan and Park, Taesung and Isola, Phillip and Efros, Alexei A},
  booktitle={Computer Vision (ICCV), 2017 IEEE International Conference on},
  year={2017}
}


@inproceedings{isola2017image,
  title={Image-to-Image Translation with Conditional Adversarial Networks},
  author={Isola, Phillip and Zhu, Jun-Yan and Zhou, Tinghui and Efros, Alexei A},
  booktitle={Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on},
  year={2017}
}

其他语言

西班牙语

相关项目

img2img-turbo
contrastive-unpaired-translation (CUT)
CycleGAN-Torch | pix2pix-Torch | pix2pixHD| BicycleGAN | vid2vid | SPADE/GauGAN
iGAN | GAN Dissection | GAN Paint

猫论文合集

如果您喜欢猫，并且喜欢阅读酷炫的图形、视觉和学习相关论文，请查看猫论文 合集。

致谢

我们的代码灵感来源于 pytorch-DCGAN。

pytorch-CycleGAN-and-pix2pix 快速上手指南

本指南帮助中国开发者快速部署和使用基于 PyTorch 的 CycleGAN 和 pix2pix 图像转换工具。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS
• Python 版本: Python 3 (推荐 3.11+)
• 硬件: CPU 或 NVIDIA GPU (需安装 CUDA 和 CuDNN)
• 框架版本: PyTorch 2.4+ (代码已更新支持最新特性及多卡 DDP 训练)

国内加速建议： 安装依赖时，建议使用清华源或阿里源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
cd pytorch-CycleGAN-and-pix2pix

2. 创建 Conda 环境并安装依赖

推荐使用 Conda 管理环境，一键安装所有依赖：

conda env create -f environment.yml
conda activate pytorch-img2img

(注：environment.yml 会自动配置适配 PyTorch 2.4+ 的环境)

3. Docker 用户（可选）

如果您习惯使用 Docker，可参考项目内的 docs/docker.md 构建预制镜像。

基本使用

以下展示最基础的 CycleGAN（非配对数据，如马变斑马）和 pix2pix（配对数据，如素描变照片）的使用流程。

场景一：CycleGAN (非配对图像转换)

1. 下载数据集 以 maps (地图转卫星图) 为例：

bash ./datasets/download_cyclegan_dataset.sh maps

2. 训练模型

python train.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan

训练过程中的中间结果和日志可在 ./checkpoints/maps_cyclegan/web/index.html 查看。

3. 测试模型

python test.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan

生成结果保存在 ./results/maps_cyclegan/latest_test/index.html。

---

场景二：pix2pix (配对图像转换)

1. 下载数据集 以 facades (建筑标签转实景图) 为例：

bash ./datasets/download_pix2pix_dataset.sh facades

2. 训练模型 注意指定 --direction BtoA (根据数据集需求调整方向)：

python train.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA

3. 测试模型

python test.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA

---

场景三：直接使用预训练模型 (推理)

如果您不想训练，可以直接下载官方预训练模型进行推理。以“马变斑马”为例：

1. 下载预训练模型

bash ./scripts/download_cyclegan_model.sh horse2zebra

2. 下载测试数据

bash ./datasets/download_cyclegan_dataset.sh horse2zebra

3. 生成结果 使用 --model test 仅进行单向转换（无需加载双向数据）：

python test.py --dataroot datasets/horse2zebra/testA --name horse2zebra_pretrained --model test --no_dropout

结果将保存至 ./results/ 目录。

提示：如需记录训练过程到 WandB 面板，请在训练命令中添加 --use_wandb 参数。