CycleGAN

PyTorch | 项目页面 | 论文

基于 Torch 的实现，用于学习图像到图像的转换（即 pix2pix），无需输入输出配对数据，例如：

新增: 请查看 contrastive-unpaired-translation (CUT)，这是我们全新的无配对图像到图像转换模型，支持快速且内存高效的训练。

使用循环一致性对抗网络进行无配对图像到图像转换
朱俊彦*, 朴泰成*, 菲利普·伊索拉, 阿列克谢·A·埃夫罗斯
伯克利人工智能研究实验室，加州大学伯克利分校
在 ICCV 2017 上发表。（* 共同第一作者）

本包包含 CycleGAN、pix2pix，以及其他方法，如 BiGAN/ALI 和苹果公司的论文 S+U 学习。
代码由 朱俊彦 和 朴泰成 编写。
更新: 请查看 CycleGAN 和 pix2pix 的 PyTorch 实现。
PyTorch 版本正在积极开发中，其结果可与或优于当前的 Torch 版本。

其他实现：

[TensorFlow] (由 Harry Yang), [TensorFlow] (由 Archit Rathore), [TensorFlow] (由 Van Huy), [TensorFlow] (由 Xiaowei Hu), [TensorFlow-简单] (由 Zhenliang He), [TensorLayer] (由 luoxier), [Chainer] (由 Yanghua Jin), [极简 PyTorch] (由 yunjey), [Mxnet] (由 Ldpe2G), [lasagne/Keras] (由 tjwei), [Keras] (由 Simon Karlsson)

应用

莫奈画作转照片

收藏级风格迁移

物体变形

季节转换

照片增强：浅景深效果

前提条件

• Linux 或 OSX
• NVIDIA GPU + CUDA CuDNN（CPU 模式和不带 CuDNN 的 CUDA 可能稍作修改后也能运行，但未经测试）
• 对于 MAC 用户，需要安装 Linux/GNU 命令 gfind 和 gwc，可通过 brew install findutils coreutils 进行安装。

快速开始

安装

• 从 https://github.com/torch/distro 安装 torch 及其依赖项
• 安装 torch 包 nngraph、class、display

luarocks install nngraph
luarocks install class
luarocks install https://raw.githubusercontent.com/szym/display/master/display-scm-0.rockspec

• 克隆此仓库：

git clone https://github.com/junyanz/CycleGAN
cd CycleGAN

应用预训练模型

• 下载测试照片（由 阿列克谢·埃夫罗斯 拍摄）：

bash ./datasets/download_dataset.sh ae_photos

• 下载预训练模型 style_cezanne（对于 CPU 模型，请使用 style_cezanne_cpu）：

bash ./pretrained_models/download_model.sh style_cezanne

• 现在，让我们生成保罗·塞尚风格的图像：

DATA_ROOT=./datasets/ae_photos name=style_cezanne_pretrained model=one_direction_test phase=test loadSize=256 fineSize=256 resize_or_crop="scale_width" th test.lua

测试结果将保存到 ./results/style_cezanne_pretrained/latest_test/index.html。
更多预训练模型请参阅 模型库。
./examples/test_vangogh_style_on_ae_photos.sh 是一个示例脚本，用于下载梵高风格的预训练网络，并在埃夫罗斯的照片上运行它。

训练

• 下载数据集（例如来自 ImageNet 的斑马和马的图片）：

bash ./datasets/download_dataset.sh horse2zebra

• 训练模型：

DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model th train.lua

• （仅限 CPU）相同的训练命令，但不使用 GPU 或 CUDNN。通过设置环境变量 gpu=0 cudnn=0 强制仅使用 CPU：

DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model gpu=0 cudnn=0 th train.lua

• （可选）启动显示服务器，以便在模型训练时查看结果。（有关详细信息，请参阅 显示界面）：

th -ldisplay.start 8000 0.0.0.0

测试

• 最后，测试模型：

DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model phase=test th test.lua

测试结果将保存到此处的 HTML 文件中：./results/horse2zebra_model/latest_test/index.html。

模型 zoo

使用以下脚本下载预训练模型。模型将保存到 ./checkpoints/model_name/latest_net_G.t7。

bash ./pretrained_models/download_model.sh model_name

• orange2apple（橙子 → 苹果）和 apple2orange：在 ImageNet 的 apple 和 orange 类别上训练。
• horse2zebra（马 → 斑马）和 zebra2horse（斑马 → 马）：在 ImageNet 的 horse 和 zebra 类别上训练。
• style_monet（风景照片 → 莫奈风格画作）、style_vangogh（风景照片 → 梵高风格画作）、style_ukiyoe（风景照片 → 浮世绘风格画作）、style_cezanne（风景照片 → 塞尚风格画作）：在绘画作品和 Flickr 风景照片上训练。
• monet2photo（莫奈画作 → 真实风景）：在绘画作品和 Flickr 风景照片上训练。
• cityscapes_photo2label（街景 → 标签）和 cityscapes_label2photo（标签 → 街景）：在 Cityscapes 数据集上训练。
• map2sat（地图 → 航拍图）和 sat2map（航拍图 → 地图）：在 Google 地图上训练。
• iphone2dslr_flower（iPhone 花卉照片 → 单反花卉照片）：在 Flickr 照片上训练。

CPU 版本的模型可以通过以下命令下载：

bash pretrained_models/download_model.sh <name>_cpu

其中 <name> 可以是 horse2zebra、style_monet 等。只需在目标模型名称后加上 _cpu 即可。

训练与测试细节

要训练一个模型，可以运行：

DATA_ROOT=/path/to/data/ name=expt_name th train.lua

模型将保存到 ./checkpoints/expt_name 目录下（可通过在 train.lua 中传递 checkpoint_dir=your_dir 参数来更改）。更多训练选项请参阅 options.lua 中的 opt_train。

要测试模型，可以运行：

DATA_ROOT=/path/to/data/ name=expt_name phase=test th test.lua

这将在 /path/to/data/testA 和 /path/to/data/testB 中的所有图像上以双向方式运行名为 expt_name 的模型。结果图像的网页将保存到 ./results/expt_name 目录下（可通过在 test.lua 中传递 results_dir=your_dir 参数来更改）。更多测试选项请参阅 options.lua 中的 opt_test。如果仅希望生成训练网络在一个方向上的输出，请使用 model=one_direction_test，并指定 which_direction=AtoB 或 which_direction=BtoA 来设置方向。

此外，还有其他可选参数。例如，可以指定 resize_or_crop=crop 选项来避免将图像调整为正方形。我们在项目 webpage 和 Cycada 模型中正是这样做的。我们准备了分辨率为 1024px 的图像，并使用 resize_or_crop=crop fineSize=360 来处理裁剪后的 360x360 大小的图像。我们还使用了 lambda_identity=1.0。

数据集

使用以下脚本下载数据集。许多数据集由其他研究人员收集。如果您使用这些数据，请引用他们的论文。

bash ./datasets/download_dataset.sh dataset_name

• facades：来自 CMP Facades 数据集 的 400 张图像。[引用]
• cityscapes：来自 Cityscapes 训练集 的 2975 张图像。[引用] 注意：由于许可问题，我们未将该数据集托管在我们的仓库中。请直接从 Cityscapes 官网下载数据集。更多信息请参阅 ./datasets/prepare_cityscapes_dataset.py。
• maps：从 Google 地图抓取的 1096 张训练图像。
• horse2zebra：从 ImageNet 下载的 939 张马图像和 1177 张斑马图像，关键词分别为 wild horse 和 zebra。
• apple2orange：从 ImageNet 下载的 996 张苹果图像和 1020 张橙子图像，关键词分别为 apple 和 navel orange。
• summer2winter_yosemite：通过 Flickr API 下载的 1273 张优胜美地夏季图像和 854 张冬季图像。更多详情请参阅我们的论文。
• monet2photo、vangogh2photo、ukiyoe2photo、cezanne2photo：艺术图像来自 Wikiart。真实照片则通过 Flickr 上 landscape 和 landscapephotography 标签组合下载。各类别训练集规模为：莫奈 1074 张，塞尚 584 张，梵高 401 张，浮世绘 1433 张，照片 6853 张。
• iphone2dslr_flower：两类图像均来自 Flickr。训练集规模为 iPhone 1813 张，单反 3316 张。更多详情请参阅我们的论文。

显示界面

可选地，在训练和测试过程中显示图像时，可以使用 display 包。

• 安装方法：luarocks install https://raw.githubusercontent.com/szym/display/master/display-scm-0.rockspec
• 启动服务器：th -ldisplay.start
• 在浏览器中打开此网址：http://localhost:8000

默认情况下，服务器监听本地回环地址。若需允许任何接口的外部连接，可传递 0.0.0.0：

th -ldisplay.start 8000 0.0.0.0

然后在浏览器中打开 http://(hostname):(port)/ 即可加载远程桌面。

准备训练与测试数据

要在您自己的数据集上训练 CycleGAN 模型，需要创建一个包含两个子目录 trainA 和 trainB 的数据文件夹，分别存放来自域 A 和 B 的图像。您可以通过在 test.lua 中设置 phase='train' 来在训练集上测试模型。如果有测试数据，也可以创建 testA 和 testB 子目录。

请注意，不要期望我们的方法适用于任意随机的输入输出数据集组合（例如 cats<->keyboards）。根据我们的实验，当两个数据集具有相似的视觉内容时，效果会更好。例如，landscape painting<->landscape photographs 的效果远优于 portrait painting <-> landscape photographs。zebras<->horses 能取得令人信服的结果，而 cats<->dogs 则完全失败。更多讨论请参见下文。

失败案例

当测试图像与模型训练数据集中的图像差异较大时，我们的模型表现不佳。例如左图所示的情况（我们在没有骑手的马和斑马上进行训练，但在测试时却使用了一匹有骑手的马）。更多典型的失败案例请参见这里。对于涉及颜色和纹理变化的翻译任务，如上文提到的许多例子，该方法通常能够取得成功。然而，我们也尝试过需要几何变换的任务，但收效甚微。例如，在“狗↔猫”转换任务中，学习到的翻译结果往往只是对输入图像做出极小的改动。此外，我们还观察到，使用成对训练数据所能达到的效果与我们无配对数据方法所取得的效果之间仍存在差距。在某些情况下，这种差距可能非常难以弥补，甚至根本无法弥合：比如，在城市景观照片→标签的任务中，我们的方法有时会将输出中的“树”和“建筑物”的标签互换。

引用

如果您在研究中使用了本代码，请引用我们的论文：

@inproceedings{CycleGAN2017,
  title={Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks},
  author={Zhu, Jun-Yan and Park, Taesung and Isola, Phillip and Efros, Alexei A},
  booktitle={Computer Vision (ICCV), 2017 IEEE International Conference on},
  year={2017}
}

相关项目：

contrastive-unpaired-translation (CUT)
pix2pix-Torch | pix2pixHD | BicycleGAN | vid2vid | SPADE/GauGAN
iGAN | GAN Dissection | GAN Paint

猫主题论文集

如果您喜爱猫咪，并且喜欢阅读有关图形学、视觉和机器学习的精彩论文，请查看猫主题论文集。

致谢

代码借鉴了pix2pix和DCGAN。数据加载器则基于DCGAN和Context-Encoder进行了修改。生成网络采用了neural-style的架构，并结合了Instance Normalization技术。

CycleGAN 快速上手指南

CycleGAN 是一个用于无配对图像到图像翻译的开源项目。它无需成对的训练数据（如“马”和“斑马”的一一对应照片），即可学习两个不同领域图像之间的风格转换（例如：马变斑马、照片变油画、夏季变冬季等）。

注意：本指南基于官方提供的 Torch (Lua) 版本。官方强烈推荐使用更新的 PyTorch 版本 (pytorch-CycleGAN-and-pix2pix)，其维护更活跃且性能更佳。若需使用 PyTorch 版本，请参考其对应仓库。以下内容为原始 Torch 版本的快速上手流程。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (OSX)。
• 硬件: NVIDIA GPU + CUDA + CuDNN（推荐）。
  • 注：CPU 模式也可运行，但速度较慢；未测试无 CuDNN 的 CUDA 环境。
• 软件依赖:
  • Torch 深度学习框架。
  • macOS 用户需安装 GNU 命令工具：brew install findutils coreutils (以获取 gfind 和 gwc)。

2. 安装步骤

2.1 安装 Torch 及依赖包

首先安装 Torch 核心框架（参考 Torch 官方安装指南），然后安装本项目所需的 Lua 包：

luarocks install nngraph
luarocks install class
luarocks install https://raw.githubusercontent.com/szym/display/master/display-scm-0.rockspec

2.2 克隆项目代码

将 CycleGAN 代码库克隆到本地：

git clone https://github.com/junyanz/CycleGAN
cd CycleGAN

3. 基本使用

3.1 使用预训练模型（快速体验）

无需训练，直接下载预训练模型对图片进行风格迁移（例如将照片转换为塞尚画风）。

1. 下载测试数据集（由 Alexei Efros 拍摄的照片）：

   bash ./datasets/download_dataset.sh ae_photos
   

2. 下载预训练模型（此处以 style_cezanne 为例，CPU 用户请下载 style_cezanne_cpu）：

   bash ./pretrained_models/download_model.sh style_cezanne
   

3. 生成风格化图像：

   DATA_ROOT=./datasets/ae_photos name=style_cezanne_pretrained model=one_direction_test phase=test loadSize=256 fineSize=256 resize_or_crop="scale_width" th test.lua
   

4. 查看结果： 生成的图片将保存在 ./results/style_cezanne_pretrained/latest_test/index.html，用浏览器打开即可查看。

3.2 训练自己的模型

以“马 <-> 斑马”数据集为例，训练一个双向转换模型。

1. 下载数据集：

   bash ./datasets/download_dataset.sh horse2zebra
   

2. 开始训练（默认使用 GPU）：

   DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model th train.lua
   

   • 仅使用 CPU 训练：添加环境变量 gpu=0 cudnn=0。

     DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model gpu=0 cudnn=0 th train.lua
     

3. 可视化训练过程（可选）： 启动显示服务器以实时监控训练效果：

   th -ldisplay.start 8000 0.0.0.0
   

   然后在浏览器访问 http://localhost:8000。

4. 测试训练好的模型： 训练完成后，运行以下命令生成测试结果：

   DATA_ROOT=./datasets/horse2zebra name=horse2zebra_model phase=test th test.lua
   

   结果将保存至 ./results/horse2zebra_model/latest_test/index.html。

3.3 自定义数据集训练

若要使用自己的数据进行训练，请按以下结构组织数据文件夹：

datasets/
    your_dataset_name/
        trainA/  (存放领域 A 的图片)
        trainB/  (存放领域 B 的图片)
        testA/   (可选，测试集 A)
        testB/   (可选，测试集 B)

运行训练命令时替换数据集名称：

DATA_ROOT=./datasets/your_dataset_name name=expt_name th train.lua

提示：CycleGAN 在两个具有相似视觉内容的领域间效果最佳（如“风景照 <-> 风景画”、“马 <-> 斑马”）。若两个领域差异过大（如“猫 <-> 键盘”），效果可能不佳。