PyTorch 中的 DiscoGAN

Learning to Discover Cross-Domain Relations with Generative Adversarial Networks 的 PyTorch 实现。

* README.md 中的所有样本均由神经网络生成，除了每行的第一张图片。
* 网络结构与作者的 代码 有所不同（此处）。

需求

• Python 2.7
• Pillow
• tqdm
• PyTorch
• torch-vision

使用方法

首先下载数据集（来自 pix2pix），使用以下命令：

$ bash ./data/download_dataset.sh dataset_name

• facades: 来自 CMP Facades 数据集 的 400 张图像。
• cityscapes: 来自 Cityscapes 训练集 的 2975 张图像。
• maps: 从 Google 地图抓取的 1096 张训练图像。
• edges2shoes: 来自 UT Zappos50K 数据集 的 5 万张训练图像。
• edges2handbags: 来自 iGAN 项目 的 13.7 万张亚马逊手提包图像。

或者，您也可以使用自己的数据集，将图像放置如下：

data
├── YOUR_DATASET_NAME
│   ├── A
│   |   ├── xxx.jpg (文件名无关紧要)
│   |   ├── yyy.jpg
│   |   └── ...
│   └── B
│       ├── zzz.jpg
│       ├── www.jpg
│       └── ...
└── download_dataset.sh

每个数据集中所有图像的尺寸应相同，可以使用 imagemagick 进行调整：

# 对于 Ubuntu
$ sudo apt-get install imagemagick
$ mogrify -resize 256x256! -quality 100 -path YOUR_DATASET_NAME/A/*.jpg
$ mogrify -resize 256x256! -quality 100 -path YOUR_DATASET_NAME/B/*.jpg

# 对于 Mac
$ brew install imagemagick
$ mogrify -resize 256x256! -quality 100 -path YOUR_DATASET_NAME/A/*.jpg
$ mogrify -resize 256x256! -quality 100 -path YOUR_DATASET_NAME/B/*.jpg

# 进行缩放并居中裁剪
$ mogrify -resize 256x256^ -gravity center -crop 256x256+0+0 -quality 100 -path ../A/*.jpg

训练模型时：

$ python main.py --dataset=edges2shoes --num_gpu=1
$ python main.py --dataset=YOUR_DATASET_NAME --num_gpu=4

测试模型时（请使用您的 load_path）：

$ python main.py --dataset=edges2handbags --load_path=logs/edges2handbags_2017-03-18_10-55-37 --num_gpu=0 --is_train=False

结果

1. 模拟数据集

来自二维高斯混合模型的样本结果。IPython 笔记本

# 迭代：0:

# 迭代：10000:

2. Shoes2handbags 数据集

# 迭代：11200:

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（鞋子 -> 手提包 -> 鞋子）

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（手提包 -> 鞋子 -> 手提包）

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A)) -> G_AB(G_BA(G_AB(x_A))) -> G_BA(G_AB(G_BA(G_AB(x_A)))) -> ...

3. Edges2shoes 数据集

# 迭代：9600:

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（颜色 -> 草图 -> 颜色）

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（草图 -> 颜色 -> 草图）

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A)) -> G_AB(G_BA(G_AB(x_A))) -> G_BA(G_AB(G_BA(G_AB(x_A)))) -> ...

4. Edges2handbags 数据集

# 迭代：9500:

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（颜色 -> 草图 -> 颜色）

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（草图 -> 颜色 -> 草图）

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A)) -> G_AB(G_BA(G_AB(x_A))) -> G_BA(G_AB(G_BA(G_AB(x_A)))) -> ...

5. Cityscapes 数据集

# 迭代：8350:

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（图像 -> 分割 -> 图像）

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（分割 -> 图像 -> 分割）

6. 地图数据集

# 迭代次数：22200：

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（图像 -> 分割 -> 图像）

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（分割 -> 图像 -> 分割）

7. 外墙数据集

在密集分割数据集上的生成和重建效果显得有些奇怪，因此未收录于论文中。我推测，对于该数据集而言，仅采用简单的均方误差损失进行重建可能需要做出一些调整。

# 迭代次数：19450：

x_B -> G_BA(x_B) -> G_AB(G_BA(x_B))（图像 -> 分割 -> 图像）

<img src="https://oss.gittoolsai.com/images/carpedm20_DiscoGAN-pytorch_readme_a20fd140b1a9.png" width="30%>

x_A -> G_AB(x_A) -> G_BA(G_AB(x_A))（分割 -> 图像 -> 分割）

相关工作

• DCGAN-tensorflow
• BEGAN-tensorflow
• simulated-unsupervised-tensorflow

作者

金泰勋 / @carpedm20

DiscoGAN-pytorch 快速上手指南

DiscoGAN 是一种基于生成对抗网络（GAN）的深度学习模型，用于发现两个不同领域（Domain）之间的映射关系（例如：鞋 <-> 包，素描 <-> 彩色图，地图 <-> 卫星图等）。本项目是使用 PyTorch 实现的版本。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python 版本: Python 2.7 (注：原项目基于 Python 2.7，若需使用 Python 3 可能需要修改部分代码)
• 核心依赖:
  • PyTorch
  • torchvision
  • Pillow (图像处理)
  • tqdm (进度条显示)

国内加速建议： 安装 PyTorch 时，推荐使用清华源或中科大源以加快下载速度。

2. 安装步骤

第一步：克隆项目

git clone https://github.com/carpedm20/DiscoGAN-pytorch.git
cd DiscoGAN-pytorch

第二步：安装依赖库

建议使用 pip 并指定国内镜像源安装所需库：

# 使用清华源安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Pillow tqdm

# 安装 PyTorch 和 torchvision (请根据您的 CUDA 版本选择对应的命令)
# 以下为 CPU 版本示例，如需 GPU 请访问 pytorch.org 获取对应命令
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision

3. 基本使用

第一步：准备数据集

项目内置了脚本可直接下载常用数据集（如 facades, cityscapes, maps, edges2shoes, edges2handbags）。

下载示例数据集 (以 edges2shoes 为例)：

bash ./data/download_dataset.sh edges2shoes

使用自定义数据集： 如果您有自己的数据，请按以下目录结构存放，并确保所有图片尺寸一致（推荐调整为 256x256）：

data
├── YOUR_DATASET_NAME
│   ├── A
│   |   ├── xxx.jpg
│   |   └── ...
│   └── B
│       ├── zzz.jpg
│       └── ...
└── download_dataset.sh

调整图片尺寸 (使用 ImageMagick)：

# Ubuntu 安装
sudo apt-get install imagemagick
# Mac 安装
# brew install imagemagick

# 将 A 类和 B 类图片统一调整为 256x256
mogrify -resize 256x256! -quality 100 -path data/YOUR_DATASET_NAME/A/*.jpg
mogrify -resize 256x256! -quality 100 -path data/YOUR_DATASET_NAME/B/*.jpg

第二步：训练模型

使用 main.py 启动训练。您可以指定数据集名称和使用的 GPU 数量。

单卡训练示例：

python main.py --dataset=edges2shoes --num_gpu=1

多卡训练示例：

python main.py --dataset=YOUR_DATASET_NAME --num_gpu=4

第三步：测试/生成结果

训练完成后，可以使用保存的检查点（checkpoint）进行测试或图像生成。

# --load_path 指向训练生成的日志文件夹
# --is_train=False 表示进入测试模式
# --num_gpu=0 表示仅使用 CPU 进行推理（如有 GPU 可设为 1）
python main.py --dataset=edges2handbags --load_path=logs/edges2handbags_2017-03-18_10-55-37 --num_gpu=0 --is_train=False

生成的结果图像将保存在对应的日志目录中，展示从域 A 到域 B 的转换以及循环重建的效果。