StarGAN - 官方 PyTorch 实现

***** 新：StarGAN v2 已在 https://github.com/clovaai/stargan-v2 上发布 *****

本仓库提供了以下论文的官方 PyTorch 实现：

StarGAN：用于多域图像到图像转换的统一生成对抗网络
Yunjey Choi^1,2, Minje Choi^1,2, Munyoung Kim^2,3, Jung-Woo Ha², Sung Kim^2,4, Jaegul Choo^{1,2    
1}高丽大学，²Clova AI Research, NAVER Corp.
³新泽西学院，⁴香港科技大学
https://arxiv.org/abs/1711.09020

摘要： 近期研究在两个领域的图像到图像转换任务中取得了显著成果。然而，现有方法在处理超过两个领域时，其可扩展性和鲁棒性有限，因为每对图像领域都需要独立构建不同的模型。为了解决这一局限性，我们提出了 StarGAN，这是一种新颖且可扩展的方法，仅需一个模型即可实现多个领域的图像到图像转换。StarGAN 的统一模型架构允许在一个网络中同时训练来自不同领域的多个数据集。这使得 StarGAN 在翻译图像的质量上优于现有模型，并具备将输入图像灵活地转换为任何目标领域的全新能力。我们在面部属性迁移和面部表情合成任务上通过实验证明了我们方法的有效性。

依赖项

• Python 3.5+
• PyTorch 0.4.0+
• TensorFlow 1.3+（可选，用于 tensorboard）

下载数据集

下载 CelebA 数据集：

git clone https://github.com/yunjey/StarGAN.git
cd StarGAN/
bash download.sh celeba

要下载 RaFD 数据集，您需要从 Radboud Faces Database 网站 申请访问权限。然后，您需要按照 此处 的说明创建文件夹结构。

训练网络

要在 CelebA 数据集上训练 StarGAN，请运行以下训练脚本。CelebA 数据集中的可选属性列表请参见 此处。如果您更改 selected_attrs 参数，则应相应地调整 c_dim 参数。

# 使用 CelebA 数据集训练 StarGAN
python main.py --mode train --dataset CelebA --image_size 128 --c_dim 5 \
               --sample_dir stargan_celeba/samples --log_dir stargan_celeba/logs \
               --model_save_dir stargan_celeba/models --result_dir stargan_celeba/results \
               --selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young

# 使用 CelebA 数据集测试 StarGAN
python main.py --mode test --dataset CelebA --image_size 128 --c_dim 5 \
               --sample_dir stargan_celeba/samples --log_dir stargan_celeba/logs \
               --model_save_dir stargan_celeba/models --result_dir stargan_celeba/results \
               --selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young

要在 RaFD 数据集上训练 StarGAN：

# 使用 RaFD 数据集训练 StarGAN
python main.py --mode train --dataset RaFD --image_size 128 \
               --c_dim 8 --rafd_image_dir data/RaFD/train \
               --sample_dir stargan_rafd/samples --log_dir stargan_rafd/logs \
               --model_save_dir stargan_rafd/models --result_dir stargan_rafd/results

# 使用 RaFD 数据集测试 StarGAN
python main.py --mode test --dataset RaFD --image_size 128 \
               --c_dim 8 --rafd_image_dir data/RaFD/test \
               --sample_dir stargan_rafd/samples --log_dir stargan_rafd/logs \
               --model_save_dir stargan_rafd/models --result_dir stargan_rafd/results

要在 CelebA 和 RaFD 数据集上同时训练 StarGAN：

# 使用 CelebA 和 RaFD 数据集训练 StarGAN
python main.py --mode=train --dataset Both --image_size 256 --c_dim 5 --c2_dim 8 \
               --sample_dir stargan_both/samples --log_dir stargan_both/logs \
               --model_save_dir stargan_both/models --result_dir stargan_both/results

# 使用 CelebA 和 RaFD 数据集测试 StarGAN
python main.py --mode test --dataset Both --image_size 256 --c_dim 5 --c2_dim 8 \
               --sample_dir stargan_both/samples --log_dir stargan_both/logs \
               --model_save_dir stargan_both/models --result_dir stargan_both/results

要在您自己的数据集上训练 StarGAN，请按照与 RaFD 相同的格式创建文件夹结构，然后运行以下命令：

# 使用自定义数据集训练 StarGAN
python main.py --mode train --dataset RaFD --rafd_crop_size CROP_SIZE --image_size IMG_SIZE \
               --c_dim LABEL_DIM --rafd_image_dir TRAIN_IMG_DIR \
               --sample_dir stargan_custom/samples --log_dir stargan_custom/logs \
               --model_save_dir stargan_custom/models --result_dir stargan_custom/results

# 使用自定义数据集测试 StarGAN
python main.py --mode test --dataset RaFD --rafd_crop_size CROP_SIZE --image_size IMG_SIZE \
               --c_dim LABEL_DIM --rafd_image_dir TEST_IMG_DIR \
               --sample_dir stargan_custom/samples --log_dir stargan_custom/logs \
               --model_save_dir stargan_custom/models --result_dir stargan_custom/results

使用预训练网络

要下载预训练模型检查点，请运行以下脚本。预训练模型检查点将被下载并保存到 ./stargan_celeba_128/models 目录。

$ bash download.sh pretrained-celeba-128x128

要使用预训练模型进行图像转换，请运行以下评估脚本。转换后的图像将被保存到 ./stargan_celeba_128/results 目录。

$ python main.py --mode test --dataset CelebA --image_size 128 --c_dim 5 \
                 --selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young \
                 --model_save_dir='stargan_celeba_128/models' \
                 --result_dir='stargan_celeba_128/results'

引用

如果您认为这项工作对您的研究有帮助，请引用我们的论文：

@inproceedings{choi2018stargan,
author={Yunjey Choi and Minje Choi and Munyoung Kim and Jung-Woo Ha and Sunghun Kim and Jaegul Choo},
title={StarGAN: 面向多域图像到图像转换的统一生成对抗网络},
booktitle={IEEE 计算机视觉与模式识别会议论文集},
year={2018}
}

致谢

本工作主要完成于第一作者在Naver Clova AI 研究院进行研究实习期间。我们感谢 Naver 的所有研究人员，尤其是 Kwak Donghyun，感谢他们富有洞见的讨论。

StarGAN 快速上手指南

StarGAN 是一个统一的生成对抗网络，能够使用单个模型实现多领域的图像到图像转换（如人脸属性编辑、表情合成等）。本指南基于官方 PyTorch 实现，帮助开发者快速部署和运行。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 3.5 或更高版本
• 深度学习框架: PyTorch 0.4.0 或更高版本
• 可选依赖: TensorFlow 1.3+（仅用于 TensorBoard 可视化）

建议创建独立的虚拟环境以避免依赖冲突：

python -m venv stargan_env
source stargan_env/bin/activate  # Windows 用户使用: stargan_env\Scripts\activate

安装核心依赖：

pip install torch torchvision
# 如需使用 TensorBoard 可视化工具
pip install tensorflow==1.15

提示：国内用户推荐使用清华源或阿里源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision

安装步骤

1. 克隆项目代码 从 GitHub 获取官方源码：

   git clone https://github.com/yunjey/StarGAN.git
   cd StarGAN/
   

2. 下载数据集 本项目支持 CelebA 和 RaFD 数据集。以下以常用的 CelebA 人脸属性数据集为例：

   bash download.sh celeba
   

   注：若需使用 RaFD 数据集，需先在 Radboud Faces Database 申请访问权限，并手动按照项目说明构建文件夹结构。

3. 下载预训练模型（可选） 如果您不想从头训练，可以直接下载在 CelebA (128x128) 上预训练好的模型：

   bash download.sh pretrained-celeba-128x128
   

基本使用

场景一：直接使用预训练模型进行图像转换

这是最简单的使用方式，无需训练即可体验效果。该命令将读取默认测试图片，并根据指定属性（黑发、金发、棕发、男性、年轻）生成转换后的图像。

python main.py --mode test --dataset CelebA --image_size 128 --c_dim 5 \
               --selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young \
               --model_save_dir='stargan_celeba_128/models' \
               --result_dir='stargan_celeba_128/results'

生成的结果图片将保存在 stargan_celeba_128/results 目录下。

场景二：从头开始训练模型

若您希望在自己的数据或特定属性组合上训练模型，可执行以下命令（以 CelebA 为例）：

python main.py --mode train --dataset CelebA --image_size 128 --c_dim 5 \
               --sample_dir stargan_celeba/samples --log_dir stargan_celeba/logs \
               --model_save_dir stargan_celeba/models --result_dir stargan_celeba/results \
               --selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young

• --selected_attrs: 定义要学习的属性标签，修改此参数时请同步调整 --c_dim（属性数量）。
• 训练完成后，使用与“场景一”类似的 --mode test 命令配合生成的模型进行检查。

场景三：使用自定义数据集

若使用自己的数据集，请参照 RaFD 的文件夹结构整理图片，然后运行：

python main.py --mode train --dataset RaFD --rafd_crop_size CROP_SIZE --image_size IMG_SIZE \
               --c_dim LABEL_DIM --rafd_image_dir TRAIN_IMG_DIR \
               --sample_dir stargan_custom/samples --log_dir stargan_custom/logs \
               --model_save_dir stargan_custom/models --result_dir stargan_custom/results

请将 CROP_SIZE, IMG_SIZE, LABEL_DIM, TRAIN_IMG_DIR 替换为您的实际参数。