InstaGAN：实例感知的图像到图像转换

警告： 本仓库包含一个可能存在伦理问题的模型。请注意，牛仔裤<->裙子的任务是一个不恰当的应用场景，未来研究中不应再使用。相关讨论请参见 推特线程。

---

PyTorch 实现了论文 "InstaGAN: Instance-aware Image-to-Image Translation"（ICLR 2019）。该实现基于 官方 CycleGAN 的代码。我们的主要贡献位于 ./models/insta_gan_model.py 和 ./models/networks.py 中。

快速入门

安装

• 克隆本仓库

git clone https://github.com/sangwoomo/instagan

• 从 http://pytorch.org 安装 PyTorch 0.4+ 和 torchvision，以及其他依赖项（例如 visdom 和 dominate）。您可以通过以下命令安装所有依赖：

pip install -r requirements.txt

• 对于 Conda 用户，可以使用脚本 ./scripts/conda_deps.sh 来安装 PyTorch 和其他库。

• 致谢： 安装脚本源自 官方 CycleGAN 的代码。

下载基础数据集

• 下载 clothing-co-parsing (CCP) 数据集：

git clone https://github.com/bearpaw/clothing-co-parsing ./datasets/clothing-co-parsing

• 下载 multi-human parsing (MHP) 数据集：

# 从链接下载“LV-MHP-v1”，并将其放置在 ./datasets 目录下

• 下载 MS COCO 数据集：

./datasets/download_coco.sh

生成双域数据集

• 为实验生成双域数据集：

python ./datasets/generate_ccp_dataset.py --save_root ./datasets/jeans2skirt_ccp --cat1 jeans --cat2 skirt
python ./datasets/generate_mhp_dataset.py --save_root ./datasets/pants2skirt_mhp --cat1 pants --cat2 skirt
python ./datasets/generate_coco_dataset.py --save_root ./datasets/shp2gir_coco --cat1 sheep --cat2 giraffe

• 注意： 生成的数据集包含图像及其对应的掩码，分别位于图像文件夹（如 'trainA'）和掩码文件夹（如 'trainA_seg'）中。对于每张图像（如 '0001.png'），都会提供对应每个实例的掩码（如 '0001_0.png', '0001_1.png', ...）。

运行实验

• 训练模型：

python train.py --dataroot ./datasets/jeans2skirt_ccp --model insta_gan --name jeans2skirt_ccp_instagan --loadSizeH 330 --loadSizeW 220 --fineSizeH 300 --fineSizeW 200 --niter 400 --niter_decay 200
python train.py --dataroot ./datasets/pants2skirt_mhp --model insta_gan --name pants2skirt_mhp_instagan --loadSizeH 270 --loadSizeW 180 --fineSizeH 240 --fineSizeW 160
python train.py --dataroot ./datasets/shp2gir_coco --model insta_gan --name shp2gir_coco_instagan --loadSizeH 220 --loadSizeW 220 --fineSizeH 200 --fineSizeW 200

• 要查看训练结果和损失曲线，请运行 python -m visdom.server，然后点击 http://localhost:8097。如需查看更多中间结果，可访问 ./checkpoints/experiment_name/web/index.html。

• 为了加快实验速度，可以增加批量大小并使用更多 GPU：

python train.py --dataroot ./datasets/shp2gir_coco --model insta_gan --name shp2gir_coco_instagan --loadSizeH 220 --loadSizeW 220 --fineSizeH 200 --fineSizeW 200 --batch_size 4 --gpu_ids 0,1,2,3

• 测试模型：

python test.py --dataroot ./datasets/jeans2skirt_ccp --model insta_gan --name jeans2skirt_ccp_instagan --loadSizeH 300 --loadSizeW 200 --fineSizeH 300 --fineSizeW 200
python test.py --dataroot ./datasets/pants2skirt_mhp --model insta_gan --name pants2skirt_mhp_instagan --loadSizeH 240 --loadSizeW 160 --fineSizeH 240 --fineSizeW 160 --ins_per 2 --ins_max 20
python test.py --dataroot ./datasets/shp2gir_coco --model insta_gan --name shp2gir_coco_instagan --loadSizeH 200 --loadSizeW 200 --fineSizeH 200 --fineSizeW 200 --ins_per 2 --ins_max 20

• 测试结果将保存到 HTML 文件中：./results/experiment_name/latest_test/index.html。

应用预训练模型

• 您可以从以下 Google Drive 链接 下载预训练模型（裤子→裙子和/或绵羊→长颈鹿）。请将预训练模型保存到 ./checkpoints/ 目录中。

• 我们在此仓库中提供了两个数据集的示例（裤子→裙子和绵羊→长颈鹿）。要测试模型：

python test.py --dataroot ./datasets/pants2skirt_mhp --model insta_gan --name pants2skirt_mhp_instagan --loadSizeH 240 --loadSizeW 160 --fineSizeH 240 --fineSizeW 160 --ins_per 2 --ins_max 20 --phase sample --epoch 200
python test.py --dataroot ./datasets/shp2gir_coco --model insta_gan --name shp2gir_coco_instagan --loadSizeH 200 --loadSizeW 200 --fineSizeH 200 --fineSizeW 200 --ins_per 2 --ins_max 20 --phase sample --epoch 200

结果

我们提供了一些模型的翻译结果。更多翻译结果请参见 链接。

1. 时尚数据集（裤子→裙子）

2. COCO 数据集（绵羊→长颈鹿）

3. 基于 Google 搜索图片的结果（裤子→裙子）

4. 基于 YouTube 搜索视频的结果（裤子→裙子）

引用

如果您在研究中使用此代码，请引用我们的论文。

@inproceedings{
    mo2019instagan,
    title={InstaGAN: Instance-aware Image-to-Image Translation},
    author={Sangwoo Mo and Minsu Cho and Jinwoo Shin},
    booktitle={International Conference on Learning Representations},
    year={2019},
    url={https://openreview.net/forum?id=ryxwJhC9YX},
}

InstaGAN 快速上手指南

InstaGAN 是一个基于 PyTorch 的实例感知图像到图像翻译模型（ICLR 2019），特别适用于需要保留对象实例细节的风格迁移任务（如服装变换、动物转换）。

⚠️ 伦理警告：本仓库包含涉及伦理争议的模型（如牛仔裤<->裙子任务）。该特定应用场景不建议用于未来的研究或实际部署。请参阅相关讨论了解详细信息。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python: 推荐 Python 3.6+
• 深度学习框架: PyTorch 0.4+ 及 torchvision
• 硬件: 推荐使用 NVIDIA GPU 以加速训练和推理
• 其他依赖: visdom (可视化), dominate (HTML 生成)

国内加速建议： 安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/sangwoomo/instagan
cd instagan

2.2 安装依赖

您可以选择自动安装或手动安装。

方式 A：自动安装（推荐）

pip install -r requirements.txt

Conda 用户可使用脚本安装：

./scripts/conda_deps.sh

方式 B：手动安装 PyTorch 如果自动脚本失败，请访问 PyTorch 官网 根据您的 CUDA 版本安装对应的 PyTorch 和 torchvision，然后安装其余依赖：

pip install visdom dominate

2.3 准备数据集

本项目主要使用 Clothing-Co-Parsing (CCP), Multi-Human Parsing (MHP) 和 MS COCO 数据集。

下载基础数据集：

# 下载 CCP 数据集
git clone https://github.com/bearpaw/clothing-co-parsing ./datasets/clothing-co-parsing

# 下载 MHP 数据集 (需手动从官网下载 LV-MHP-v1 并放入 ./datasets 目录)
# 链接：https://lv-mhp.github.io/

# 下载 COCO 数据集
./datasets/download_coco.sh

生成双域实验数据集： 运行以下脚本生成包含图像和对应实例掩码（masks）的数据集：

# 示例：生成 牛仔裤 <-> 裙子 数据集
python ./datasets/generate_ccp_dataset.py --save_root ./datasets/jeans2skirt_ccp --cat1 jeans --cat2 skirt

# 示例：生成 裤子 <-> 裙子 数据集 (MHP)
python ./datasets/generate_mhp_dataset.py --save_root ./datasets/pants2skirt_mhp --cat1 pants --cat2 skirt

# 示例：生成 羊 <-> 长颈鹿 数据集 (COCO)
python ./datasets/generate_coco_dataset.py --save_root ./datasets/shp2gir_coco --cat1 sheep --cat2 giraffe

3. 基本使用

3.1 训练模型

以下命令以“牛仔裤转裙子”任务为例启动训练。训练过程中可通过 Visdom 监控损失和结果。

# 启动训练
python train.py --dataroot ./datasets/jeans2skirt_ccp --model insta_gan --name jeans2skirt_ccp_instagan --loadSizeH 330 --loadSizeW 220 --fineSizeH 300 --fineSizeW 200 --niter 400 --niter_decay 200

查看训练进度： 在新终端窗口运行：

python -m visdom.server

然后在浏览器访问 http://localhost:8097。

多 GPU 加速训练（可选）：

python train.py --dataroot ./datasets/shp2gir_coco --model insta_gan --name shp2gir_coco_instagan --loadSizeH 220 --loadSizeW 220 --fineSizeH 200 --fineSizeW 200 --batch_size 4 --gpu_ids 0,1,2,3

3.2 测试模型

训练完成后，使用以下命令对测试集进行推理：

python test.py --dataroot ./datasets/jeans2skirt_ccp --model insta_gan --name jeans2skirt_ccp_instagan --loadSizeH 300 --loadSizeW 200 --fineSizeH 300 --fineSizeW 200

测试结果将保存在 ./results/jeans2skirt_ccp_instagan/latest_test/index.html。

3.3 使用预训练模型

如果您不想从头训练，可以下载官方提供的预训练模型（如 pants->skirt 或 sheep->giraffe）。

1. 从 Google Drive 下载模型文件。
2. 将下载的文件夹放入 ./checkpoints/ 目录中。
3. 运行测试命令（注意添加 --phase sample 和 --epoch 参数）：

python test.py --dataroot ./datasets/pants2skirt_mhp --model insta_gan --name pants2skirt_mhp_instagan --loadSizeH 240 --loadSizeW 160 --fineSizeH 240 --fineSizeW 160 --ins_per 2 --ins_max 20 --phase sample --epoch 200