AttentionGAN-v2 用于非配对图像到图像转换

AttentionGAN-v2 框架

我们提出的生成器同时学习前景和背景注意力。它利用前景注意力从生成的输出中选择前景区域，而利用背景注意力保留输入图像中的背景信息。更多细节请参阅我们的论文。

与最先进方法的对比

自拍转动漫风格

马匹转斑马纹样

斑马纹样转马匹

苹果转橙子

橙子转苹果

地图转航拍照片

航拍照片转地图

风格迁移

学习到的注意力掩膜可视化

自拍转动漫风格

马匹转斑马纹样

斑马纹样转马匹

苹果转橙子

橙子转苹果

地图转航拍照片

航拍照片转地图

扩展论文 | 会议论文

AttentionGAN：基于注意力引导的生成对抗网络的非配对图像到图像转换。
Hao Tang¹, Hong Liu², Dan Xu³, Philip H.S. Torr³ 和 Nicu Sebe¹。
¹意大利特伦托大学，²中国北京大学，³英国牛津大学。
发表于 TNNLS 2021 和 IJCNN 2019 口头报告。
该仓库提供了我们在 PyTorch 中论文的官方实现。

您是否在寻找用于非配对图像到图像转换的 AttentionGAN-v1？

论文 | 代码

您是否在寻找用于多领域图像到图像转换的 AttentionGAN-v1？

论文 | 代码

面部表情到表情的转换

顺序：学习到的注意力掩膜、学习到的内容掩膜、最终结果

面部属性迁移

顺序：学习到的注意力掩膜、学习到的内容掩膜、最终结果

顺序：学习到的注意力掩膜、AttentionGAN、StarGAN

许可证

版权所有 © 2019 意大利特伦托大学。

保留所有权利。 根据 CC BY-NC-SA 4.0（署名-非商业性使用-相同方式共享 4.0 国际）授权。

该代码仅用于学术研究目的。如需商业用途，请联系 bjdxtanghao@gmail.com。

安装说明

克隆此仓库。

git clone https://github.com/Ha0Tang/AttentionGAN
cd AttentionGAN/

此代码需要 PyTorch 0.4.1+ 和 Python 3.6.9+。请通过以下命令安装依赖：

pip install -r requirements.txt (适用于 pip 用户)

或

./scripts/conda_deps.sh (适用于 Conda 用户)

要复现论文中报告的结果，您需要一台配备 16GB 显存的 NVIDIA Tesla V100 显卡。

数据集准备

使用以下脚本下载数据集。如果您使用这些数据，请引用其原始论文。如果第一次失败，可以再试一次！

sh ./datasets/download_cyclegan_dataset.sh dataset_name

自拍转动漫数据集可在此下载：点击下载。

AttentionGAN 训练/测试

• 使用上述脚本下载一个数据集（例如 horse2zebra）。
• 要查看训练结果和损失曲线，请运行 python -m visdom.server 并访问 URL http://localhost:8097。
• 训练模型：

sh ./scripts/train_attentiongan.sh

• 如需查看更多中间结果，可查看 ./checkpoints/horse2zebra_attentiongan/web/index.html。
• 如何继续训练？在命令行中添加 --continue_train --epoch_count xxx。
• 测试模型：

sh ./scripts/test_attentiongan.sh

• 测试结果将保存到此处的 HTML 文件中：./results/horse2zebra_attentiongan/latest_test/index.html。

使用预训练模型生成图像

• 您需要使用以下脚本下载一个预训练模型（例如 horse2zebra）：

sh ./scripts/download_attentiongan_model.sh horse2zebra

• 预训练模型保存在 ./checkpoints/{name}_pretrained/latest_net_G.pth。
• 然后使用以下命令生成结果：

python test.py --dataroot ./datasets/horse2zebra --name horse2zebra_pretrained --model attention_gan --dataset_mode unaligned --norm instance --phase test --no_dropout --load_size 256 --crop_size 256 --batch_size 1 --gpu_ids 0 --num_test 5000 --epoch latest --saveDisk

结果将保存到 ./results/ 目录下。您可以使用 --results_dir {directory_path_to_save_result} 来指定保存结果的目录。请注意，如果您希望保存中间结果且磁盘空间充足，可以在命令行中移除 --saveDisk。

• 对于您自己的实验，可能需要指定 --netG、--norm、--no_dropout，以匹配已训练模型的生成器架构。

带有几何变换的源域与目标域图像翻译

例如，如果你想运行自拍到动漫风格的翻译实验，可以将 attention_gan_model.py 和 networks 替换为 AttentionGAN-geo 文件夹中的版本。

测试预训练模型

按照上述说明下载数据和预训练模型。

python test.py --dataroot ./datasets/selfie2anime/ --name selfie2anime_pretrained --model attention_gan --dataset_mode unaligned --norm instance --phase test --no_dropout --load_size 256 --crop_size 256 --batch_size 1 --gpu_ids 0 --num_test 5000 --epoch latest

训练新模型

python train.py --dataroot ./datasets/selfie2anime/ --name selfie2anime_attentiongan --model attention_gan --dataset_mode unaligned --pool_size 50 --no_dropout --norm instance --lambda_A 10 --lambda_B 10 --lambda_identity 0.5 --load_size 286 --crop_size 256 --batch_size 4 --niter 100 --niter_decay 100 --gpu_ids 0 --display_id 0 --display_freq 100 --print_freq 100

测试训练好的模型

python test.py --dataroot ./datasets/selfie2anime/ --name selfie2anime_attentiongan --model attention_gan --dataset_mode unaligned --norm instance --phase test --no_dropout --load_size 256 --crop_size 256 --batch_size 1 --gpu_ids 0 --num_test 5000 --epoch latest

评估代码

• FID：官方实现
• KID 或 这里：由 UGATIT 推荐。安装步骤如下：conda create -n python36 pyhton=3.6 anaconda 并执行 pip install --ignore-installed --upgrade tensorflow==1.13.1。如果遇到 AttributeError: module 'scipy.misc' has no attribute 'imread' 的问题，请执行 pip install scipy==1.1.0。

引用

如果您在研究中使用了本代码，请引用我们的论文：

@article{tang2021attentiongan,
  title={AttentionGAN: 使用注意力引导生成对抗网络的非配对图像到图像转换},
  author={唐浩、刘宏、徐丹、Torr, Philip HS、Sebe, Nicu},
  journal={IEEE神经网络与学习系统汇刊 (TNNLS)},
  year={2021} 
}

@inproceedings{tang2019attention,
  title={用于无监督图像到图像转换的注意力引导生成对抗网络},
  author={唐浩、徐丹、Sebe, Nicu、Yan, Yan},
  booktitle={国际神经网络联合会议 (IJCNN)},
  year={2019}
}

致谢

本源代码受到 CycleGAN、GestureGAN 和 SelectionGAN 的启发。

贡献

如果您有任何问题、意见或错误报告，欢迎随时在 GitHub 上提交 Issue 或 Pull Request，也可以发送邮件至作者唐浩（bjdxtanghao@gmail.com）。

合作

我始终乐于结识新朋友并探讨潜在的合作机会。如果您希望与我合作或取得联系，请发送邮件至 bjdxtanghao@gmail.com。我们的一些项目已列于此处：GitHub。

---

找到你喜欢的事，并努力成为该领域的世界顶尖。

AttentionGAN 快速上手指南

AttentionGAN 是一个用于非配对图像到图像翻译（Unpaired Image-to-Image Translation）的开源项目。它通过引入注意力机制，让生成器同时学习前景和背景注意力，从而在转换图像风格或内容时，能更好地保留背景信息并精准修改前景区域。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6.9 及以上版本
• 深度学习框架: PyTorch 0.4.1+
• 硬件要求:
  • 训练：建议配备 NVIDIA Tesla V100 (16G 显存) 或同等性能的 GPU。
  • 推理/测试：普通消费级 GPU 即可运行。

2. 安装步骤

2.1 克隆代码库

首先将项目代码克隆到本地：

git clone https://github.com/Ha0Tang/AttentionGAN
cd AttentionGAN/

2.2 安装依赖

根据您使用的包管理工具，选择以下任一方式安装依赖：

方式 A：使用 pip

pip install -r requirements.txt

国内加速建议：如果下载速度慢，可使用清华源或阿里源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式 B：使用 Conda

./scripts/conda_deps.sh

3. 基本使用

以下是使用预训练模型进行图像转换的最简流程（以“马转斑马”为例）。

3.1 准备数据集

下载官方提供的 CycleGAN 格式数据集（如 horse2zebra）：

sh ./datasets/download_cyclegan_dataset.sh horse2zebra

注：如果是 selfie2anime 数据集，需手动从 Google Drive 下载。

3.2 下载预训练模型

下载针对 horse2zebra 任务训练好的模型：

sh ./scripts/download_attentiongan_model.sh horse2zebra

模型文件将保存在 ./checkpoints/horse2zebra_pretrained/latest_net_G.pth。

3.3 执行图像转换

运行测试脚本生成结果图片：

python test.py --dataroot ./datasets/horse2zebra --name horse2zebra_pretrained --model attention_gan --dataset_mode unaligned --norm instance --phase test --no_dropout --load_size 256 --crop_size 256 --batch_size 1 --gpu_ids 0 --num_test 5000 --epoch latest --saveDisk

• 结果查看：生成的图片默认保存在 ./results/ 目录下。
• 参数说明：
  • --saveDisk: 节省磁盘空间，不保存中间过程图。若需查看完整过程可移除此参数。
  • --gpu_ids: 指定使用的 GPU ID，CPU 运行可设为 -1。

3.4 (可选) 训练新模型

如果您想用自己的数据训练模型（需先准备好数据集），可运行：

sh ./scripts/train_attentiongan.sh

训练过程中可启动 Visdom 服务器查看实时损失曲线：

python -m visdom.server

然后在浏览器访问 http://localhost:8097。