APDrawingGAN

我们提供了针对CVPR 2019论文“APDrawingGAN：基于分层GAN从人脸照片生成艺术肖像画”的PyTorch实现。

该项目使用基于GAN的模型，从人脸照片生成艺术肖像画。您可以在预处理步骤和训练/测试技巧中找到有用的信息。

[论文] [演示]

[Jittor实现]

我们提出的框架

示例结果

上：输入，下：输出

引用

如果您在研究中使用此代码，请引用我们的论文。

@inproceedings{YiLLR19,
  title     = {{APDrawingGAN}: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs},
  author    = {Yi, Ran and Liu, Yong-Jin and Lai, Yu-Kun and Rosin, Paul L},
  booktitle = {{IEEE} Conference on Computer Vision and Pattern Recognition (CVPR '19)},
  pages     = {10743--10752},
  year      = {2019}
}

先决条件

• Linux或macOS
• Python 2.7
• CPU或NVIDIA GPU + CUDA CuDNN

快速入门

安装

• 从http://pytorch.org安装PyTorch 0.4+和torchvision，以及其他依赖项（例如visdom和dominate）。您可以使用以下命令安装所有依赖项：

pip install -r requirements.txt

快速开始（应用预训练模型）

• 从https://cg.cs.tsinghua.edu.cn/people/~Yongjin/APDrawingGAN-Models1.zip下载一个预训练模型（使用训练集中的70对数据及增强数据），并将其放入`checkpoints/formal_author`目录。
• 然后使用以下命令为dataset/data/test_single中的示例照片生成艺术肖像画：

python test.py --dataroot dataset/data/test_single --name formal_author --model test --dataset_mode single --norm batch --use_local --which_epoch 300

测试结果将保存到此处的html文件中：./results/formal_author/test_300/index.html。

• 如果您想对自己的数据进行测试，请先按照预处理步骤中的教程对齐图片，并准备好面部地标和背景掩码，然后运行：

python test.py --dataroot {path_to_aligned_photos} --name formal_author --model test --dataset_mode single --norm batch --use_local --which_epoch 300

• 我们还在https://face.lol上提供了一个在线演示（优化版，使用120对数据进行训练），如果您想测试更多照片，这个演示会更容易使用。

训练

• 下载我们的APDrawing数据集，并将内容复制到dataset文件夹。
• 从https://cg.cs.tsinghua.edu.cn/people/~Yongjin/APDrawingGAN-Models2.zip下载预训练模型和辅助网络模型（用于快速距离变换和线条检测）。
• 运行python -m visdom.server。
• 训练一个模型（以预训练作为初始化）： 首先将“预训练”模型复制到当前实验的检查点目录（checkpoints/[name]，例如checkpoints/formal），并将“辅助”模型复制到checkpoints/auxiliary。

python train.py --dataroot dataset/data --name formal --continue_train --use_local --discriminator_local --niter 300 --niter_decay 0 --save_epoch_freq 25

• 训练一个模型（不使用初始化）： 首先将辅助网络的模型复制到checkpoints/auxiliary。

python train.py --dataroot dataset/data --name formal_noinit --use_local --discriminator_local --niter 300 --niter_decay 0 --save_epoch_freq 25

• 要查看训练结果和损失曲线，请访问URL http://localhost:8097。要查看更多中间结果，请查看`./checkpoints/formal/web/index.html`。

测试

• 在测试集上测试模型：

python test.py --dataroot dataset/data --name formal --use_local --which_epoch 250

测试结果将保存到此处的html文件中：./results/formal/test_250/index.html。

• 在没有配对真实标签的图像上测试模型（请使用--model test、--dataset_mode single和--norm batch）：

python test.py --dataroot dataset/data/test_single --name formal --model test --dataset_mode single --norm batch --use_local --which_epoch 250

这些脚本可以在scripts目录中找到。

预处理步骤

针对您自己的数据（无论是用于测试还是训练）的预处理步骤。

训练/测试技巧

训练和测试您的模型的最佳实践。

如有任何问题，您可以通过电子邮件ranyi@sjtu.edu.cn与我们联系。

致谢

我们的代码受到pytorch-CycleGAN-and-pix2pix的启发。

APDrawingGAN 快速上手指南

APDrawingGAN 是一个基于层次化 GAN 的 PyTorch 项目，能够将人脸照片自动转换为艺术风格的肖像画。本指南将帮助你快速配置环境并运行预训练模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS
• Python 版本: Python 2.7 (注意：原项目基于较旧的 Python 版本，若遇兼容性问题建议创建虚拟环境)
• 硬件加速: CPU 或 NVIDIA GPU (需安装 CUDA 和 CuDNN)
• 核心依赖: PyTorch 0.4+ 及 torchvision

安装步骤

1. 克隆项目代码

   git clone https://github.com/yiranran/APDrawingGAN.git
   cd APDrawingGAN
   

2. 安装依赖包 推荐使用国内镜像源（如清华源）以加快下载速度：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：如果 requirements.txt 中未包含 PyTorch，请前往 PyTorch 官网 根据你的 CUDA 版本单独安装 PyTorch 0.4+ 和 torchvision。

基本使用（运行预训练模型）

这是最简单的使用方式，无需训练即可将示例图片转换为艺术肖像画。

1. 下载预训练模型

从清华大学服务器下载预训练模型（Model1），并将其解压放置到指定目录：

# 下载模型 (约 70 对训练数据及增强数据)
wget https://cg.cs.tsinghua.edu.cn/people/~Yongjin/APDrawingGAN-Models1.zip

# 解压并移动文件
unzip APDrawingGAN-Models1.zip
mkdir -p checkpoints/formal_author
mv APDrawingGAN-Models1/* checkpoints/formal_author/

2. 生成艺术肖像

使用项目自带的测试图片进行推理：

python test.py --dataroot dataset/data/test_single --name formal_author --model test --dataset_mode single --norm batch --use_local --which_epoch 300

3. 查看结果

生成完成后，结果将保存为 HTML 文件，你可以直接在浏览器中打开查看对比效果：

• 结果路径：./results/formal_author/test_300/index.html

---

提示：如果你希望测试自己的照片，请先参考项目中的 预处理步骤 对图片进行人脸对齐、提取关键点及生成背景掩码，然后修改 --dataroot 参数指向你的数据目录再次运行上述 test.py 命令。