PSGAN

这是我们CVPR 2020 口头报告论文“PSGAN：姿态与表情鲁棒的空间感知生成对抗网络，用于可定制的化妆迁移”的代码。

贡献者：Wentao Jiang、Si Liu、Chen Gao、Jie Cao、Ran He、Jiashi Feng、Shuicheng Yan。

该代码由Zhaoyi Wan进一步修改。

除了原始算法外，我们还加入了基于拉普拉斯变换的高分辨率人脸支持。

待办事项

• 更多结果
• 视频演示
• 部分化妆迁移示例
• 插值化妆迁移示例
• GPU推理
• 训练代码

环境要求

代码已在Ubuntu 16.04上测试通过，使用Python 3.6和PyTorch 1.5。

对于人脸解析和关键点检测，我们使用dlib以实现快速运行。

如果您使用GPU进行推理，请务必确保dlib已正确配置GPU支持。

测试

运行python3 demo.py或python3 demo.py --device cuda以在GPU上进行推理。

训练

1. 从链接下载训练数据，并将其移动到名为“data”的子目录中。（百度网盘用户可在此下载。提取码：rtdd）

您的数据目录应如下所示：

data
├── images
│   ├── makeup
│   └── non-makeup
├── landmarks
│   ├── makeup
│   └── non-makeup
├── makeup.txt
├── non-makeup.txt
├── segs
│   ├── makeup
│   └── non-makeup

2. python3 train.py

详细配置可在configs/base.yaml中找到并修改，同时支持命令行参数覆盖。

注意： 尽管目前支持多GPU训练，但由于PyTorch数据并行的限制以及GPU成本较高，建议采用的GPU数量与批量大小保持一致。

更多结果

MT数据集（正面、中性表情的人脸图像）

MWild数据集（不同姿态和表情的图像）

视频化妆迁移（对每一帧单独应用PSGAN）

引用

如果本项目对您的研究有所帮助，请考虑在您的出版物中引用本项目。以下是BibTeX参考文献。使用BibTeX条目时需要加载url LaTeX包。

@InProceedings{Jiang_2020_CVPR,
  author = {Jiang, Wentao and Liu, Si and Gao, Chen and Cao, Jie and He, Ran and Feng, Jiashi and Yan, Shuicheng},
  title = {PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2020}
}

@article{liu2021psgan++,
  title={PSGAN++: robust detail-preserving makeup transfer and removal},
  author={Liu, Si and Jiang, Wentao and Gao, Chen and He, Ran and Feng, Jiashi and Li, Bo and Yan, Shuicheng},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  volume={44},
  number={11},
  pages={8538--8551},
  year={2021},
  publisher={IEEE}
}

致谢

部分代码基于face-parsing.PyTorch和BeautyGAN开发。

欢迎提交问题和拉取请求。

PSGAN 快速上手指南

PSGAN 是一个用于可定制化妆容迁移的生成对抗网络，具备对姿态和表情的鲁棒性。本指南基于 CVPR 2020 Oral 论文代码整理，支持高分辨率人脸处理。

环境准备

系统要求：

• 操作系统：Ubuntu 16.04（推荐）或其他 Linux 发行版
• Python 版本：3.6
• PyTorch 版本：1.5
• GPU 支持（可选但推荐）：若使用 GPU 推理，请确保安装的 dlib 已编译 CUDA 支持

前置依赖： 主要依赖包括 torch, dlib (用于人脸解析和关键点检测), yaml 等。

建议先安装基础依赖：

pip install torch==1.5.0 torchvision==0.6.0
pip install dlib
pip install pyyaml opencv-python scipy numpy

注意：如果使用 GPU 进行推理或训练，务必确认 dlib 支持 CUDA。可通过 python -c "import dlib; print(dlib.DLIB_USE_CUDA)" 验证，输出应为 True。

安装步骤

1. 克隆项目代码（假设已获取源码目录）：

   cd PSGAN
   

2. （可选）如需训练模型，请准备数据集：

   国际用户：从 Google Drive 下载训练数据 链接

   国内用户：推荐使用百度网盘下载 链接，提取码：rtdd

   将下载的数据解压并移动至项目根目录下的 data 文件夹，目录结构应如下：

   data
   ├── images
   │   ├── makeup
   │   └── non-makeup
   ├── landmarks
   │   ├── makeup
   │   └── non-makeup
   ├── makeup.txt
   ├── non-makeup.txt
   ├── segs
   │   ├── makeup
   │   └── non-makeup
   

基本使用

推理测试（妆容迁移）

运行以下命令即可对默认示例图片进行妆容迁移：

python3 demo.py

若需使用 GPU 加速推理，请添加 --device cuda 参数：

python3 demo.py --device cuda

程序将自动加载预训练模型，并输出迁移后的结果图像。

训练模型（可选）

如需从头训练模型，确保数据目录结构正确后，运行：

python3 train.py

详细配置可在 configs/base.yaml 中修改，也支持通过命令行参数覆盖配置。

提示：虽然支持多 GPU 训练，但由于 PyTorch DataParallel 的限制及显存成本，建议使用的 GPU 数量与 Batch Size 保持一致。