BlendGAN：用于任意风格化人脸生成的隐式 GAN 融合
_{NeurIPS 2021 论文的官方 PyTorch 实现}

刘明聪、李强、秦泽奎、张国鑫、万鹏飞、郑文

Y-tech，快手科技

项目页面 | 论文

摘要：生成对抗网络（GAN）在高保真图像合成和风格化人脸生成方面取得了巨大进展。最近，一种层交换机制被开发出来以提升风格化效果。然而，这种方法无法在一个模型中适配任意风格，并且每种风格都需要数百张风格一致的训练图像。为了解决上述问题，我们提出了 BlendGAN，通过灵活的融合策略和通用的艺术数据集，实现任意风格化人脸生成。具体来说，我们首先在通用艺术数据集中训练一个自监督风格编码器，以提取任意风格的表征。此外，我们还提出了一种加权融合模块（WBM），用于隐式地融合人脸和风格表征，并控制任意风格化效果。通过这种方式，BlendGAN能够在统一的模型中优雅地适配任意风格，同时避免了为每种风格单独准备风格一致的训练图像。为此，我们还发布了一个全新的大规模艺术人脸数据集 AAHQ。大量实验表明，无论是潜在引导还是参考引导的风格化人脸合成，BlendGAN 在视觉质量和风格多样性方面均优于当前最先进的方法。

更新

:heavy_check_mark: (2021-12-03) AAHQ 数据集已发布！

:heavy_check_mark: (2021-11-22) 添加基于 Jupyter Notebook 的交互式 演示

:heavy_check_mark: (2021-11-19) 已将网页演示集成到 Huggingface Spaces，使用 Gradio。查看演示：

:heavy_check_mark: (2021-11-19) 推理代码和预训练模型已发布！

预训练模型

您可以将以下预训练模型下载到 ./pretrained_models 目录下：

模型	描述
blendgan	BlendGAN 模型（连同 style_encoder）
psp_encoder	PSP 编码器模型
style_encoder	个体风格编码器模型（可选）

推理

注意：如果您不喜欢生成图像中的变形，add_weight_index=7 可能是更好的选择。

1. 使用随机人脸编码生成图像对

• 对于潜在引导生成，运行：

python generate_image_pairs.py --size 1024 --pics N_PICS --ckpt ./pretrained_models/blendgan.pt --outdir results/generated_pairs/latent_guided/

• 对于参考引导生成，运行：

python generate_image_pairs.py --size 1024 --pics N_PICS --ckpt ./pretrained_models/blendgan.pt --style_img ./test_imgs/style_imgs/100036.png --outdir results/generated_pairs/reference_guided/

2. 使用给定的人脸图像进行风格迁移

python style_transfer_folder.py --size 1024 --ckpt ./pretrained_models/blendgan.pt --psp_encoder_ckpt ./pretrained_models/psp_encoder.pt --style_img_path ./test_imgs/style_imgs/ --input_img_path ./test_imgs/face_imgs/ --outdir results/style_transfer/

3. 生成插值视频

python gen_video.py --size 1024 --ckpt ./pretrained_models/blendgan.pt --psp_encoder_ckpt ./pretrained_models/psp_encoder.pt --style_img_path ./test_imgs/style_imgs/ --input_img_path ./test_imgs/face_imgs/ --outdir results/inter_videos/

演示

jupyter notebook --notebook-dir=./

Bibtex

如果您在研究中使用此代码，请引用我们的论文：

@inproceedings{liu2021blendgan,
    title = {BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation},
    author = {Liu, Mingcong and Li, Qiang and Qin, Zekui and Zhang, Guoxin and Wan, Pengfei and Zheng, Wen},
    booktitle = {Advances in Neural Information Processing Systems},
    year = {2021}
}

致谢

StyleGAN2 模型及其实现：
https://github.com/rosinality/stylegan2-pytorch
版权所有 (c) 2019 Kim Seonghyeon
许可证 (MIT) https://github.com/rosinality/stylegan2-pytorch/blob/master/LICENSE

IR-SE50 模型及其实现：
https://github.com/TreB1eN/InsightFace_Pytorch
版权所有 (c) 2018 TreB1eN
许可证 (MIT) https://github.com/TreB1eN/InsightFace_Pytorch/blob/master/LICENSE

pSp 模型及其实现：
https://github.com/eladrich/pixel2style2pixel
版权所有 (c) 2020 Elad Richardson, Yuval Alaluf
许可证 (MIT) https://github.com/eladrich/pixel2style2pixel/blob/master/LICENSE

请注意：

• StyleGAN2 ops 目录 下的 CUDA 文件根据 Nvidia 源代码许可-NC 提供。
• test_imgs 目录下的人脸图像选自 FFHQ 数据集，该数据集由 NVIDIA 公司根据 Creative Commons BY-NC-SA 4.0 许可提供。
• test_imgs 目录下的艺术图像收集自 Artstation，版权仍归原作者所有。

致谢

我们衷心感谢所有审稿人的宝贵意见。同时，我们也感谢郭振宇在准备与 StarGANv2 对比方面的帮助。本代码大量借鉴了 rosinality 对 StyleGAN2 的 PyTorch 重实现。

BlendGAN 快速上手指南

BlendGAN 是一个用于任意风格化人脸生成的 AI 模型，支持基于潜在代码（latent-guided）和参考图像（reference-guided）的风格迁移。本指南将帮助你快速在本地部署并运行该工具。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.6 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 8GB 以上）
• CUDA: 已安装与 PyTorch 版本匹配的 CUDA 驱动

前置依赖安装：

建议使用 pip 安装核心依赖。国内用户推荐使用清华源或阿里源加速下载。

# 安装 PyTorch (请根据实际 CUDA 版本调整，此处以 CUDA 11.1 为例)
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖
pip install ninja opencv-python-headless scipy pillow tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：本项目基于 StyleGAN2 的 PyTorch 实现，部分算子需要即时编译（JIT）。首次运行时可能需要几分钟编译 CUDA 扩展，请确保已安装 nvcc (CUDA Toolkit)。

安装步骤

1. 克隆仓库

   git clone https://github.com/onion-liu/BlendGAN.git
   cd BlendGAN
   

2. 下载预训练模型

   将以下模型文件下载到项目根目录下的 ./pretrained_models 文件夹中。如果该文件夹不存在，请先创建它。

   • blendgan.pt (主模型)
   • psp_encoder.pt (PSP 编码器，用于真实图片反转)
   • style_encoder.pt (独立风格编码器，可选)

   目录结构示例：

   BlendGAN/
   ├── pretrained_models/
   │   ├── blendgan.pt
   │   ├── psp_encoder.pt
   │   └── style_encoder.pt
   ├── generate_image_pairs.py
   └── ...
   

基本使用

以下是三个最常用的功能示例。运行前请确保已在 pretrained_models 目录放置好对应的 .pt 文件。

1. 生成随机风格化人脸对 (Latent-guided)

此命令将随机生成人脸，并应用随机艺术风格。

python generate_image_pairs.py --size 1024 --pics 5 --ckpt ./pretrained_models/blendgan.pt --outdir results/generated_pairs/latent_guided/

• --pics: 生成图片的数量。
• 结果将保存在 results/generated_pairs/latent_guided/ 目录。

2. 指定风格图进行风格迁移 (Reference-guided)

使用特定的艺术风格图片对随机生成的人脸进行风格化。

python generate_image_pairs.py --size 1024 --pics 5 --ckpt ./pretrained_models/blendgan.pt --style_img ./test_imgs/style_imgs/100036.png --outdir results/generated_pairs/reference_guided/

• --style_img: 指定作为风格参考的图片路径。

3. 真实人脸风格迁移 (Style Transfer)

将上传的真实人脸照片转换为特定艺术风格。这是最实用的功能。

python style_transfer_folder.py --size 1024 --ckpt ./pretrained_models/blendgan.pt --psp_encoder_ckpt ./pretrained_models/psp_encoder.pt --style_img_path ./test_imgs/style_imgs/ --input_img_path ./test_imgs/face_imgs/ --outdir results/style_transfer/

• --input_img_path: 存放待处理真实人脸图片的文件夹。
• --style_img_path: 存放风格参考图片的文件夹。
• 提示: 如果生成的人脸变形严重，可在代码或相关参数中尝试调整权重索引（原文建议 add_weight_index=7 可能效果更好，具体需视代码内部实现微调）。

4. 交互式演示 (Demo)

如果你更喜欢在浏览器中交互式地调整参数和查看结果，可以启动 Jupyter Notebook：

jupyter notebook --notebook-dir=./

然后在浏览器中打开 demo.ipynb (如果有) 或直接查看仓库提供的 Demo 逻辑进行实验。