SEAN：基于语义区域自适应归一化的图像合成（CVPR 2020 口头报告）

图： 使用 SEAN 通过风格图像和分割掩码控制人脸图像编辑

我们提出了语义区域自适应归一化（SEAN），这是一种简单但有效的构建模块，用于以描述期望输出图像中语义区域的分割掩码 (segmentation masks) 为条件的生成对抗网络 (Generative Adversarial Networks, GANs)。使用 SEAN 归一化，我们可以构建一种能够单独控制每个语义区域风格的网络架构，例如，我们可以为每个区域指定一个风格参考图像。在重建质量、多样性 (variability) 和视觉质量方面，SEAN 比之前的最佳方法更适合编码、转移和合成风格。我们在多个数据集上评估了 SEAN，并报告了优于当前最先进水平 (state of the art) 的定量指标（例如 FID、PSNR）。SEAN 也推动了交互式图像编辑的前沿。我们可以通过更改分割掩码或任何给定区域的方式来交互式地编辑图像。我们还可以对每个区域的两个参考图像进行风格插值。

SEAN：基于语义区域自适应归一化的图像合成
Peihao Zhu, Rameen Abdal, Yipeng Qin, Peter Wonka
计算机视觉与模式识别 CVPR 2020，口头报告

[Paper] [Project Page] [Demo]

安装

克隆此仓库。

git clone https://github.com/ZPdesu/SEAN.git
cd SEAN/

此代码需要 PyTorch、python 3+ 和 Pyqt5。请通过以下方式安装依赖项：

pip install -r requirements.txt

此模型训练需要大量内存和时间。为了加快训练速度，我们建议使用 4 张 V100 GPU。

数据集准备

此代码使用 CelebA-HQ 和 CelebAMask-HQ 数据集。准备好的数据集可以直接在此处下载 here。解压后，将整个 CelebA-HQ 文件夹放入 datasets 文件夹中。完整的目录结构应如下所示 ./datasets/CelebA-HQ/train/ 和 ./datasets/CelebA-HQ/test/。

使用预训练模型生成图像

准备好数据集后，可以使用预训练模型获得重建结果。

1. 在主文件夹中创建 ./checkpoints/ 并从 Google Drive Folder 下载预训练模型的 tar 包。将 tar 文件保存到 ./checkpoints/，然后运行

   cd checkpoints
   tar CelebA-HQ_pretrained.tar.gz
   cd ../
   

2. 使用预训练模型生成重建结果。

   python test.py --name CelebA-HQ_pretrained --load_size 256 --crop_size 256 --dataset_mode custom --label_dir datasets/CelebA-HQ/test/labels --image_dir datasets/CelebA-HQ/test/images --label_nc 19 --no_instance --gpu_ids 0
   

3. 重建图像保存在 ./results/CelebA-HQ_pretrained/，对应的风格代码存储在 ./styles_test/style_codes/。

4. 预计算 UI 模式的平均风格代码。平均风格代码位于 ./styles_test/mean_style_code/。

   python calculate_mean_style_code.py
   

训练新模型

要训练新模型，您需要指定选项 --dataset_mode custom，以及 --label_dir [path_to_labels] --image_dir [path_to_images]。您还需要指定诸如 --label_nc（数据集中标签类别的数量）和 --no_instance（表示数据集没有实例映射 (instance maps)）等选项。

python train.py --name [experiment_name] --load_size 256 --crop_size 256 --dataset_mode custom --label_dir datasets/CelebA-HQ/train/labels --image_dir datasets/CelebA-HQ/train/images --label_nc 19 --no_instance --batchSize 32 --gpu_ids 0,1,2,3

如果您只有一张内存较小的 GPU，请使用 --batchSize 2 --gpu_ids 0。

UI 介绍

我们提供了一个方便的 UI 供用户进行一些扩展工作。要运行 UI 模式，您需要：

1. 运行步骤 使用预训练模型生成图像 以保存测试图像的风格代码和平均风格代码。或者您可以直接从此处下载风格代码 here。（注意：如果您直接使用下载的风格代码，则必须使用预训练模型。）

2. 将用于生成的标签可视化图像放在 ./imgs/colormaps/，风格图像放在 ./imgs/style_imgs_test/。这些文件夹中提供了一些示例图像。注意：可视化图像和风格图像应从 ./datasets/CelebAMask-HQ/test/vis/ 和 ./datasets/CelebAMask-HQ/test/labels/ 中选择，因为 ./styles_test/style_codes/ 中仅保存了测试图像的风格代码。如果您想使用自己的图像，请在 ./datasets/CelebAMask-HQ/test/ 中准备格式相同的图像、标签和标签可视化，并计算相应的风格代码。

3. 运行 UI 模式

   python run_UI.py --name CelebA-HQ_pretrained --load_size 256 --crop_size 256 --dataset_mode custom --label_dir datasets/CelebA-HQ/test/labels --image_dir datasets/CelebA-HQ/test/images --label_nc 19 --no_instance --gpu_ids 0
   

4. 如何使用 UI。请从我们的 视频 查看 UI 的详细用法。

   

其他数据集

即将发布。

许可证

保留所有权利。根据 CC BY-NC-SA 4.0 (Attribution-NonCommercial-ShareAlike 4.0 International) 许可。代码仅供学术研究使用。

引用

如果您将此代码用于您的研究，请引用我们的论文。

@InProceedings{Zhu_2020_CVPR,
author = {Zhu, Peihao and Abdal, Rameen and Qin, Yipeng and Wonka, Peter},
title = {SEAN: Image Synthesis With Semantic Region-Adaptive Normalization},
booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2020}
}

致谢

感谢 Wamiq Reyaz Para 提供的有益评论。本代码大量借鉴了 SPADE。感谢 Taesung Park 分享他的代码。这项工作得到了 KAUST 赞助研究办公室 (OSR) 的支持，项目编号 OSR-CRG2018-3730。

SEAN 快速上手指南

1. 环境准备

• 系统要求: 推荐使用 Linux 系统，配备 NVIDIA GPU。
• Python 版本: 3.7+
• 核心依赖: PyTorch 1.2.0+, PyQt5 5.13.0+
• 硬件建议: 训练建议使用 4 张 V100 GPU；推理单卡即可。

2. 安装步骤

1. 克隆代码库

   git clone https://github.com/ZPdesu/SEAN.git
   cd SEAN/
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 准备数据集

   • 下载 CelebA-HQ & CelebAMask-HQ 数据集。
   • 解压后请将整个 CelebA-HQ 文件夹放入 ./datasets/ 目录下。
   • 确保目录结构包含：./datasets/CelebA-HQ/train/ 和 ./datasets/CelebA-HQ/test/。

4. 下载预训练模型

   • 下载 预训练模型包。
   • 将压缩包解压至主目录下的 ./checkpoints/ 文件夹中。

   cd checkpoints
   tar CelebA-HQ_pretrained.tar.gz
   cd ../
   

3. 基本使用

使用预训练模型生成图像

这是最基础的使用方式，用于利用预训练模型进行图像重建。

python test.py --name CelebA-HQ_pretrained --load_size 256 --crop_size 256 --dataset_mode custom --label_dir datasets/CelebA-HQ/test/labels --image_dir datasets/CelebA-HQ/test/images --label_nc 19 --no_instance --gpu_ids 0

• 输出结果: 重建图像保存在 ./results/CelebA-HQ_pretrained/，对应的风格代码保存在 ./styles_test/style_codes/。
• UI 模式前置处理: 若需使用交互式界面，请先运行以下命令计算平均风格代码。

  python calculate_mean_style_code.py
  

交互式编辑 (UI 模式)

完成上述步骤后，可启动图形界面进行交互式图像编辑。

python run_UI.py --name CelebA-HQ_pretrained --load_size 256 --crop_size 256 --dataset_mode custom --label_dir datasets/CelebA-HQ/test/labels --image_dir datasets/CelebA-HQ/test/images --label_nc 19 --no_instance --gpu_ids 0

注意: 本代码遵循 CC BY-NC-SA 4.0 协议，仅限学术研究使用。