GANSpace：发现可解释的GAN控制

图1： 使用我们方法发现的控制进行图像编辑的序列，应用于三种不同的GAN。白色插图用第3.4节（“逐层编辑”）中解释的符号指明了具体的编辑内容。

GANSpace：发现可解释的GAN控制
埃里克·海科宁^1,2、亚伦·赫茨曼²、雅各·莱蒂宁^1,3、西尔万·帕里斯^2
1阿尔托大学，²Adobe研究院，³NVIDIA
https://arxiv.org/abs/2004.02546

摘要： 本文描述了一种简单的方法来分析生成对抗网络（GAN），并为图像合成创建可解释的控制方式，例如视角变化、老化、光照和一天中的时间等。我们基于在激活空间中应用的主成分分析（PCA），识别出重要的潜在方向。然后，我们证明可以根据这些编辑方向的逐层应用来定义可解释的编辑操作。此外，我们还展示了BigGAN可以通过类似StyleGAN的方式使用逐层输入进行控制。借助这些机制，用户可以识别出大量可解释的控制选项。我们在来自不同数据集的GAN上展示了实验结果。

视频： https://youtu.be/jdTICDa_eAI

设置

请参阅设置说明。

使用

本仓库包含经过修改以支持逐层潜在向量的BigGAN、StyleGAN和StyleGAN2版本。

交互式模型探索

# 探索BigGAN-deep哈士奇
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# 在W空间探索StyleGAN2 ffhq
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# 在Z空间探索StyleGAN2汽车
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

# 交互式应用之前保存的编辑
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

可视化主成分

# 可视化StyleGAN2 ffhq W空间的主成分
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# 创建StyleGAN wikiart组件的视频（保存到./out）
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

选项

命令行参数：
  --model      其中之一 [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      类别名称；留空以列出选项
  --layer      进行PCA的层；留空以列出选项
  --use_w      将W视为主要潜在空间（StyleGAN / StyleGAN2）
  --inputs     加载先前导出的编辑目录
  --sigma      在visualize.py中使用的标准差数量
  -n           PCA样本数量
  -b           覆盖自动检测的小批量大小
  -c           保留的成分数量

可重复性

主论文中展示的所有图表都可以使用随附的Jupyter笔记本重现：

• 图1：figure_teaser.ipynb
• 图2：figure_pca_illustration.ipynb
• 图3：figure_pca_cleanup.ipynb
• 图4：figure_style_content_sep.ipynb
• 图5：figure_supervised_comp.ipynb
• 图6：figure_biggan_style_resampling.ipynb
• 图7：figure_edit_zoo.ipynb

已知问题

• 交互式查看器在Ubuntu 18.04上启动时有时会卡死。通过点击终端窗口并按下Ctrl键即可解决此问题。如果您对该问题有任何见解，我们将不胜感激！

集成新模型

1. 在models/wrappers.py中使用BaseModel接口为该模型创建包装器。
2. 将模型添加到models/wrappers.py中的get_model()函数中。

从TensorFlow导入StyleGAN检查点

可以将训练好的StyleGAN和StyleGAN2权重从TensorFlow导入到GANSpace中。

StyleGAN

1. 安装TensorFlow：conda install tensorflow-gpu=1.*。
2. 修改models/wrappers.py中StyleGAN类下的__init__()和load_model()方法。

StyleGAN2

1. 按照models/stylegan2/stylegan2-pytorch/README.md中的说明操作。为确保兼容性，请务必使用此特定文件夹中的分支来转换权重。
2. 将转换后的检查点保存为checkpoints/stylegan2/<dataset>_<resolution>.pt。
3. 修改models/wrappers.py中StyleGAN2类下的__init__()和download_checkpoint()方法。

致谢

我们感谢以下人员：

• BigGAN、StyleGAN和StyleGAN2的PyTorch实现作者：
  托马斯·沃尔夫、皮奥特·比亚莱基、托马斯·维曼和金成贤。
• ArtBreeder的乔尔·西蒙为我们提供了用于StyleGAN的风景模型。
  （遗憾的是我们无法分发该模型）
• 大卫·鲍及其同事出色的GAN Dissection项目。
• 贾斯汀·平克尼的Awesome Pretrained StyleGAN合集。
• 图奥马斯·金凯尼米在实验中给予我们的帮助。
• 阿尔托大学科学IT项目为本项目提供的计算资源。

引用

@inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

许可证

本仓库的代码根据Apache 2.0许可证发布。
netdissect目录是GAN Dissection项目的衍生作品，并根据MIT许可证提供。
models/biggan和models/stylegan2目录则根据MIT许可证提供。

GANSpace 快速上手指南

GANSpace 是一个用于分析生成对抗网络（GAN）并发现可解释控制方向的开源工具。它通过在主成分分析（PCA）激活空间中识别潜在方向，实现对图像合成的高级编辑（如视角变换、年龄变化、光照调整等）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu), macOS 或 Windows (需配置相应环境)
• Python: 3.7
• PyTorch: 1.3 或更高版本
• GPU: 推荐使用 NVIDIA GPU 以加速 PCA 计算和图像生成
• 依赖库: numpy, scipy, matplotlib, Pillow, tqdm 等常见科学计算库

提示：国内用户建议使用清华源或阿里源安装 Python 依赖，以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/harskish/ganspace.git
   cd ganspace
   

2. 安装依赖 创建虚拟环境并安装所需包（建议先查看项目根目录下的 requirements.txt 或 SETUP.md 获取最新依赖列表）：

   conda create -n ganspace python=3.7
   conda activate ganspace
   pip install torch==1.3.0 torchvision==0.4.0 -i https://download.pytorch.org/whl/cu100
   pip install -r requirements.txt
   

   (注：具体 PyTorch 版本命令请根据您的 CUDA 版本调整，上述为示例)

3. 下载预训练模型 首次运行时，脚本通常会自动下载 BigGAN 或 StyleGAN 的预训练权重。如果自动下载失败，请参考 models/wrappers.py 中的逻辑手动下载并放置到 checkpoints/ 目录。

   对于 StyleGAN2 用户：如果需要从 TensorFlow 官方检查点导入权重，请参考原文档 "Importing StyleGAN checkpoints from TensorFlow" 章节进行转换。

基本使用

GANSpace 的核心功能是通过交互式界面探索潜空间方向，或可视化主成分。以下是几个最简单的入门示例。

1. 交互式模型探索 (Interactive Exploration)

运行以下命令启动交互界面，探索不同 GAN 模型的潜在编辑方向。

探索 BigGAN (哈士奇类别):

python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

探索 StyleGAN2 (FFHQ 人脸数据集，使用 W 空间):

python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

探索 StyleGAN2 (汽车数据集，使用 Z 空间):

python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

操作提示：启动后，界面将显示主成分对应的图像变化序列，您可以滑动条来调整编辑强度。

2. 应用已保存的编辑方向

如果您之前已经发现并保存了编辑方向，可以直接加载应用：

python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

3. 可视化主成分 (Visualize Principal Components)

如果不需交互，可直接生成主成分的可视化结果或视频。

可视化 StyleGAN2 FFHQ 的主成分:

python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

生成 StyleGAN WikiArt 的变化视频 (保存至 ./out 目录):

python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

常用参数说明

• --model: 模型类型，可选 [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
• --class: 数据集类别名称（留空可列出所有选项）
• --layer: 执行 PCA 的网络层（留空可列出所有选项）
• --use_w: 针对 StyleGAN/StyleGAN2，指定使用 W 潜空间
• -n: PCA 采样数量
• -b: 手动指定批处理大小 (minibatch size)