Anycost GAN

视频 | 论文 | 网站

用于交互式图像合成与编辑的 Anycost GAN

Ji Lin、Richard Zhang、Frieder Ganz、Song Han、Jun-Yan Zhu

麻省理工学院、Adobe Research、卡内基梅隆大学

发表于 CVPR 2021

Anycost GAN 可以在不同的计算预算下生成一致的输出。

演示

在这里，我们可以使用 Anycost 生成器进行交互式图像编辑。完整的生成器渲染一张图像大约需要 3 秒钟，这对于编辑来说太慢了。而使用 Anycost 生成器，我们可以在5 倍更快的速度下提供视觉上相似的预览。调整完成后，点击“Finalize”按钮即可合成高质量的最终输出。完整演示请查看 这里。

概述

Anycost 生成器可以通过使用不同的通道和分辨率配置，在多种计算成本下运行。子生成器与完整生成器相比，能够实现更高的输出一致性，从而提供快速预览。

通过 (1) 基于采样的多分辨率训练、(2) 自适应通道训练以及 (3) 生成器条件判别器，我们在不同分辨率和通道下实现了高图像质量和一致性。

结果

Anycost GAN（统一通道版本）支持 4 种分辨率和 4 种通道比例，在不同图像保真度下都能生成视觉上一致的图像。

这种一致性在图像投影和编辑过程中依然保持：

使用方法

入门

• 克隆本仓库：

git clone https://github.com/mit-han-lab/anycost-gan.git
cd anycost-gan

• 安装 PyTorch 1.7 及其他依赖项。

我们建议使用 Anaconda 设置环境：conda env create -f environment.yml

入门笔记本

我们提供了一个 Jupyter 笔记本示例，展示如何使用 Anycost 生成器在不同计算成本下进行图像合成：notebooks/intro.ipynb。

我们还提供了该笔记本的 Colab 版本：。请务必在运行时选项中选择 GPU 作为加速器。

交互式演示

我们提供了一个交互式演示，展示如何使用 Anycost GAN 实现交互式图像编辑。要运行演示：

python demo.py

如果你的电脑配备了 CUDA GPU，可以尝试以下命令：

FORCE_NATIVE=1 python demo.py

你可以在 这里找到该演示的视频记录。

使用预训练模型

要获取预训练的生成器、编码器和编辑方向，运行以下代码：

import models

pretrained_type = 'generator'  # 从 ['generator', 'encoder', 'boundary'] 中选择
config_name = 'anycost-ffhq-config-f'  # 替换为其他模型的配置名称
models.get_pretrained(pretrained_type, config=config_name)

我们还提供了人脸属性分类器（适用于不同生成器），用于计算编辑方向。你可以通过以下命令获取：

models.get_pretrained('attribute-predictor')

该属性分类器接受 FFHQ 格式的人脸图像输入。

加载 Anycost 生成器后，我们可以在广泛的计算成本范围内运行它。例如：

from models.dynamic_channel import set_uniform_channel_ratio, reset_generator

g = models.get_pretrained('generator', config='anycost-ffhq-config-f')  # Anycost 统一通道
set_uniform_channel_ratio(g, 0.5)  # 设置通道比例
g.target_res = 512  # 设置分辨率
out, _ = g(...)  # 生成图像
reset_generator(g)  # 恢复生成器

有关详细用法和灵活通道的 Anycost 生成器，请参阅 notebooks/intro.ipynb。

模型库

目前，我们提供了以下预训练的生成器、编码器和编辑方向。未来还将添加更多内容。

对于 Anycost 生成器，默认情况下指的是统一设置。

配置名称	生成器	编码器	编辑方向
anycost-ffhq-config-f	:heavy_check_mark:	:heavy_check_mark:	:heavy_check_mark:
anycost-ffhq-config-f-flexible	:heavy_check_mark:	:heavy_check_mark:	:heavy_check_mark:
anycost-car-config-f	:heavy_check_mark:
stylegan2-ffhq-config-f	:heavy_check_mark:	:heavy_check_mark:	:heavy_check_mark:

stylegan2-ffhq-config-f 指的是从 repo 转换而来的官方 StyleGAN2 生成器。

数据集

我们已将 FFHQ、CelebA-HQ 和 LSUN Car 数据集整理成一个图像目录，以便于与 torchvision 中的 ImageFolder 一起使用。数据集的布局如下：

├── PATH_TO_DATASET
│   ├── images
│   │   ├── 00000.png
│   │   ├── 00001.png
│   │   ├── ...

由于版权问题，你需要从官方网站下载这些数据集并进行相应处理。

评估

我们提供了用于评估论文中所提部分指标的代码。部分代码使用了 horovod 编写，以支持分布式评估并降低 GPU 间通信开销，从而显著提升速度。请参考其官网进行正确安装。

Fréchet Inception 距离 (FID)

在计算 FID 之前，您需要使用类似以下脚本计算真实图像的 Inception 特征：

python tools/calc_inception.py \
    --resolution 1024 --batch_size 64 -j 16 --n_sample 50000 \
    --save_name assets/inceptions/inception_ffhq_res1024_50k.pkl \
    FFHQ 数据集路径

或者您可以从 这里 下载预先计算好的 Inception 特征，并将其放置在 assets/inceptions 目录下。

随后，您可以通过运行以下命令来计算 FID：

horovodrun -np N_GPU \
    python metrics/fid.py \
    --config anycost-ffhq-config-f \
    --batch_size 16 --n_sample 50000 \
    --inception assets/inceptions/inception_ffhq_res1024_50k.pkl
    # --channel_ratio 0.5 --target_res 512  # 可选：使用较小分辨率或通道数

感知路径长度 (PPL)

同样地，可以通过以下命令评估 PPL：

horovodrun -np N_GPU \
    python metrics/ppl.py \
    --config anycost-ffhq-config-f

属性一致性

通过运行以下命令可以评估属性一致性：

horovodrun -np N_GPU \
    python metrics/attribute_consistency.py \
    --config anycost-ffhq-config-f \
    --channel_ratio 0.5 --target_res 512  # 子生成器的配置；必需

编码器评估

要评估编码器的性能，请运行以下命令：

python metrics/eval_encoder.py \
    --config anycost-ffhq-config-f \
    --data_path CELEBA HQ 数据集路径

训练

我们提供了在 FFHQ 数据集上训练 Anycost GAN 的脚本。

• 在 FFHQ 上训练原始 StyleGAN2

horovodrun -np 8 bash scripts/train_stylegan2_ffhq.sh

原始 StyleGAN2 的训练非常耗时。我们建议从 这里 下载转换后的检查点，并将其放置在 checkpoint/ 目录下。

• 训练 Anycost GAN：多分辨率

horovodrun -np 8 bash scripts/train_stylegan2_multires_ffhq.sh

请注意，每完成一个 epoch，我们都会评估两种分辨率（1024 和 512）的 FID，以便更好地监控训练进度。此外，我们还应用了蒸馏技术来加速收敛，但该技术并未用于论文中的消融实验。

• 训练 Anycost GAN：自适应通道

horovodrun -np 8 bash scripts/train_stylegan2_multires_adach_ffhq.sh

在此设置中，我们采用了更长的训练周期以获得更稳定的生成效果，但这并非必要条件（取决于随机性）。

注意：我们是在配备 24GB 显存的 Titan RTX GPU 上训练模型的。对于显存较小的 GPU，您可能需要降低分辨率、模型规模、批量大小等，并相应调整其他超参数。

引用

如果您在研究中使用此代码，请引用我们的论文。

@inproceedings{lin2021anycost,
  author    = {Lin, Ji and Zhang, Richard and Ganz, Frieder and Han, Song and Zhu, Jun-Yan},
  title     = {Anycost GANs for Interactive Image Synthesis and Editing},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2021},
}

相关项目

GAN 压缩 | Once for All | iGAN | StyleGAN2

致谢

我们感谢 Taesung Park、Zhixin Shu、Muyang Li 和 Han Cai 提供的有益讨论。本工作部分得到了 NSF CAREER 奖 #1943349、Adobe、SONY、Naver 公司以及 MIT-IBM Watson AI 实验室的支持。

该代码库基于 StyleGAN2 的 PyTorch 实现：rosinality/stylegan2-pytorch。在编辑方向提取方面，我们参考了 InterFaceGAN。

Anycost GAN 快速上手指南

Anycost GAN 是一个支持在不同计算预算（分辨率和通道数）下生成一致图像的生成对抗网络。它特别适用于交互式图像编辑，能够提供快速的低精度预览和高质量最终输出。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6+
• 深度学习框架: PyTorch 1.7+
• 硬件要求:
  • 推理/演示: 任意 CUDA GPU (显存建议 4GB+)
  • 训练: 多卡环境推荐 (原文使用 Titan RTX 24GB)，小显存需调整 batch size 或分辨率。
• 依赖管理: 推荐使用 Conda 进行环境隔离。

注意: 国内用户若无法访问默认源，建议在创建环境前配置清华或中科大镜像源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

安装步骤

1. 克隆项目代码

   git clone https://github.com/mit-han-lab/anycost-gan.git
   cd anycost-gan
   

2. 创建并激活虚拟环境 项目提供了 environment.yml 文件，可一键安装所有依赖。

   conda env create -f environment.yml
   conda activate anycost-gan
   

   (如果自动安装失败，请手动安装 torch==1.7 及其他列出的依赖包)

3. 下载预训练模型 (可选但推荐) 首次运行代码时，脚本会自动下载模型。若网络较慢，可手动下载后放入对应目录，或直接运行以下 Python 代码触发下载：

   import models
   # 下载生成器、编码器和编辑方向模型 (FFHQ 数据集)
   models.get_pretrained('generator', config='anycost-ffhq-config-f')
   models.get_pretrained('encoder', config='anycost-ffhq-config-f')
   models.get_pretrained('boundary', config='anycost-ffhq-config-f')
   

基本使用

1. 运行交互式演示 (Interactive Demo)

这是体验 Anycost GAN "快速预览 + 高清生成" 特性的最简单方式。

# 标准运行
python demo.py

# 如果遇到兼容性问题或需要强制本地渲染，尝试：
FORCE_NATIVE=1 python demo.py

操作说明: 启动后会弹出界面，拖动滑块可实时看到低算力下的快速预览（约快 5 倍），点击 "Finalize" 按钮生成高分辨率最终图像。

2. 代码调用示例 (Python API)

在 Python 脚本中加载模型并动态调整计算成本（通道比例和分辨率）。

import torch
from models.dynamic_channel import set_uniform_channel_ratio, reset_generator
import models

# 1. 加载预训练生成器
g = models.get_pretrained('generator', config='anycost-ffhq-config-f')
g.eval()

# 2. 设置计算预算
# 设置通道比例为 0.5 (即使用 50% 的通道数)
set_uniform_channel_ratio(g, 0.5) 
# 设置目标分辨率为 512
g.target_res = 512 

# 3. 准备输入噪声 (示例为 batch_size=1)
z = torch.randn(1, 512).cuda() 

# 4. 生成图像
with torch.no_grad():
    out, _ = g(z)

# out 即为生成的图像张量
print(f"Generated image shape: {out.shape}")

# 5. 恢复生成器到默认状态 (满血版)
reset_generator(g)

3. 使用 Colab 在线体验

无需本地配置，可直接在 Google Colab 中运行官方提供的 Notebook：

• Anycost GAN Intro Colab
• 提示: 进入 Colab 后，请在菜单栏选择 运行时 (Runtime) -> 更改运行时类型 -> 硬件加速器选择 GPU。