拖动你的GAN：生成图像流形上的交互式点操作

潘星刚 · 阿尤什·特瓦里 · 托马斯·莱姆库勒 · 刘凌杰 · 阿比米特拉·梅卡 · 克里斯蒂安·特奥巴尔特

SIGGRAPH 2023会议论文集

网页演示

需求说明

如果你拥有CUDA显卡，请遵循NVlabs/stylegan3的要求。

常规安装步骤包括以下命令，它们将设置正确的CUDA版本和所有Python包：

conda env create -f environment.yml
conda activate stylegan3

然后安装额外的依赖项：

pip install -r requirements.txt

否则（例如在搭载Apple Silicon芯片的MacOS设备上进行GPU加速，或仅使用CPU），请尝试以下步骤：

cat environment.yml | \
  grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \
    conda env create -f environment-no-nvidia.yml
conda activate stylegan3

# 在MacOS上
export PYTORCH_ENABLE_MPS_FALLBACK=1

在Docker中运行Gradio可视化工具

提供的Docker镜像基于NGC PyTorch仓库。要快速在Docker中试用可视化工具，运行以下命令：

# 在构建Docker容器之前，请确保已克隆此仓库，并通过`python scripts/download_model.py`下载预训练模型。
docker build . -t draggan:latest  
docker run -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash
# （使用GPU）如果你想利用Nvidia GPU加速Docker中的计算，请添加`--gpus all`标签，例如：
#   docker run --gpus all  -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash

cd src && python visualizer_drag_gradio.py --listen

现在你可以打开Gradio打印在终端控制台中的共享链接。请注意，该Docker镜像大约需要25GB的磁盘空间！

下载预训练的StyleGAN2权重

要下载预训练权重，只需运行：

python scripts/download_model.py

如果你想尝试StyleGAN-Human和Landscape HQ (LHQ)数据集，请从以下链接下载权重：StyleGAN-Human，LHQ，并将它们放置在./checkpoints目录下。

你也可以尝试其他预训练的StyleGAN模型。

运行DragGAN GUI

要启动DragGAN GUI，只需运行：

sh scripts/gui.sh

如果你使用的是Windows系统，可以运行：

.\scripts\gui.bat

该GUI支持编辑由GAN生成的图像。若要编辑真实图像，你需要先使用如PTI之类的工具进行GAN反演，然后将新的潜在代码和模型权重加载到GUI中。

你还可以运行DragGAN Gradio演示，这适用于Windows和Linux系统：

python visualizer_drag_gradio.py

致谢

本代码基于StyleGAN3开发。部分代码借自StyleGAN-Human。

（也感谢社区的支持）

许可证

与DragGAN算法相关的代码采用CC-BY-NC许可协议授权。

然而，本项目的大部分内容适用单独的许可条款：所有来自StyleGAN3的使用或修改代码均受Nvidia源代码许可约束。

任何形式的使用及衍生作品都必须保留显示“AI Generated”的水印功能。

BibTeX

@inproceedings{pan2023draggan,
    title={Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold},
    author={Pan, Xingang and Tewari, Ayush, and Leimk{\"u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian},
    booktitle = {ACM SIGGRAPH 2023 Conference Proceedings},
    year={2023}
}

DragGAN 快速上手指南

DragGAN 是一款基于生成式图像流形的交互式图像编辑工具，允许用户通过拖拽图像上的特征点来精确控制生成图像的姿态、表情和结构。

环境准备

系统要求

• 操作系统: Linux, Windows, 或 macOS (M1/M2)
• GPU: 推荐 NVIDIA GPU (支持 CUDA)，macOS Silicon 芯片可使用 MPS 加速，也可仅使用 CPU（速度较慢）
• 磁盘空间: 约 25GB+ (包含 Docker 镜像或完整依赖及模型权重)
• 软件依赖:
  • Python 3.8+
  • Conda (推荐用于环境管理)
  • Docker (可选，用于容器化部署)

前置依赖

本项目基于 StyleGAN3 开发。若使用 NVIDIA GPU，请确保已安装正确的 CUDA 版本和驱动程序。

安装步骤

方法一：Conda 本地安装（推荐）

1. 创建并激活 Conda 环境

   对于拥有 NVIDIA GPU 的用户：

   conda env create -f environment.yml
   conda activate stylegan3
   

   对于 macOS (M1/M2) 或仅使用 CPU 的用户：

   cat environment.yml | \
     grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \
       conda env create -f environment-no-nvidia.yml
   conda activate stylegan3
   
   # macOS 用户需额外设置
   export PYTORCH_ENABLE_MPS_FALLBACK=1
   

2. 安装额外依赖

   pip install -r requirements.txt
   

3. 下载预训练模型权重

   运行以下脚本自动下载默认权重：

   python scripts/download_model.py
   

   可选：若想尝试 StyleGAN-Human 或 LHQ 数据集，可手动下载权重并放入 ./checkpoints 目录：

   • StyleGAN-Human
   • LHQ

方法二：Docker 部署

若希望快速体验且避免环境配置问题，可使用 Docker：

1. 构建并运行容器

   # 确保已克隆仓库并下载模型 (见上文下载步骤)
   docker build . -t draggan:latest
   
   # 运行容器 (CPU 模式)
   docker run -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash
   
   # 运行容器 (GPU 加速模式，需添加 --gpus all)
   # docker run --gpus all -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash
   

2. 启动可视化界面

   cd src && python visualizer_drag_gradio.py --listen
   

   启动后，终端会打印 Gradio 的访问链接。

基本使用

启动图形界面 (GUI)

安装完成后，可通过以下命令启动 DragGAN 的本地图形界面进行交互式编辑：

Linux / macOS:

sh scripts/gui.sh

Windows:

.\scripts\gui.bat

通用 Gradio 演示模式 (推荐):

python visualizer_drag_gradio.py

操作说明

1. 启动后在浏览器打开显示的本地地址（通常为 http://127.0.0.1:7860）。
2. 选择预训练模型生成的图像，或在经过 GAN 反演（如使用 PTI 处理真实图片）后加载潜在代码。
3. 在图像上点击添加控制点（起始点）和目标点。
4. 点击"Drag"按钮，观察图像特征随拖拽方向实时变化。

注意: 本工具主要用于编辑 GAN 生成的图像。若要编辑真实照片，必须先通过 GAN 反演技术将其转换为潜在空间代码。