深度生成先验（DGP）

论文

Xingang Pan, Xiaohang Zhan, Bo Dai, Dahua Lin, Chen Change Loy, Ping Luo, “利用深度生成先验实现多功能图像修复与操控”, ECCV2020 (口头报告)

视频：https://youtu.be/p7ToqtwfVko

演示

DGP 利用现成 GAN 的图像先验，用于各种图像修复和操控。

图像修复：

图像操控：

学习得到的先验 有助于 内部学习：

环境要求

• python>=3.6

• pytorch>=1.0.1

• 其他依赖

  pip install -r requirements.txt
  

快速入门

在开始之前，请从 Google Drive 或 百度网盘（提取码：uqtw）下载预训练的 BigGAN 模型，并将其放置到 pretrained 文件夹中。

示例1：运行图像上色示例：

sh experiments/examples/run_colorization.sh   

结果将保存在 experiments/examples/images 和 experiments/examples/image_sheet 中。

示例2：使用图像列表处理图片：

sh experiments/examples/run_inpainting_list.sh   

示例3：基于 slurm 的分布式训练，在 1000 张 ImageNet 验证集图像上进行评估：

# 需要在 --root_dir 中指定 ImageNet 验证集的根路径
sh experiments/imagenet1k_128/colorization/train_slurm.sh   

注意：
- BigGAN 需要一个类别条件作为输入。如果未提供类别条件，则会从一组随机样本中选择。
- 提供的超参数可能并非最优，您可以根据需要进行调整。

致谢

BigGAN 的代码借用了 https://github.com/ajbrock/BigGAN-PyTorch。

引用

@inproceedings{pan2020dgp,
    author = {Pan, Xingang and Zhan, Xiaohang and Dai, Bo and Lin, Dahua and Loy, Chen Change and Luo, Ping},
    title = {Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation},
    booktitle = {欧洲计算机视觉会议（ECCV）},
    year = {2020}
}

@ARTICLE{pan2020dgp_pami,
    author={Pan, Xingang and Zhan, Xiaohang and Dai, Bo and Lin, Dahua and Loy, Chen Change and Luo, Ping},
    journal={IEEE模式分析与机器智能汇刊}, 
    title={Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation}, 
    year={2021},
    volume={},
    number={},
    pages={1-1},
    doi={10.1109/TPAMI.2021.3115428}
}

Deep Generative Prior (DGP) 快速上手指南

Deep Generative Prior (DGP) 是一个利用预训练 GAN（如 BigGAN）的图像先验知识，进行多样化图像修复和编辑的工具。该项目发表于 ECCV 2020 (Oral)。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐，特别是使用 Slurm 分布式训练时)
• Python: >= 3.6
• PyTorch: >= 1.0.1
• 其他依赖: 需安装 requirements.txt 中列出的库

安装步骤

1. 克隆代码库 (假设您已获取源码目录)

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   提示: 国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型 DGP 依赖预训练的 BigGAN 模型。请下载并将其放入项目根目录下的 pretrained 文件夹中。

   • Google Drive: 下载链接
   • 百度网盘 (推荐国内用户): 下载链接 (提取码：uqtw)

   下载完成后，目录结构应包含 pretrained/ 文件夹及对应的模型文件。

基本使用

以下是最简单的使用示例，演示如何运行图像着色任务。

示例 1：运行图像着色 (Image Colorization)

执行以下脚本启动示例：

sh experiments/examples/run_colorization.sh

结果输出： 生成的图像将保存在以下目录：

• 单张结果：experiments/examples/images
• 结果汇总图：experiments/examples/image_sheet

其他常用命令参考

• 批量处理图片列表 (如图像修复):

  sh experiments/examples/run_inpainting_list.sh
  

• 在 ImageNet 验证集上评估 (基于 Slurm 分布式训练):

  # 注意：需要在 --root_dir 参数中指定 ImageNet 验证集的根路径
  sh experiments/imagenet1k_128/colorization/train_slurm.sh
  

注意事项：

• BigGAN 需要类别条件 (class condition) 作为输入。如果未提供，系统将随机选择。
• 默认提供的超参数可能并非最优，建议根据具体任务数据进行微调。