pro_gan_pytorch

非官方 PyTorch 实现，基于论文《用于提升质量、稳定性和多样性的渐进式生成对抗网络》。
官方 TensorFlow 代码请参考 这个仓库

使用方法：

使用该包

要求（即我们测试过的环境）：

1. Ubuntu 20.04.3 或更高版本
2. Python 3.8.3
3. Nvidia GPU GeForce 1080 Ti 或更高，显存至少 8GB
4. Nvidia 驱动程序 ≥ 470.86
5. Nvidia CUDA 11.3 | 可以跳过，因为 PyTorch 自带 CUDA、cuDNN 等。

安装包

1. 最简单的方式是创建一个新的虚拟环境，以避免污染你的全局 Python 环境。
2. 创建并切换到新虚拟环境：

    (your-machine):~$ python3 -m venv <env-store-path>/pro_gan_pth_env 
    (pro_gan_pth_env)(your-machine):~$ source <env-store-path>/pro_gan_pth_env/bin/activate

3. 如果满足上述所有依赖条件，即可从 PyPI 安装 pro-gan-pth 包：

    (pro_gan_pth_env)(your-machine):~$ pip install pro-gan-pth 

4. 安装完成后，你可以使用已安装的命令行工具 progan_train、progan_lsid 和 progan_fid。
   注意，progan_train 支持多 GPU 训练（如果你有多块 GPU :smile:）。只需确保在 CUDA_VISIBLE_DEVICES=0,1,2 环境变量中正确设置可见的 GPU 即可。另外两个工具则仅使用单个 GPU。

    (your-machine):~$ progan_train --help
用法：训练渐进式生成对抗网络
       [-h]
       [--retrain RETRAIN]
       [--generator_path GENERATOR_PATH]
       [--discriminator_path DISCRIMINATOR_PATH]
       [--rec_dir REC_DIR]
       [--flip_horizontal FLIP_HORIZONTAL]
       [--depth DEPTH]
       [--num_channels NUM_CHANNELS]
       [--latent_size LATENT_SIZE]
       [--use_eql USE_EQL]
       [--use_ema USE_EMA]
       [--ema_beta EMA_BETA]
       [--epochs EPOCHS [EPOCHS ...]]
       [--batch_sizes BATCH_SIZES [BATCH_SIZES ...]]
       [--batch_repeats BATCH_REPEATS]
       [--fade_in_percentages FADE_IN_PERCENTAGES [FADE_IN_PERCENTAGES ...]]
       [--loss_fn LOSS_FN]
       [--g_lrate G_LRATE]
       [--d_lrate D_LRATE]
       [--num_feedback_samples NUM_FEEDBACK_SAMPLES]
       [--start_depth START_DEPTH]
       [--num_workers NUM_WORKERS]
       [--feedback_factor FEEDBACK_FACTOR]
       [--checkpoint_factor CHECKPOINT_FACTOR]
       train_path
       output_dir

    位置性参数：
      train_path            用于训练 ProGAN 的图像文件夹路径
      output_dir            用于保存日志和模型的目录路径

    可选参数：
      -h, --help            显示此帮助信息并退出
      --retrain RETRAIN     当需要从已保存的模型继续训练时启用（默认：False）
      --generator_path GENERATOR_PATH
                            用于重新训练 ProGAN 的生成器模型路径（默认：无）
      --discriminator_path DISCRIMINATOR_PATH 
                            用于重新训练 ProGAN 的判别器模型路径（默认：无）
      --rec_dir REC_DIR     指定图像是否存储在一个文件夹下，或采用递归目录结构（默认：True）
      --flip_horizontal FLIP_HORIZONTAL
                            是否应用水平翻转增强（默认：True）
      --depth DEPTH         生成器和判别器的深度（默认：10）
      --num_channels NUM_CHANNELS
                            图像数据的通道数（默认：3）
      --latent_size LATENT_SIZE
                            生成器和判别器的潜在空间大小（默认：512）
      --use_eql USE_EQL     是否使用等化学习率（默认：True）
      --use_ema USE_EMA     是否使用指数移动平均（默认：True）
      --ema_beta EMA_BETA   移动平均的权重值（默认：0.999）
      --epochs EPOCHS [EPOCHS ...]
                            每个阶段在训练数据集上运行的轮数（默认：[42, 42, 42, 42, 42, 42, 42, 42, 42]）
      --batch_sizes BATCH_SIZES [BATCH_SIZES ...]
                            每个阶段用于训练模型的批量大小（默认：[32, 32, 32, 32, 16, 16, 8, 4, 2]）
      --batch_repeats BATCH_REPEATS
                            每次训练迭代中执行的 G 和 D 步骤次数（默认：4）
      --fade_in_percentages FADE_IN_PERCENTAGES [FADE_IN_PERCENTAGES ...]
                            新层渐变过渡的迭代次数，以百分比表示（默认：[50, 50, 50, 50, 50, 50, 50, 50, 50]）
      --loss_fn LOSS_FN     用于训练 GAN 的损失函数。当前选项：[wgan_gp, standard_gan]（默认：wgan_gp）
      --g_lrate G_LRATE     生成器的学习率（默认：0.003）
      --d_lrate D_LRATE     判别器的学习率（默认：0.003）
      --num_feedback_samples NUM_FEEDBACK_SAMPLES
                            用于固定种子 GAN 反馈的样本数量（默认：4）
      --start_depth START_DEPTH
                            开始训练的分辨率。例如，2 表示 (4x4) | 3 表示 (8x8) ... | 10 表示 (1024x1024)。请注意，这不是重启部分训练的方法。目前暂不支持恢复训练，但很快就会支持。（默认：2）
      --num_workers NUM_WORKERS
                            数据加载器的子进程数量。这是 PyTorch 的特性，你也可以忽略它；除非你觉得速度异常缓慢，否则保持默认值即可。（默认：4）
      --feedback_factor FEEDBACK_FACTOR
                            每个 epoch 写入的反馈日志数量（默认：10）
      --checkpoint_factor CHECKPOINT_FACTOR
                            每个训练阶段每隔多少个 epoch 保存一次模型快照（默认：10）

------------------------------------------------------------------------------------------------------------------------------------------------------------------

    (your-machine):~$ progan_lsid --help
    用法：ProGAN 潜在空间漫步演示视频制作工具 [-h] [--output_path OUTPUT_PATH] [--generation_depth GENERATION_DEPTH] [--time TIME] [--fps FPS] [--smoothing SMOOTHING] model_path

    位置性参数：
      model_path            已训练模型文件 trained_model.bin 的路径

可选参数：
      -h, --help            显示此帮助消息并退出
      --output_path OUTPUT_PATH
                            输出视频文件的保存路径。请仅使用 mp4 格式（.mp4 扩展名）。我已经为此折腾了很久，其他格式都无法正常工作 :(。（默认：./latent_space_walk.mp4）
      --generation_depth GENERATION_DEPTH
                            生成图像的深度级别。从 2 开始 --> (4x4) | 3 --> (8x8) 等。（默认：无）
      --time TIME           视频时长（秒）。（默认：30）
      --fps FPS             生成视频的帧率。（默认：60）
      --smoothing SMOOTHING
                            隐空间行走的平滑度。值越高，平滑效果越好。（默认：0.75）

------------------------------------------------------------------------------------------------------------------------------------------------------------------

    （你的机器）：~$ progan_fid --help
    使用方法：ProGAN fid_score 计算工具 [-h] [--generated_images_path GENERATED_IMAGES_PATH] [--batch_size BATCH_SIZE] [--num_generated_images NUM_GENERATED_IMAGES] 模型路径 数据集路径

    位置参数：
      model_path            训练好的 model.bin 文件路径
      dataset_path          包含数据集图像的目录路径。请注意，该目录必须是扁平结构

    取消参数：
      -h, --help            显示此帮助消息并退出
      --generated_images_path GENERATED_IMAGES_PATH
                            用于存放生成图像的目录路径。默认使用临时目录。如果您想亲自查看生成的图像，请提供此路径 :)。（默认：无）
      --batch_size BATCH_SIZE
                            用于生成随机图像的批量大小。（默认：4）
      --num_generated_images NUM_GENERATED_IMAGES
                            用于计算 FID 的生成图像数量。（默认：50000）

5. 或者，您也可以在代码中将其作为 Python 包导入 以用于更高级的用例：

    import pro_gan_pytorch as pg 

您可以使用包中的所有模块，例如：pg.networks.Generator, pg.networks.Discriminator, pg.gan.ProGAN 等。通常，您只需要 pg.gan.ProGAN 模块来进行训练。而在推理阶段，您可能只需要 pg.networks.Generator。请参考第 4 条中 pro_gan_pytorch_scripts/ 下的工具脚本，以获取有关如何使用该包的示例。此外，您也可以直接阅读代码。它非常容易理解 （至少我希望如此 :sweat_smile: :grimacing:)。

包的开发

对于项目中更高级的用例，或者如果您希望为该项目贡献新功能，以下步骤将帮助您设置开发环境。目前这里没有标准的贡献规范（没有 CONTRIBUTING.md），但我们仍会尽量保持代码库的整体风格 :smile:。

1. 克隆此仓库

    （你的机器）：~$ cd <项目路径>
    （你的机器）：<项目路径>$ git clone https://github.com/akanimax/pro_gan_pytorch.git

2. 提前致歉，因为第 1 步可能会花费一些时间。当时我把一些 GIF 和其他大文件资产上传到了 Git 仓库。那时我还不太了解最佳实践 :sad:。我会尝试解决这个问题。完成克隆后，设置一个开发虚拟环境，

    （你的机器）：<项目路径>$ python3 -m venv pro-gan-pth-dev-env
    （你的机器）：<项目路径>$ source pro-gan-pth-dev-env/source/activate

3. 以开发模式安装包：

    （pro-gan-pth-dev-env）（你的机器）：<项目路径>$ pip install -e .

4. 同时安装开发依赖：

    （pro-gan-pth-dev-env）（你的机器）：<项目路径>$ pip install -r requirements-dev.txt

5. 现在，您可以在自己选择的编辑器中打开项目，就可以开始了。我使用 pytest 进行测试，使用 black 进行代码格式化。请参阅 this_link 以了解如何将 black 配置到各种 IDE 中。

6. 由于这是一个规模较小的项目，因此没有复杂的 CI、自动化测试或文档构建流程。不过，如果未来有更多功能加入，我们愿意考虑引入这些工具。

训练好的模型

我们将使用此包在不同的数据集上持续训练模型。同时，如果您为自己的数据集训练了模型，请随时为下表提交 PR。如果您参与贡献，请设置一个文件托管方案来发布训练好的模型。

出处	数据集	大小	分辨率	使用的 GPU	每个阶段的轮数	训练时长	FID 分数	链接	定性样本
@owang	Metfaces	~1.3K	1024 x 1024	1 V100-32GB	42	24 小时	101.624	model_link

请注意，我们使用来自 Parmar 等人 的 clean_fid 版本来计算 FID。

有趣的内容 :smile:

训练延时摄影（固定隐变量点）：

根据训练过程中记录的图像制作的训练延时摄影看起来非常酷。

请观看这个 YT 视频 以获取 4K 版本 :smile:。

如果您感兴趣，可以查看我撰写的这篇 medium 博客 ，其中解释了渐进式增长技术。

参考文献

1. Tero Karras, Timo Aila, Samuli Laine, & Jaakko Lehtinen (2018). 
用于提升质量、稳定性和多样性的 GAN 渐进式增长。 
国际表示学习大会论文集。

2. Parmar, Gaurav, Richard Zhang, and Jun-Yan Zhu. 
“关于有缺陷的缩放库以及 FID 计算中的意外微妙之处。” 
arXiv 预印本 arXiv:2104.11222 (2021)。

功能需求

• 条件 GAN 支持
• 从日志图像生成延时视频的工具
• 将 fid 指标计算集成到训练日志中

感谢

一如既往，
欢迎在此处提交 PR/问题/建议。希望这项工作对您的项目有所帮助 :smile:.

干杯 :beers:!
@akanimax :sunglasses:

pro_gan_pytorch 快速上手指南

pro_gan_pytorch 是论文《Progressive growing of GANs for improved Quality, Stability, and Variation》的非官方 PyTorch 实现，支持渐进式生成对抗网络训练、潜空间游走视频生成及 FID 分数计算。

环境准备

在开始之前，请确保您的开发环境满足以下最低要求：

• 操作系统: Ubuntu 20.04.3 或更高版本
• Python 版本: 3.8.3
• GPU 硬件: Nvidia GeForce 1080 Ti 或更高型号（显存至少 8GB）
• 显卡驱动: Nvidia drivers >= 470.86
• CUDA 版本: 11.3（通常 PyTorch 会自带相关依赖，可跳过手动安装）

提示：国内用户建议使用清华源或阿里源加速 pip 下载。

安装步骤

推荐通过虚拟环境进行安装，以避免污染全局 Python 环境。

1. 创建并激活虚拟环境

   python3 -m venv <env-store-path>/pro_gan_pth_env 
   source <env-store-path>/pro_gan_pth_env/bin/activate
   

2. 安装核心包 激活环境后，直接从 PyPI 安装（国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）：

   pip install pro-gan-pth 
   

3. 验证安装 安装完成后，系统将提供三个命令行工具：

   • progan_train: 模型训练（支持多 GPU）
   • progan_lsid: 生成潜空间游走视频
   • progan_fid: 计算 FID 分数

基本使用

1. 训练模型 (progan_train)

这是最常用的功能。以下是一个最简单的训练示例，假设你的训练图片位于 ./data/images，输出目录为 ./output：

# 设置可见的 GPU (例如使用 0 号和 1 号卡)
export CUDA_VISIBLE_DEVICES=0,1

# 开始训练
progan_train ./data/images ./output

常用参数说明：

• --depth: 生成器和判别器的深度（默认 10，对应 1024x1024 分辨率）。
• --batch_sizes: 每个阶段的批量大小，例如 [32, 32, 16, 8]。
• --retrain: 设为 True 可从保存的模型恢复训练。
• --loss_fn: 损失函数类型，可选 wgan_gp (默认) 或 standard_gan。

查看完整帮助信息：

progan_train --help

2. 生成潜空间游走视频 (progan_lsid)

使用训练好的模型生成展示潜在空间变化的 MP4 视频：

progan_lsid ./output/trained_model.bin --output_path ./walk.mp4 --time 30 --fps 60

• model_path: 指向训练生成的 .bin 模型文件。
• --generation_depth: 指定生成图像的分辨率深度（2 代表 4x4, 10 代表 1024x1024）。

3. 计算 FID 分数 (progan_fid)

评估生成图像的质量：

progan_fid ./output/trained_model.bin ./dataset_real_images --num_generated_images 50000

• dataset_path: 包含真实数据集图像的扁平化目录路径。
• --num_generated_images: 用于计算 FID 的生成图像数量（默认 50000）。

4. Python 代码调用 (进阶)

你也可以直接在 Python 脚本中导入模块进行更灵活的开发：

import pro_gan_pytorch as pg 

# 主要使用的模块
# 训练: pg.gan.ProGAN
# 推理: pg.networks.Generator

具体用法可参考安装包内的 pro_gan_pytorch_scripts/ 目录下的示例脚本。