tensorflow-generative-model-collections

TensorFlow 实现的各种 GAN 和 VAE。

相关仓库

PyTorch 版本

该仓库的 PyTorch 版本可在 https://github.com/znxlwm/pytorch-generative-model-collections 找到。

论文《GAN 是否等价？一项大规模研究》

https://github.com/google/compare_gan 是 这篇论文 中使用的代码。它提供了所有 GAN 变体的 IS/FID 指标及丰富的实验结果。

生成对抗网络 (GANs)

列表

名称	论文链接	目标函数
GAN	Arxiv
LSGAN	Arxiv
WGAN	Arxiv
WGAN_GP	Arxiv
DRAGAN	Arxiv
CGAN	Arxiv
infoGAN	Arxiv
ACGAN	Arxiv
EBGAN	Arxiv
BEGAN	Arxiv

GAN 结构的变体

<img src = 'assets/etc/GAN_structure.png' height = '600px'

MNIST 数据集上的结果

生成器和判别器的网络架构与 infoGAN 论文 中完全一致。为了公平比较所有 GAN 变体的核心思想，除 EBGAN 和 BEGAN 外，其他实现均保持相同的网络架构。由于 EBGAN 和 BEGAN 采用了自编码器结构作为判别器，因此对其进行了小幅修改，但尽量保持了判别器的容量。

以下结果可通过以下命令重现：

python main.py --dataset mnist --gan_type <TYPE> --epoch 25 --batch_size 64

随机生成

所有结果均为随机采样。

名称	第 2 轮	第 10 轮	第 25 轮
GAN
LSGAN
WGAN
WGAN_GP
DRAGAN
EBGAN
BEGAN

条件生成

每一行使用相同的噪声向量，每一列具有相同的标签条件。

名称	第 1 轮	第 10 轮	第 25 轮
CGAN
ACGAN
infoGAN

InfoGAN：操纵两个连续变量

Fashion-MNIST 的结果

关于 MNIST 数据集的网络架构评论同样适用于此处。
Fashion-MNIST 是一个近期提出的数据集，包含 60,000 个训练样本和 10,000 个测试样本。每个样本是一张 28×28 的灰度图像，并对应 10 个类别中的一个标签。（T恤/上衣、长裤、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、手提包、短靴）

以下结果可以通过以下命令复现：

python main.py --dataset fashion-mnist --gan_type <TYPE> --epoch 40 --batch_size 64

随机生成

所有结果均为随机采样。

名称	第1轮	第20轮	第40轮
GAN
LSGAN
WGAN
WGAN_GP
DRAGAN
EBGAN
BEGAN

条件生成

每一行使用相同的噪声向量，每一列则具有相同的标签条件。

名称	第1轮	第20轮	第40轮
CGAN
ACGAN
infoGAN

在未对超参数进行调优的情况下，与 CGAN 相比，ACGAN 和 infoGAN 的效果并不理想。
ACGAN 容易陷入模式坍塌。
infoGAN 则倾向于忽略噪声向量，导致同一类别内的不同风格无法被有效表示。

InfoGAN：操控两个连续编码

CelebA 的部分结果

（待补充）

变分自编码器 (VAEs)

列表

名称	论文链接	损失函数
VAE	Arxiv
CVAE	Arxiv
DVAE	Arxiv	（待补充）
AAE	Arxiv	（待补充）

VAE 结构的变体

MNIST 数据集结果

解码器（生成器）和编码器（判别器）的网络架构与 InfoGAN 论文 中完全一致。不同之处在于编码器的输出节点数：VAE 为 2×z_dim，而 GAN 为 1。

以下结果可通过以下命令复现：

python main.py --dataset mnist --gan_type <TYPE> --epoch 25 --batch_size 64

随机生成

所有结果均为随机采样生成。

名称	第1轮	第10轮	第25轮
VAE
GAN

同时提供了 GAN 的结果，以便对比 VAE 和 GAN 生成的图像。从结果中可以明显看出主要区别：VAE 生成的图像较为平滑且模糊，而 GAN 生成的图像则更加清晰锐利，并伴有伪影。

条件生成

每一行使用相同的噪声向量，每一列具有相同的标签条件。

名称	第1轮	第10轮	第25轮
CVAE
CGAN

同样提供了 CGAN 的结果，用于对比 CVAE 和 CGAN 生成的图像。

学习到的流形

以下结果可通过以下命令复现：

python main.py --dataset mnist --gan_type VAE --epoch 25 --batch_size 64 --dim_z 2

请注意，噪声向量 z 的维度为 2。

名称	第1轮	第10轮	第25轮
VAE

Fashion-MNIST 数据集结果

关于 MNIST 数据集网络架构的说明同样适用于此处。

以下结果可通过以下命令复现：

python main.py --dataset fashion-mnist --gan_type <TYPE> --epoch 40 --batch_size 64

随机生成

所有结果均为随机采样生成。

名称	第1轮	第20轮	第40轮
VAE
GAN

同样提供了 GAN 的结果，用于对比 VAE 和 GAN 生成的图像。

条件生成

每一行使用相同的噪声向量，每一列具有相同的标签条件。

名称	第1轮	第20轮	第40轮
CVAE
CGAN

同样提供了 CGAN 的结果，用于对比 CVAE 和 CGAN 生成的图像。

学习到的流形

以下结果可通过以下命令复现：

python main.py --dataset fashion-mnist --gan_type VAE --epoch 25 --batch_size 64 --dim_z 2

请注意，噪声向量 z 的维度为 2。

名称	第1轮	第10轮	第25轮
VAE

CelebA 数据集结果

（待补充）

文件夹结构

以下是基本的文件夹结构：

├── main.py # 入口文件
├── data
│   ├── mnist # MNIST 数据集（未包含在本仓库中）
│   |   ├── t10k-images-idx3-ubyte.gz
│   |   ├── t10k-labels-idx1-ubyte.gz
│   |   ├── train-images-idx3-ubyte.gz
│   |   └── train-labels-idx1-ubyte.gz
│   └── fashion-mnist # Fashion-MNIST 数据集（未包含在本仓库中）
│       ├── t10k-images-idx3-ubyte.gz
│       ├── t10k-labels-idx1-ubyte.gz
│       ├── train-images-idx3-ubyte.gz
│       └── train-labels-idx1-ubyte.gz
├── GAN.py # 原始 GAN 实现
├── ops.py # 层级操作相关代码
├── utils.py # 工具函数
├── logs # TensorBoard 日志文件存放目录
└── checkpoint # 模型文件保存目录

致谢

本实现基于 此仓库，并在 Windows 10 和 Ubuntu 14.04 上使用 TensorFlow 1.0 版本进行了测试。

tensorflow-generative-model-collections 快速上手指南

本工具是基于 TensorFlow 实现的多种生成对抗网络（GAN）和变分自编码器（VAE）集合，支持包括 GAN、LSGAN、WGAN、InfoGAN 等在内的多种主流模型架构。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 建议版本 3.6 - 3.8 (需兼容对应的 TensorFlow 版本)
• 核心依赖:
  • TensorFlow (GPU 或 CPU 版本)
  • NumPy
  • Matplotlib (用于可视化结果)
  • SciPy
• 硬件建议: 虽然可在 CPU 上运行，但训练 GAN 模型强烈建议使用 NVIDIA GPU 以加速收敛。

国内加速提示： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/hwalsuklee/tensorflow-generative-model-collections.git
   cd tensorflow-generative-model-collections
   

2. 安装依赖 项目中通常包含 requirements.txt，如果没有，请手动安装核心库。推荐使用国内镜像源：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果缺少 requirements.txt，请直接安装基础依赖：

   pip install tensorflow numpy matplotlib scipy -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据集 该工具内置了对 MNIST 和 Fashion-MNIST 数据集的自动下载功能（通过 TensorFlow 或 Keras API），首次运行时会自动获取数据，无需手动配置。

基本使用

该项目通过 main.py 脚本统一入口，通过参数控制模型类型、数据集和训练超参数。

1. 在 MNIST 数据集上训练

以下命令演示如何训练一个标准的 GAN 模型。您只需将 <TYPE> 替换为支持的模型名称（如 WGAN, LSGAN, infoGAN, CGAN 等）。

python main.py --dataset mnist --gan_type GAN --epoch 25 --batch_size 64

• --dataset: 选择数据集，支持 mnist 或 fashion-mnist。
• --gan_type: 选择模型架构，可选值包括 GAN, LSGAN, WGAN, WGAN_GP, DRAGAN, CGAN, infoGAN, ACGAN, EBGAN, BEGAN。
• --epoch: 训练轮数。
• --batch_size: 批次大小。

训练过程中，生成的样本图像会保存在输出目录中，您可以直观地观察从第 1 轮到最后一轮的生成效果变化。

2. 在 Fashion-MNIST 数据集上训练

Fashion-MNIST 数据集比 MNIST 更复杂，通常需要更多的训练轮数。以下是训练 WGAN_GP 的示例：

python main.py --dataset fashion-mnist --gan_type WGAN_GP --epoch 40 --batch_size 64

3. 查看结果

运行结束后，检查项目根目录下的输出文件夹（通常为 results 或直接在资产目录中），您将看到：

• Random generation: 随机噪声生成的图像序列。
• Conditional generation: 基于标签条件生成的图像（适用于 CGAN, ACGAN, InfoGAN）。
• Interpolation: 潜在空间插值效果（适用于 InfoGAN）。

注意：部分模型（如 ACGAN 和 InfoGAN）在 Fashion-MNIST 上若未经过专门的超参数调优，可能会出现模式崩溃（mode-collapse）或忽略噪声向量的情况，这是原论文实现中的已知现象。