TensorFlow 中的半监督学习 GAN

作为 南加州大学 Joseph Lim 小组 实现系列的一部分，我们的初衷是通过推广开源项目来加速（或有时延缓）人工智能社区的研究进展。为此，我们实现了最前沿的研究论文，并以简洁的报告形式公开分享。更多项目请访问我们的 小组 GitHub 网站。

本项目由 Sun Shao-Hua 实现，代码在发布前已由 Mao Jiayuan 审核。

说明

本项目是基于 TensorFlow 对论文 Improved Techniques for Training GANs 中提出的 半监督学习生成对抗网络 的实现。其核心思想是利用 GAN 生成器生成的样本，通过提升模型的泛化能力来增强图像分类任务的性能。

简而言之，主要思路 是训练一个同时充当 分类器 和 判别器 的网络：分类器负责执行图像分类任务，而判别器则用于区分由 生成器 生成的样本与真实数据。具体来说，判别器/分类器接收一张图像作为输入，并将其分类为 n+1 类，其中 n 是分类任务的类别数。真实样本被归入前 n 类，而生成样本则被归入第 n+1 类，如图所示。

该多任务学习框架的损失可以分解为 监督损失

<img src="https://oss.gittoolsai.com/images/clvrai_SSGAN-Tensorflow_readme_08836881de02.png" height="25"/，

以及判别器的 GAN 损失

<img src="https://oss.gittoolsai.com/images/clvrai_SSGAN-Tensorflow_readme_9b23de2cdd14.png" height="25"/。

在训练过程中，我们通过简单地将这两种损失相加来联合最小化总损失。

所实现的模型在三个公开可用的数据集上进行了训练和测试：MNIST、SVHN 和 CIFAR-10。

需要注意的是，本实现仅遵循了原始论文的主要思想，但在模型架构、超参数、优化器等实现细节上存在较大差异。此外，本 README 最后还列出了一些对本次实现有用的训练技巧。

*此代码仍在开发中，可能会发生变更。

先决条件

• Python 2.7 或 Python 3.3+
• TensorFlow 1.0.0
• SciPy
• NumPy

使用方法

下载数据集：

$ python download.py --dataset MNIST SVHN CIFAR10

使用下载的数据集训练模型：

$ python trainer.py --dataset MNIST
$ python trainer.py --dataset SVHN
$ python trainer.py --dataset CIFAR10

使用保存的检查点测试模型：

$ python evaler.py --dataset MNIST --checkpoint ckpt_dir
$ python evaler.py --dataset SVHN --checkpoint ckpt_dir
$ python evaler.py --dataset CIFAR10 --checkpoint ckpt_dir

其中 ckpt_dir 的格式应为：train_dir/default-MNIST_lr_0.0001_update_G5_D1-20170101-194957/model-1001

训练和测试您自己的数据集：

• 创建目录

$ mkdir datasets/YOUR_DATASET

• 将您的数据存储为 h5py 文件 datasets/YOUR_DATASET/data.hy，每个数据点包含：
  • 'image'：形状为 [h, w, c]，其中 c 是通道数（灰度图像：1，彩色图像：3）
  • 'label'：以 one-hot 向量表示
• 维护一个列表 datasets/YOUR_DATASET/id.txt，列出所有数据点的 ID
• 修改 trainer.py，包括参数、数据信息等
• 最后，训练和测试模型：

$ python trainer.py --dataset YOUR_DATASET
$ python evaler.py --dataset YOUR_DATASET

结果

MNIST

• 生成的样本（第 100 轮）

• 前 40 轮

SVHN

• 生成的样本（第 100 轮）

• 前 160 轮

CIFAR-10

• 生成的样本（第 1000 轮）

• 前 200 轮

训练细节

MNIST

• 监督损失

• 判别器的损失

D_loss_real

D_loss_fake

D_loss（总损失）

• 生成器的损失

G_loss

• 分类准确率

SVHN

• 监督损失

• 判别器的损失

D_loss_real

D_loss_fake

D_loss（总损失）

• 生成器的损失

G_loss

• 分类准确率

CIFAR-10

• 监督损失

• 判别器的损失

D_loss_real

D_loss_fake

D_loss（总损失）

• 生成器的损失

G_loss

• 分类准确率

训练技巧

• 为了避免判别器网络过快收敛：
  • 生成器网络更新频率更高。
  • 为生成器的训练采用更高的学习率。
• 对正标签应用单侧标签平滑。
• 使用梯度裁剪技巧以稳定训练。
• 应用带有退火权重的重建损失作为辅助损失，帮助生成器摆脱初始局部最小值。
• 使用具有较高动量的 Adam 优化器。
• 更多细节请参阅代码。

相关工作

• Springenberg 的 基于分类生成对抗网络的无监督与半监督学习
• Odena 的 基于生成对抗网络的半监督学习
• Dai 等人的 好的半监督学习需要一个糟糕的 GAN
• 我在 TensorFlow 中实现的 深度卷积生成对抗网络
• 架构图改编自 基于深度卷积生成对抗网络的无监督表示学习 中绘制的图

致谢

部分代码来自与 Jongwook Choi 合作的一个未发表项目。

SSGAN-Tensorflow 快速上手指南

SSGAN-Tensorflow 是基于 TensorFlow 实现的半监督学习生成对抗网络（Semi-supervised Learning GAN）。该模型利用 GAN 生成的样本来提升图像分类任务的泛化能力，核心思想是训练一个同时充当“分类器”和“判别器”的网络。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: Python 2.7 或 Python 3.3+
• 核心依赖:
  • TensorFlow 1.0.0 (注意：本项目基于较旧的 TF 1.x 版本)
  • SciPy
  • NumPy

安装依赖命令：

pip install tensorflow==1.0.0 scipy numpy

提示：由于 TensorFlow 1.0.0 版本较老，建议使用虚拟环境（如 venv 或 conda）进行隔离安装，以避免与现有项目冲突。国内用户可使用清华源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.0.0 scipy numpy

安装步骤

本项目无需复杂的编译安装过程，只需克隆代码库并下载数据集即可。

1. 获取代码 将项目克隆到本地（假设您已获取源码仓库地址，若直接从文件使用可跳过此步）：

   git clone <repository_url>
   cd SSGAN-Tensorflow
   

2. 下载数据集 运行脚本自动下载 MNIST、SVHN 和 CIFAR-10 数据集：

   python download.py --dataset MNIST SVHN CIFAR10
   

基本使用

1. 训练模型

使用下载的默认数据集进行训练。以下以 MNIST 为例：

python trainer.py --dataset MNIST

如需训练其他数据集，替换参数即可：

python trainer.py --dataset SVHN
python trainer.py --dataset CIFAR10

2. 测试/评估模型

训练完成后，使用保存的检查点（checkpoint）进行评估。请将 ckpt_dir 替换为实际的模型路径（通常位于 train_dir 下）：

python evaler.py --dataset MNIST --checkpoint train_dir/default-MNIST_lr_0.0001_update_G5_D1-20170101-194957/model-1001

3. 使用自定义数据集

如果您想用自己的数据进行半监督学习训练，请按以下步骤操作：

1. 创建目录：

   mkdir datasets/YOUR_DATASET
   

2. 准备数据文件：

   • 将数据保存为 datasets/YOUR_DATASET/data.h5 (h5py 格式)。
   • 每个数据点需包含：
     • 'image': 形状为 [h, w, c] (灰度图 c=1, 彩色图 c=3)。
     • 'label': one-hot 向量格式。
   • 创建 datasets/YOUR_DATASET/id.txt，列出所有数据点的 ID。

3. 修改代码： 编辑 trainer.py，更新 args 和 data_info 等配置以适配新数据集。

4. 运行训练与测试：

   python trainer.py --dataset YOUR_DATASET
   python evaler.py --dataset YOUR_DATASET
   

---

注意：本实现遵循原论文的核心思想，但在模型架构、超参数和优化器等细节上有所调整。训练过程中应用了标签平滑、梯度裁剪及辅助重建损失等技巧以稳定训练。