NIPS'14-SSL

用于复现我们2014年NIPS会议上关于使用深度生成模型进行半监督学习（SSL）论文中部分关键结果的代码。

D.P. Kingma, D.J. Rezende, S. Mohamed, M. Welling
使用深度生成模型的半监督学习
神经信息处理系统进展第27卷（NIPS 2014），蒙特利尔
http://arxiv.org/abs/1406.5298

请在您的研究中使用此代码时引用该论文。

警告: 此代码注释尚不完善。

如有疑问或发现错误，请发送电子邮件至 dpkingma[at]gmail.com。

前提条件

1. 确保已安装最新版本的：

   • Python（2.7或更高版本）
   • Numpy（例如：pip install numpy）
   • Theano（例如：pip install Theano）

2. 在Theano配置文件的[global]部分设置floatX = float32（通常位于~/.theanorc）。或者，您也可以在下面的Python命令前添加THEANO_FLAGS=floatX=float32 。

3. 克隆本仓库，例如：

git clone https://github.com/dpkingma/nips14-ssl.git

4. 设置一个环境变量ML_DATA_PATH，使其指向data/子目录。例如，如果您将此仓库克隆到主目录下：

export ML_DATA_PATH="$HOME/nips14-ssl/data"

定性结果

飞越M2模型的潜在空间

要生成飞越M2模型潜在空间的视频，请运行：

python run_flying.py [dataset] 1 output.mkv

其中dataset为mnist或svhn，target_filename为保存视频文件的文件名。注意：此脚本需要安装ffmpeg。

类比

运行：

python run_analogies.py [dataset] 1

定量结果

训练M1模型

要训练M1模型（一种具有球形高斯潜在空间的标准变分自编码器/深度生成模型）：

python run_gpulearn_z_x.py [dataset]

M1模型不包含类别标签，但在论文的实验中用于特征提取。

训练M1+M2模型，部分观测标签

要运行使用M1+M2模型的半监督学习实验：

python run_2layer_ssl.py [n_labels] [seed]

其中n_labels为标签数量，seed为Numpy的随机种子。为了复现论文中的实验结果，标签数量应为100、600、1000或3000。随机种子可以是任意整数。每次实验将运行3000个epoch；由于此代码未针对GPU优化，运行大量epoch可能需要几天时间才能完成。然而，通常并不需要运行如此多的epoch即可获得良好的结果。

使用完全观测标签训练M2模型

要训练包含所有标签的生成模型：

python run_gpulearn_yz_x.py [dataset]

其中dataset为mnist、svhn、norb或norb_reshuffled。

评估使用全部标签训练模型的测试集误差

要评估已训练好的MNIST和SVHN生成模型的测试集分类误差：

python run_sl.py [dataset]

此脚本会针对每个测试集图像，迭代地构建对类别标签后验概率分布的重要性采样估计。这是一个计算开销较大的过程，但可以通过拟合一个推断模型来近似类别标签的后验分布来加速（不过在本例中并未这样做）。

nips14-ssl 快速上手指南

本指南基于 NIPS 2014 论文《Semi-Supervised Learning with Deep Generative Models》的开源代码，帮助开发者快速复现半监督学习（SSL）的关键实验结果。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应环境）
• Python：版本 2.7 或更高
• 核心依赖：
  • numpy
  • theano
• 可选依赖：ffmpeg（用于生成潜空间飞行视频）

注意：本项目代码注释较少，且未针对现代 GPU 进行深度优化，长时间训练可能需要数天。

安装步骤

1. 安装 Python 依赖

建议使用 pip 安装必要的库。国内用户可指定清华或阿里镜像源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy Theano

2. 配置 Theano

Theano 需要设置浮点数精度为 float32。您可以选择以下任一方式：

• 方式 A（推荐）：修改配置文件 ~/.theanorc，在 [global] 部分添加：

  [global]
  floatX = float32
  

• 方式 B：在运行命令前临时设置环境变量（见下文使用示例）。

3. 克隆项目仓库

git clone https://github.com/dpkingma/nips14-ssl.git
cd nips14-ssl

4. 设置数据路径环境变量

代码需要通过环境变量 ML_DATA_PATH 定位数据目录。假设您将仓库克隆到了用户主目录：

export ML_DATA_PATH="$HOME/nips14-ssl/data"

建议将此命令添加到 ~/.bashrc 或 ~/.zshrc 中以便永久生效。

基本使用

以下是最基础的模型训练与评估示例。请将 [dataset] 替换为实际数据集名称（如 mnist, svhn 等）。

1. 训练 M1 模型（无标签特征提取）

训练标准的变分自编码器（VAE），不包含类别标签信息：

THEANO_FLAGS=floatX=float32 python run_gpulearn_z_x.py mnist

2. 训练 M1+M2 模型（半监督学习）

复现论文中的半监督学习实验。需指定标签数量（如 100, 600, 1000, 3000）和随机种子：

# 格式：python run_2layer_ssl.py [标签数量] [随机种子]
THEANO_FLAGS=floatX=float32 python run_2layer_ssl.py 100 1

注：默认运行 3000 个 epoch，耗时较长，可根据需求提前终止。

3. 生成潜空间飞行视频（定性结果）

生成展示 M2 模型潜空间变化的视频（需已安装 ffmpeg）：

THEANO_FLAGS=floatX=float32 python run_flying.py mnist 1 output.mkv

4. 评估测试集误差

对已训练好的全标签模型进行分类误差评估：

THEANO_FLAGS=floatX=float32 python run_sl.py mnist