归一化流

对以下论文中的密度估计算法进行了重新实现：

• 块神经自回归流
• Glow：具有可逆 1×1 卷积的生成流
• 用于密度估计的掩码自回归流
• 使用 RealNVP 进行密度估计
• 基于归一化流的变分推断

块神经自回归流

https://arxiv.org/abs/1904.04676

在玩具密度估计数据集上实现了 BNAF。

结果

对二维玩具数据的密度估计以及对二维测试能量势能的密度估计（参见论文中的图 2 和图 3）：

这些模型按照论文第 5 节中描述的架构和超参数训练了 20,000 步，除了 rings 数据集（右下角）使用了 5 层隐藏层。与 Rezende & Mohamed 中的平面流模型相比，BNAF 训练得更快且更加稳定；有趣的是，BNAF 对空间的拉伸方式不同，需要更多的测试点才能显示出平滑的势能。

二维能量势能上的密度匹配	二维玩具数据上的密度估计

使用方法

训练模型：

python bnaf.py --train
               --dataset      # 可选 u1、u2、u3、u4、8gaussians、checkerboard、2spirals
               --log_interval # 模型保存和结果可视化的频率
               --n_steps      # 训练步数
               --n_hidden     # 隐藏层数量
               --hidden_dim   # 隐藏层维度
               --[其他选项]

其他选项包括：学习率、学习率衰减及耐心值、CUDA 设备 ID、批量大小。

绘制模型：

python bnaf.py --plot
               --restore_file [路径到 .pt 检查点文件]

有用资源

• 作者官方实现 https://github.com/nicola-decao/BNAF

Glow：带有可逆1×1卷积的生成流模型

https://arxiv.org/abs/1807.03039

在CelebA和MNIST数据集上实现Glow模型。

结果

我训练了两个模型：

• 模型A：3个层级，深度32，宽度512（约7400万参数）。在5位图像上训练，每张GPU上的批量大小为16，共进行了10万次迭代。
• 模型B：3个层级，深度24，宽度256（约2200万参数）。在4位图像上训练，每张GPU上的批量大小为32，共进行了10万次迭代。

在这两种情况下，梯度都被裁剪至范数50，学习率为1e-3，并在前2个epoch内从0线性预热。两者都达到了相似的结果，即4.2比特/维度。

不同温度下的采样结果

温度范围为0、0.25、0.5、0.6、0.7、0.8、0.9、1（行，从上到下）：

模型A	模型B

温度为0.7时的采样结果：

模型A	模型B

模型A对分布内样本的属性操控：

对前3万个训练图像计算了嵌入向量，分别取正负属性的平均值并相减。得到的dz被归一化后应用于测试集中的一个图像（中间图表示未改变的真实数据点）。

属性	dz 范围 [-2, -1, 0, 1, 2]
棕色头发
男性
嘴微微张开
年轻

模型A对“分布外”样本（即我自己）的属性操控：

属性	dz 范围
棕色头发
嘴微微张开

使用方法

使用PyTorch分布式包训练模型：

python -m torch.distributed.launch --nproc_per_node=NUM_GPUS_YOU_HAVE \
       glow.py --train \
               --distributed \
               --dataset=celeba \
               --data_dir=[数据源路径 ] \
               --n_levels=3 \
               --depth=32 \
               --width=512 \
               --batch_size=16 [这是每张GPU上的批量大小]

对于更大的模型或更高分辨率的图像，可以添加--checkpoint_grads选项来使用PyTorch库进行梯度检查点保存。我曾训练过一个3层/深度32/宽度512、批量大小为16且未使用梯度检查点的模型，以及一个4层/深度48/宽度512、批量大小为16的模型，后者约有1.9亿参数，因此必须使用梯度检查点（并且在8张GPU上运行时速度非常慢）。

评估模型：

python glow.py --evaluate \
               --restore_file=[ .pt 检查点文件路径 ] \
               --dataset=celeba \
               --data_dir=[ 数据源路径 ] \
               --[ 已保存模型的参数：n_levels、depth、width、batch_size ]

从已训练好的模型生成样本：

python glow.py --generate \
               --restore_file=[ .pt 检查点文件路径 ] \
               --dataset=celeba \
               --data_dir=[ 数据源路径 ] \
               --[ 已保存模型的参数：n_levels、depth、width、batch_size ] \
               --z_std=[ 温度参数；若为空，则生成一系列样本 ]

可视化特定图像的操控效果（需已训练好模型）：

python glow.py --visualize \
               --restore_file=[ .pt 检查点文件路径 ] \
               --dataset=celeba \
               --data_dir=[ 数据源路径 ] \
               --[ 已保存模型的参数：n_levels、depth、width、batch_size ] \
               --z_std=[ 温度参数；若为空，则使用默认值 ] \
               --vis_attrs=[ 需要操控的属性索引列表；若为空，则操控所有属性 ] \
               --vis_alphas=[ 用于乘以`dz`的数值列表；默认为[-2,2] ] \
               --vis_img=[ 需要操控的图像路径（注意：尺寸需与数据集一致）；若为空，则使用测试集中的示例 ]

数据集

下载CelebA数据集，请按照此处的说明操作。这里有一个方便的脚本可以帮助简化下载和解压过程：https://github.com/nperraud/download-celebA-HQ/

参考文献

• 官方TensorFlow实现：https://github.com/openai/glow

掩码自回归流

https://arxiv.org/abs/1705.07057

在 UCI 数据集和 MNIST 上重新实现了 MADE、MAF、高斯混合 MADE、高斯混合 MAF 以及 RealNVP 模块。

结果

无条件/条件密度估计的平均测试对数似然（参考论文中的表 1 和表 2 以获取结果和参数；此处模型训练了 50 个 epoch）：

模型	POWER	GAS	HEPMASS	MINIBOONE	BSDS300	MNIST（无条件）	MNIST（条件）
MADE	-3.10 ± 0.02	2.53 ± 0.02	-21.13 ± 0.01	-15.36 ± 15.06	146.42 ± 0.14	-1393.67 ± 1.90	-1340.98 ± 1.71
MADE MOG	0.37 ± 0.01	8.08 ± 0.02	-15.70 ± 0.02	-11.64 ± 0.44	153.56 ± 0.28	-1023.13 ± 1.69	-1013.75 ± 1.61
RealNVP (5)	-0.49 ± 0.01	7.01 ± 0.06	-19.96 ± 0.02	-16.88 ± 0.21	148.34 ± 0.26	-1279.76 ± 9.91	-1276.33 ± 12.21
MAF (5)	0.03 ± 0.01	6.23 ± 0.01	-17.97 ± 0.01	-11.57 ± 0.21	153.53 ± 0.27	-1272.70 ± 1.87	-1268.24 ± 2.73
MAF MOG (5)	0.09 ± 0.01	7.96 ± 0.02	-17.29 ± 0.02	-11.27 ± 0.41	153.35 ± 0.26	-1080.46 ± 1.53	-1070.33 ± 1.53

玩具密度模型（参考论文中的图 1）：

目标密度	使用 MADE 及随机数驱动 MADE 学习到的密度	使用 MAF 5 层及随机数驱动 MAF 学习到的密度

使用 MAF (5) 模型生成的 MNIST 类条件图像；生成数据按对数似然递减排序（参考论文中的图 3）：

使用方法

训练模型：

python maf.py -- train \
              -- model=['made' | 'mademog' | 'maf' | 'mafmog' | 'realnvp'] \
              -- dataset=['POWER' | 'GAS' | 'HEPMASS' | 'MINIBOONE' | 'BSDS300' | MNIST'] \
              -- n_blocks=[对于 maf/mafmog 和 realnvp，指定 MADE 块或耦合层的数量] \
              -- n_components=[如果是高斯混合，则指定组件数量] \
              -- conditional [如果是 MNIST，可以训练类条件对数似然] \
              -- [更多选项请参阅 py 文件]

评估模型：

python maf.py -- evaluate \
              -- restore_file=[.pt 检查点路径] \
              -- [保存模型的选项：n_blocks、n_hidden、hidden_size、n_components、conditional]

从已训练模型生成数据（针对 MNIST 数据集）：

python maf.py -- generate \
              -- restore_file=[.pt 检查点路径] \
              -- dataset='MNIST' \
              -- [保存模型的选项：n_blocks、n_hidden、hidden_size、n_components、conditional]

数据集

数据集和预处理代码源自 MAF 作者的实现 这里。解压后的数据集应符号链接到 ./data 文件夹，或指定 data_dir 参数指向实际数据。

参考文献

• 作者的原始 Theano 实现 https://github.com/gpapamak/maf/
• https://github.com/ikostrikov/pytorch-flows

基于归一化流的变分推断

实现了 基于归一化流的变分推断

结果

二维测试能量势的密度估计（参考论文中的表 1 和图 3）。

目标密度	流 K = 2	流 K = 32	训练参数
			权重初始化为 N(0,1)，基础分布尺度为 2
			权重初始化为 N(0,1)，基础分布尺度为 1
			权重初始化为 N(0,1)，基础分布尺度为 1，权重衰减为 1e-3
			权重初始化为 N(0,1)，基础分布尺度为 4，权重衰减为 1e-3

使用方法

训练模型：

python planar_flow.py -- train \
                      -- target_potential=[选择 u_z1 | u_z2 | u_z3 | u_z4] \
                      -- flow_length=[流的层数] \
                      -- [其他选项]

其他选项包括：基础分布（q0）的尺度、权重初始化的尺度、权重衰减以及可学习的第一层仿射变换（我没有发现添加仿射层有益）。

评估模型：

python planar_flow.py -- evaluate \
                      -- restore_file=[.pt 检查点路径]

有用资源

• https://github.com/casperkaae/parmesan/issues/22

依赖项

• python 3.6
• pytorch 1.0
• numpy
• matplotlib
• tensorboardX

部分数据集还需要：

• pandas
• sklearn
• h5py

Normalizing Flows 快速上手指南

本工具集成了多种基于归一化流（Normalizing Flows）的密度估计与生成模型复现，包括 BNAF、Glow、MAF、RealNVP 及基础平面流（Planar Flow）。以下指南将帮助您快速配置环境并运行核心示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需通过 WSL 运行)
• Python 版本: 推荐 Python 3.6 - 3.8 (基于 PyTorch 兼容性)
• 核心依赖:
  • PyTorch (建议安装支持 CUDA 的版本以加速训练)
  • torchvision
  • NumPy
  • Matplotlib (用于可视化结果)
• 硬件建议: 运行 Glow 等大模型时，建议使用配备 NVIDIA GPU 的机器。

依赖安装命令：

pip install torch torchvision numpy matplotlib
# 如果国内下载较慢，推荐使用清华源加速
# pip install torch torchvision numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

该项目为纯 Python 实现，无需复杂的编译安装过程。只需克隆仓库并进入目录即可。

1. 克隆代码库

   git clone https://github.com/ikostrikov/pytorch-flows.git
   cd pytorch-flows
   

2. 验证文件结构 确保目录下包含以下核心脚本文件：

   • bnaf.py (Block Neural Autoregressive Flow)
   • glow.py (Glow: Generative Flow with Invertible 1x1 Convolutions)
   • maf.py (Masked Autoregressive Flow)
   • planar_flow.py (Variational Inference with Normalizing Flows)

基本使用

以下展示三个主要模型的最低限度运行示例。首次运行时，脚本会自动下载或读取指定路径的数据集（如 MNIST, CelebA 等）。

1. 运行 BNAF (2D 玩具数据密度估计)

此示例将在 2D 高斯混合分布数据上训练模型 20,000 步，并保存可视化结果。

python bnaf.py --train \
               --dataset 8gaussians \
               --log_interval 1000 \
               --n_steps 20000 \
               --n_hidden 5 \
               --hidden_dim 64

训练完成后，可使用 --plot 参数配合生成的 .pt checkpoint 文件查看密度图。

2. 运行 MAF (MNIST 数据集密度估计)

此示例使用掩码自回归流（MAF）在 MNIST 数据集上进行无条件密度估计训练 1 个 epoch（演示用，正式训练需更多 epoch）。

python maf.py --train \
              --model maf \
              --dataset MNIST \
              --n_blocks 5 \
              --conditional False

注：如需进行类别条件生成，可添加 --conditional True 参数。

3. 运行 Glow (图像生成)

注意：Glow 模型较大，首次运行前需准备 CelebA 或 MNIST 数据集。若使用 CelebA，请将数据解压后通过 --data_dir 指定路径。以下以单卡训练简化版为例：

python glow.py --train \
               --dataset celeba \
               --data_dir ./data/celeba \
               --n_levels 3 \
               --depth 24 \
               --width 256 \
               --batch_size 16

• 多卡分布式训练（可选）：

  python -m torch.distributed.launch --nproc_per_node=NUM_GPUS_YOU_HAVE \
         glow.py --train --distributed --dataset=celeba --data_dir=./data/celeba ...
  

4. 运行基础平面流 (Planar Flow)

针对论文中的 2D 能量势函数进行变分推断演示：

python planar_flow.py --train \
                      --target_potential u_z1 \
                      --flow_length 32

---

提示：所有训练生成的模型检查点默认为 .pt 格式。使用 --restore_file [path/to/model.pt] 配合 --evaluate 或 --generate 参数即可加载预训练模型进行评估或采样生成。