贝叶斯神经网络

以下是几种近似推断方法的 PyTorch 实现：

• 贝叶斯反向传播
• 贝叶斯反向传播 + 局部重参数化技巧
• MC dropout
• 随机梯度朗之万动力学
• 预条件 SGLD
• 克罗内克分解拉普拉斯近似
• 带尺度自适应的随机梯度哈密顿蒙特卡洛

我们还提供了以下代码：

• 自助 MAP 集成

前置条件

• PyTorch
• Numpy
• Matplotlib

该项目使用 Python 2.7 和 PyTorch 1.0.1 编写。如果系统支持 CUDA，它将自动被使用。这些模型并不庞大，因此也可以在 CPU 上运行。

使用方法

结构

回归实验

我们在玩具数据集上进行了同方差和异方差回归实验，这些数据集是通过 (高斯过程真值) 生成的，同时也对真实数据（六个 UCI 数据集）进行了实验。

Notebooks/classification/(ModelName)_(ExperimentType).ipynb: 包含使用 (ModelName) 在 (ExperimentType) 上进行的实验，即同方差/异方差。异方差笔记本为给定的 (ModelName) 同时包含了玩具数据集和 UCI 数据集的实验。

我们还提供了 Google Colab 笔记本。这意味着你可以在 GPU 上免费运行！无需任何修改——所有依赖项和数据集都已内置在笔记本中——只需选择“运行时”->“更改运行时类型”->“硬件加速器”->“GPU”即可。

MNIST 分类实验

train_(ModelName)_(Dataset).py: 在 (Dataset) 上训练 (ModelName)。训练指标和模型权重将保存到指定的目录中。

src/: 通用工具和模型定义。

Notebooks/classification: 各种笔记本，可用于训练、评估模型以及运行数字旋转不确定性实验。它们还可以绘制权重分布并进行权重剪枝。此外，它们还允许加载预训练模型进行实验。

贝叶斯反向传播 (BBP)

(https://arxiv.org/abs/1505.05424)

带有回归模型的 Colab 笔记本：BBP 同方差 / 异方差

在 MNIST 上训练模型：

python train_BayesByBackprop_MNIST.py [--model [MODEL]] [--prior_sig [PRIOR_SIG]] [--epochs [EPOCHS]] [--lr [LR]] [--n_samples [N_SAMPLES]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_BayesByBackprop_MNIST.py -h

使用拉普拉斯先验可获得最佳效果。

局部重参数化技巧

(https://arxiv.org/abs/1506.02557)

贝叶斯反向传播推断中，激活的均值和方差以闭式解计算。采样的是激活值而非权重。这使得蒙特卡洛 ELBO 估计量的方差随 minibatch 大小 M 成 1/M 的比例变化。而采样权重则会使方差变为 (M-1)/M。高斯分布之间的 KL 散度也可用闭式解计算，从而进一步降低方差。每轮迭代的计算速度更快，收敛也更快。

在 MNIST 上训练模型：

python train_BayesByBackprop_MNIST.py --model Local_Reparam [--prior_sig [PRIOR_SIG]] [--epochs [EPOCHS]] [--lr [LR]] [--n_samples [N_SAMPLES]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

MC Dropout

(https://arxiv.org/abs/1506.02142)

固定丢弃率为 0.5。

带有回归模型的 Colab 笔记本：MC Dropout 同方差 异方差

在 MNIST 上训练模型：

python train_MCDropout_MNIST.py [--weight_decay [WEIGHT_DECAY]] [--epochs [EPOCHS]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_MCDropout_MNIST.py -h

随机梯度朗之万动力学 (SGLD)

(https://www.ics.uci.edu/~welling/publications/papers/stoclangevin_v6.pdf)

为了使模型收敛到真实的后验分布，学习率应根据 Robbins-Monro 条件进行退火。但在实际应用中，我们通常使用固定的学习率。

带有回归模型的 Colab 笔记本：SGLD 同方差 / 异方差

在 MNIST 上训练模型：

python train_SGLD_MNIST.py [--use_preconditioning [USE_PRECONDITIONING]] [--prior_sig [PRIOR_SIG]] [--epochs [EPOCHS]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_SGLD_MNIST.py -h

pSGLD

(https://arxiv.org/abs/1512.07666)

带有 RMSprop 预条件的 SGLD。与普通 SGLD 相比，应使用更高的学习率。

在 MNIST 上训练模型：

python train_SGLD_MNIST.py --use_preconditioning True [--prior_sig [PRIOR_SIG]] [--epochs [EPOCHS]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

自助 MAP 集成

多个网络在数据集的子样本上进行训练。

带有回归模型的 Colab 笔记本：MAP 集成 同方差 / 异方差

在 MNIST 上训练集成：

python train_Bootrap_Ensemble_MNIST.py [--weight_decay [WEIGHT_DECAY]] [--subsample [SUBSAMPLE]] [--n_nets [N_NETS]] [--epochs [EPOCHS]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_Bootrap_Ensemble_MNIST.py -h

克罗内克分解拉普拉斯近似

(https://openreview.net/pdf?id=Skdvd2xAZ)

首先训练一个MAP网络，然后计算后验分布模式附近曲率的二阶泰勒展开近似。这里采用块对角Hessian近似，仅考虑层内依赖关系。进一步将Hessian近似为单个数据点Hessian因子期望的克罗内克积。近似Hessian可能需要较长时间，但幸运的是只需执行一次。

在MNIST数据集上训练MAP网络并近似Hessian：

python train_KFLaplace_MNIST.py [--weight_decay [WEIGHT_DECAY]] [--hessian_diag_sig [HESSIAN_DIAG_SIG]] [--epochs [EPOCHS]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_KFLaplace_MNIST.py -h

请注意，我们保存了未缩放且未逆化的Hessian因子。这将允许在推理时以较低的计算成本调整先验，而无需重新计算Hessian。推理过程需要对近似的Hessian因子进行逆运算，并从矩阵正态分布中采样。相关示例请参见notebooks/KFAC_Laplace_MNIST.ipynb。

随机梯度哈密顿蒙特卡洛

(https://arxiv.org/abs/1402.4102)

我们实现了该算法的自适应尺度版本，该版本由此处提出，用于在预热阶段自动寻找超参数。我们在网络权重上施加高斯先验，并在高斯先验的精度上设置伽马超先验。

运行SG-HMC-SA预热和采样器，并将权重保存到指定文件中：

python train_SGHMC_MNIST.py [--epochs [EPOCHS]] [--sample_freq [SAMPLE_FREQ]] [--burn_in [BURN_IN]] [--lr [LR]] [--models_dir [MODELS_DIR]] [--results_dir [RESULTS_DIR]]

如需了解脚本参数说明：

python train_SGHMC_MNIST.py -h

神经网络中的近似推断

MAP推断提供参数值的点估计。当输入为分布外数据（例如旋转后的数字）时，这些模型往往会以很高的置信度做出错误预测。

不确定性分解

我们可以通过预测熵来衡量模型预测中的不确定性。可以将这一项分解，以区分两种类型的不确定性：由数据噪声引起的偶然不确定性，可量化为模型预测熵的期望值；以及由模型本身引起的认知不确定性，可通过总熵与偶然不确定性的差值来衡量。

结果

同方差回归

玩具同方差回归任务。数据由具有RBF核（l = 1, σn = 0.3）的GP生成。我们使用一个单输出全连接网络，包含一层200个ReLU单元，用于预测回归均值μ(x)。固定log σ则单独学习。

异方差回归

与前一节相同，但log σ(x)根据输入预测。

玩具异方差回归任务。数据由具有RBF核（l = 1, σn = 0.3 · |x + 2|）的GP生成。我们使用一个双头网络，包含200个ReLU单元，分别预测回归均值μ(x)和对数标准差log σ(x)。

UCI数据集上的回归

我们在六个UCI数据集上进行了异方差回归（包括housing、concrete、energy efficiency、power plant、red wine和yacht），采用10折交叉验证。所有实验都包含在异方差笔记本中。需要注意的是，结果高度依赖于超参数的选择。下方图表展示了训练集（半透明颜色）和测试集（实心颜色）上的对数似然和RMSE。圆圈和误差线分别对应10折交叉验证的均值和标准差。

MNIST分类

除MAP模型外，其他模型均使用100个权重样本进行权重边缘化处理，而MAP模型仅使用一组权重。

| MNIST测试 | MAP | MAP 集成 | BBP 高斯 | BBP GMM | BBP 拉普拉斯 | BBP 局部重参数化 | MC Dropout | SGLD | pSGLD | |:--------------: |:-------: |:-------------------: |:--------------: |:---------: |:-------------: |:-------------------: |:----------: |:-------: |:-------: | | Log Like | -572.9 | -496.54 | -1100.29 | -1008.28 | -892.85 | -1086.43 | -435.458 | -828.29 | -661.25 | | Error % | 1.58 | 1.53 | 2.60 | 2.38 | 2.28 | 2.61 | 1.37 | 1.76 | 1.76 |

所考察方法在MNIST测试上的结果。未进行大规模超参数调优。我们使用100个MC样本近似后验预测分布。采用两层各1200个ReLU单元的全连接网络。若未指定，则先验为标准差为0.1的高斯分布。p-SGLD使用RMSprop预条件。

关于Bayes By Backprop的原始论文（https://arxiv.org/abs/1505.05424）报告称，在MNIST数据集上误差约为1%。我们发现，只有当近似后验方差初始化为非常小（BBP Gauss 2）时，才能达到这一效果。在这种情况下，权重分布接近狄拉克δ函数，虽然预测性能良好，但不确定性估计较差。然而，当将方差初始化为与先验一致（BBP Gauss 1）时，便得到了上述结果。这两种超参数配置方案的训练曲线如下所示：

MNIST 不确定性

通过在 MNIST 测试集上添加旋转来生成 OOD 样本时获得的总不确定性、随机性和认知不确定性：

在 KMNIST 数据集上测试我们基于 MNIST 训练的模型时获得的总不确定性和认知不确定性：

对抗鲁棒性

当我们向模型输入对抗样本（FGSM）时，所获得的总不确定性、随机性和认知不确定性。

权重分布

从每个基于 MNIST 训练的模型中采样得到的权重直方图。我们为每个模型抽取了 10 个权重样本。

权重剪枝

#TODO

Bayesian-Neural-Networks 快速上手指南

本指南帮助中国开发者快速部署和使用基于 PyTorch 的贝叶斯神经网络开源工具，涵盖多种近似推断方法（如 BBP、MC Dropout、SGLD 等）。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 2.7+ (项目原始开发版本)，建议兼容 Python 3.x 环境运行
• 硬件加速: 支持 CUDA 的 GPU（可选，模型较小也可在 CPU 上运行）

前置依赖

请确保已安装以下核心库：

• PyTorch (推荐 1.0.1+)
• Numpy
• Matplotlib

国内加速建议：建议使用清华或阿里镜像源安装依赖，以提升下载速度。

pip install torch numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/JavierAntoran/Bayesian-Neural-Networks.git
   cd Bayesian-Neural-Networks
   

2. 验证环境 确保 python 和 pip 可用。如果使用 GPU，请确认 PyTorch 已正确识别 CUDA：

   python -c "import torch; print(torch.cuda.is_available())"
   

   注：若返回 True，脚本将自动使用 GPU；否则自动切换至 CPU。

基本使用

本项目提供了多种贝叶斯推断方法的训练脚本。以下以 MNIST 分类任务 为例，展示最常用的两种方法。

1. 使用 Bayes by Backprop (BBP) 训练模型

这是最基础的贝叶斯神经网络实现方法。

python train_BayesByBackprop_MNIST.py --model BBP --prior_sig 1.0 --epochs 10 --lr 0.001 --n_samples 5

• --model: 指定模型类型（此处为 BBP）。
• --prior_sig: 先验分布的标准差（推荐使用 Laplace 先验以获得最佳结果）。
• --epochs: 训练轮数。
• --lr: 学习率。
• --n_samples: 蒙特卡洛采样次数。

查看完整参数说明：

python train_BayesByBackprop_MNIST.py -h

2. 使用 MC Dropout 训练模型

一种通过 Dropout 实现贝叶斯近似的轻量级方法。

python train_MCDropout_MNIST.py --weight_decay 0.0001 --epochs 10 --lr 0.001

• 默认 Dropout 率固定为 0.5。
• 训练指标和模型权重将自动保存到指定目录。

3. 其他可用方法

项目还支持以下高级推断方法，调用方式类似：

• 局部重参数化技巧 (Local Reparametrisation):

  python train_BayesByBackprop_MNIST.py --model Local_Reparam --epochs 10
  

• 随机梯度朗之万动力学 (SGLD):

  python train_SGLD_MNIST.py --epochs 10
  

• 预处理 SGLD (pSGLD):

  python train_SGLD_MNIST.py --use_preconditioning True --epochs 10
  

• Bootstrap MAP 集成:

  python train_Bootrap_Ensemble_MNIST.py --n_nets 5 --epochs 10
  

• Kronecker 因子拉普拉斯近似:

  python train_KFLaplace_MNIST.py --epochs 10
  

4. 回归任务与在线体验

对于回归实验（同方差/异方差），项目提供了完整的 Jupyter Notebook。如果您希望无需配置本地环境即可体验，推荐使用 Google Colab（需科学上网）或直接运行本地 Notebook：

• 路径: Notebooks/classification/(ModelName)_(ExperimentType).ipynb
• 功能: 包含玩具数据集和 UCI 真实数据集的实验，支持不确定性分解可视化和权重剪枝分析。

训练完成后，模型权重和结果将保存在 --models_dir 和 --results_dir 指定的文件夹中，可通过对应的 Notebook 加载预训练模型进行评估和不确定性分析。