我们提出了基于变分推断（variational inference）的贝叶斯卷积神经网络（Bayesian convolutional neural networks），这是卷积神经网络（CNNs）的一种变体，其中权重上难以处理的后验概率分布通过 Bayes by Backprop 方法进行推断。我们在多个数据集（MNIST、CIFAR10、CIFAR100）上展示了所提出的变分推断方法在相同网络架构下能达到与频率学派推断（frequentist inference）相当的性能，具体细节见论文。

---

贝叶斯方法与频率学派方法中的卷积核权重分布

---

整个 CNN 的全贝叶斯视角

---

层类型

本仓库包含两种贝叶斯层（bayesian layer）的实现：

• BBB (Bayes by Backprop):
  基于这篇论文。该层对所有权重分别采样，然后将其与输入结合以计算激活值的一个样本。

• BBB_LRT (Bayes by Backprop w/ Local Reparametrization Trick):
  该层将 Bayes by Backprop 与这篇论文中提出的局部重参数化技巧（Local Reparametrization Trick）相结合。该技巧使得可以直接从激活值的分布中采样。

---

如何构建自定义贝叶斯网络？

要构建自定义贝叶斯网络，请继承 layers.misc.ModuleWrapper 而非 torch.nn.Module，并使用任一实现（BBB 或 BBB_LRT）中的 BBBLinear 和 BBBConv2d 替代 torch.nn.Linear 和 torch.nn.Conv2d。此外，无需定义 forward 方法，ModuleWrapper 会自动处理。

例如：

class Net(nn.Module):

  def __init__(self):
    super().__init__()
    self.conv = nn.Conv2d(3, 16, 5, strides=2)
    self.bn = nn.BatchNorm2d(16)
    self.relu = nn.ReLU()
    self.fc = nn.Linear(800, 10)

  def forward(self, x):
    x = self.conv(x)
    x = self.bn(x)
    x = self.relu(x)
    x = x.view(-1, 800)
    x = self.fc(x)
    return x

上述网络可转换为贝叶斯版本如下：

class Net(ModuleWrapper):

  def __init__(self):
    super().__init__()
    self.conv = BBBConv2d(3, 16, 5, strides=2)
    self.bn = nn.BatchNorm2d(16)
    self.relu = nn.ReLU()
    self.flatten = FlattenLayer(800)
    self.fc = BBBLinear(800, 10)

注意事项：

1. 在第一个 BBBLinear 模块前添加 FlattenLayer。
2. 模型的 forward 方法将返回一个元组 (logits, kl)。
3. 可以将 priors 作为参数传入各层。默认值为：

priors={
    'prior_mu': 0,
    'prior_sigma': 0.1,
    'posterior_mu_initial': (0, 0.1),  # (均值, 标准差) normal_
    'posterior_rho_initial': (-3, 0.1),  # (均值, 标准差) normal_
}

---

如何进行标准实验？

目前支持以下数据集和模型。

• 数据集：MNIST、CIFAR10、CIFAR100
• 模型：AlexNet、LeNet、3Conv3FC

贝叶斯方法

python main_bayesian.py

• 在 config_bayesian.py 中设置超参数

频率学派方法

python main_frequentist.py

• 在 config_frequentist.py 中设置超参数

---

目录结构：

layers/: 包含 ModuleWrapper、FlattenLayer、BBBLinear 和 BBBConv2d。
models/BayesianModels/: 包含标准贝叶斯模型（BBBLeNet、BBBAlexNet、BBB3Conv3FC）。
models/NonBayesianModels/: 包含标准非贝叶斯模型（LeNet、AlexNet）。
checkpoints/: 检查点目录：模型将保存在此处。
tests/: 层和模型的基本单元测试用例。
main_bayesian.py: 训练和评估贝叶斯模型。
config_bayesian.py: main_bayesian.py 的超参数配置。
main_frequentist.py: 训练和评估非贝叶斯（频率学派）模型。
config_frequentist.py: main_frequentist.py 的超参数配置。

---

不确定性估计（Uncertainty Estimation）:

存在两种类型的不确定性：Aleatoric（偶然不确定性） 和 Epistemic（认知不确定性）。
Aleatoric 不确定性用于衡量数据本身的变异性，而 Epistemic 不确定性则源于模型本身。
在 uncertainty_estimation.py 中提供了两种方法：'softmax' 与 'normalized'，分别基于 这篇论文 的公式 4 和 这篇论文 的公式 15。
此外，uncertainty_estimation.py 还可用于在 MNIST 和 notMNIST 数据集上，通过贝叶斯神经网络（Bayesian Neural Network）比较不确定性。你可以提供以下参数：

1. net_type: lenet、alexnet 或 3conv3fc。默认为 lenet。
2. weights_path: 对应 net_type 的权重文件路径。默认为 'checkpoints/MNIST/bayesian/model_lenet.pt'。
3. not_mnist_dir: notMNIST 数据集的目录。默认为 'data\'。
4. num_batches: 需要计算不确定性的批次数。

注意事项:

1. 你需要从 此处 下载 notMNIST 数据集。
2. 在 uncertainty_estimation.py 中使用的参数 layer_type 和 activation_type 需要根据 config_bayesian.py 进行设置，以确保与提供的权重匹配。

---

如果你使用了本项目的工作，请引用以下文献：

@article{shridhar2019comprehensive,
  title={A comprehensive guide to bayesian convolutional neural network with variational inference},
  author={Shridhar, Kumar and Laumann, Felix and Liwicki, Marcus},
  journal={arXiv preprint arXiv:1901.02731},
  year={2019}
}

@article{shridhar2018uncertainty,
  title={Uncertainty estimations by softplus normalization in bayesian convolutional neural networks with variational inference},
  author={Shridhar, Kumar and Laumann, Felix and Liwicki, Marcus},
  journal={arXiv preprint arXiv:1806.05978},
  year={2018}
}

PyTorch-BayesianCNN 快速上手指南

环境准备

• Python 版本：3.7 或更高
• PyTorch 版本：1.3.1
• 操作系统：Linux / macOS / Windows 均可

建议使用国内镜像源加速依赖安装（如清华源、阿里源）。

安装步骤

1. 克隆仓库：

git clone https://github.com/kumar-shridhar/PyTorch-BayesianCNN.git
cd PyTorch-BayesianCNN

2. 安装依赖（推荐使用虚拟环境）：

pip install torch==1.3.1 torchvision
# 如需加速，可使用清华源：
# pip install torch==1.3.1 torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：该工具不依赖额外的第三方库，仅需 PyTorch 和标准库。

基本使用

1. 构建自定义贝叶斯网络

继承 layers.misc.ModuleWrapper，并使用 BBBConv2d 和 BBBLinear 替代标准层：

from layers.misc import ModuleWrapper, FlattenLayer
from layers.BBB import BBBConv2d, BBBLinear

class Net(ModuleWrapper):
    def __init__(self):
        super().__init__()
        self.conv = BBBConv2d(3, 16, 5, stride=2)
        self.bn = nn.BatchNorm2d(16)
        self.relu = nn.ReLU()
        self.flatten = FlattenLayer(800)
        self.fc = BBBLinear(800, 10)

注意：

• 在首个 BBBLinear 前添加 FlattenLayer
• 模型 forward 返回 (logits, kl) 元组
• 可通过 priors 参数自定义先验分布（默认值见 README）

2. 训练标准贝叶斯模型

支持数据集：MNIST、CIFAR10、CIFAR100
支持模型：LeNet、AlexNet、3Conv3FC

修改配置文件后运行：

# 贝叶斯训练
python main_bayesian.py

# 频率学派对比实验
python main_frequentist.py

配置文件位于：

• config_bayesian.py
• config_frequentist.py

3. 不确定性评估（可选）

使用预训练权重评估模型不确定性：

python uncertainty_estimation.py \
  --net_type lenet \
  --weights_path checkpoints/MNIST/bayesian/model_lenet.pt \
  --not_mnist_dir data/

需提前下载 notMNIST 数据集 并解压至 data/ 目录。