证据深度学习用于量化分类不确定性

本仓库的目的是提供一个易于运行的PyTorch演示，该演示对计算资源要求较低，旨在实现论文《证据深度学习用于量化分类不确定性》中提出的思想。论文作者最初在其实现中使用了TensorFlow。

论文可通过以下链接访问：http://arxiv.org/abs/1806.01768

出自：神经信息处理系统进展第31卷（NIPS 2018）

📝 目录

• 简介
• 论文摘要
• 作者
• 演示
• 使用方法
• 许可证
• 依赖项

🧐 简介

本仓库的目的是提供一个易于运行的PyTorch演示，该演示对计算资源要求较低，旨在实现论文《证据深度学习用于量化分类不确定性》中提出的思想。论文作者最初在其实现中使用了TensorFlow。

论文可通过以下链接访问：http://arxiv.org/abs/1806.01768

出自：神经信息处理系统进展第31卷（NIPS 2018）

📚 论文摘要

已有研究表明，确定性神经网络能够在广泛的机器学习问题上学习到有效的预测模型。然而，由于标准做法是训练网络以最小化预测损失，因此所得模型对其预测置信度一无所知。与通过权重不确定性间接推断预测不确定性的贝叶斯神经网络不同，我们提出利用主观逻辑理论对预测不确定性进行显式建模。通过在类别概率上施加狄利克雷分布，我们将神经网络的预测视为主观意见，并从数据中学习由确定性神经网络生成这些意见的证据收集函数。最终得到的多分类问题预测器是另一个狄利克雷分布，其参数由神经网络的连续输出决定。我们初步分析了新型损失函数的独特性质如何推动不确定性估计的改进。我们观察到，我们的方法在检测分布外样本以及抵御对抗性扰动方面取得了前所未有的成功。

✍️ 作者

原始论文作者：

• 穆拉特·森索伊
• 兰斯·卡普兰
• 梅利赫·坎德米尔

本仓库代码作者：

• 道格拉斯·布里昂

🏁 演示

使用Softmax交叉熵损失的神经网络分类

当前深度神经网络的标准做法是使用Softmax函数将输出层的连续激活值转换为类别概率。

以下演示了基于Softmax的深度神经网络在遇到测试集之外的样本时的表现。

经过50个epoch训练后，该网络的测试准确率约为98.9%。现在，我们希望对MNIST数据集中旋转后的数字进行分类，以观察该网络对于非训练集分布样本的表现如何。

对于较小角度的旋转，图像会被正确地分类为“1”，且具有较高的概率值。然而，当图像被旋转到较大角度时，尽管样本已被错误分类，但使用Softmax函数计算出的分类概率仍然很高。

如上所示，一个被训练为生成Softmax概率的神经网络，在遇到与训练样本不同的新样本时表现不佳。Softmax会强制神经网络选择一个类别，即使该对象属于未知类别。这一点在我们将数字旋转至60到130度之间时尤为明显。在此范围内，网络会错误地将数字分类为5或7，且分类概率还很高。

使用期望均方误差进行不确定性分类

理想情况下，我们希望网络在尝试分类属于未知类别对象时表现出“不确定”。让网络说“我不知道”可以通过将所有置信质量分配给整个框架来实现。 正如论文所述，神经网络可以被训练为学习狄利克雷分布的参数，而不是Softmax概率。参数满足 α ≥ 1 的狄利克雷分布类似于Softmax概率（多项分布）的生成模型，它为每个多项分布关联一个似然值。

上图表明，所提出的方案为错误分类的样本产生的证据远少于正确分类的样本。错误分类样本的不确定性较高，约为1.0，而正确分类样本的不确定性则较低，约为0.2，无论是在训练集还是测试集上均如此。这意味着神经网络对错误分类的样本非常不确定，而仅对正确分类的样本给出确定性的预测。换句话说，神经网络也能通过为其错误预测赋予高不确定性来判断自己是否失败。

上述网络使用论文中的公式5进行训练。该损失函数…

使用期望交叉熵进行不确定性分类

在这一部分，我们使用论文中公式4描述的损失函数来训练神经网络。该损失函数是通过对预测的狄利克雷分布计算交叉熵损失的期望值得到的。

上图表明，神经网络为正确分类的样本产生了更多的证据。因此，它对正确分类的样本表现出极低的不确定性（接近于零），而对错误分类的样本则表现出很高的不确定性（约为0.7）。

使用期望似然的负对数进行不确定性分类

在本节中，我们使用论文中公式3所定义的损失函数重复实验。

样本内与样本外分类的比较

在这里可以看到网络对一张完全随机的图像（本例中为尤达大师）的响应。此时网络的不确定性为1.0，对所有类别赋予了相同的概率。将其与“1”这个数字进行对比，我们可以发现，对于样本内的图像，不确定性要低得多，约为0.15；同时，网络对该图像为“1”的置信度很高，分类概率大约为0.86。

MNIST中的数字“1”	尤达大师的随机图像

🎈 使用方法

克隆本仓库后，需要安装所需的依赖包：
此项目已在Python v3.6.8、Torch v1.3.1和Torchvision v0.4.2环境下测试通过。

pip install -r requirements.txt

除了展示示例数据外，训练和测试网络时还提供了多种参数选项。当使用不确定性进行训练或测试时，需在指定损失函数的同时添加--uncertainty参数，可选的损失函数包括：--mse、--digamma、--log。

python main.py --help

用法：main.py [-h] [--train] [--epochs EPOCHS] [--dropout] [--uncertainty]
               [--mse] [--digamma] [--log] [--test] [--examples]

可选参数：
  -h, --help       显示帮助信息并退出
  --train          训练网络。
  --epochs EPOCHS  指定训练的轮数。
  --dropout        是否使用Dropout。
  --uncertainty    是否启用不确定性。
  --mse            使用不确定性时设置该参数，将损失函数设为期望均方误差。
  --digamma        使用不确定性时设置该参数，将损失函数设为期望交叉熵。
  --log            使用不确定性时设置该参数，将损失函数设为期望似然的负对数。
  --test           测试网络。
  --examples       展示MNIST示例数据。

训练网络的示例：

python main.py --train --dropout --uncertainty --mse --epochs 50

测试网络的示例：

python main.py --test --uncertainty --mse

pytorch-classification-uncertainty 快速上手指南

本工具基于论文《Evidential Deep Learning to Quantify Classification Uncertainty》（NIPS 2018），使用 PyTorch 复现了通过证据深度学习量化分类不确定性的方法。相比传统 Softmax 模型，该模型能有效识别分布外样本（Out-of-Distribution）并抵抗对抗攻击。

环境准备

本项目已在以下环境中测试通过，建议参考此配置：

• Python: v3.6.8+
• PyTorch: v1.3.1+
• Torchvision: v0.4.2+

确保系统已安装 Python 和 pip。国内用户建议在安装依赖时指定清华或阿里镜像源以加速下载。

安装步骤

1. 克隆仓库

   git clone https://github.com/dougbrion/pytorch-classification-uncertainty.git
   cd pytorch-classification-uncertainty
   

2. 安装依赖 推荐使用国内镜像源安装 requirements.txt 中的依赖包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

该工具支持多种损失函数进行不确定性建模（MSE、Digamma、Log）。以下是训练和测试的最简示例。

1. 训练模型

使用 Expected Mean Square Error (MSE) 损失函数训练网络，开启不确定性模式并启用 Dropout，训练 50 个 epoch：

python main.py --train --dropout --uncertainty --mse --epochs 50

参数说明：

• --uncertainty: 启用不确定性量化模式。
• --mse: 设置损失函数为期望均方误差（也可替换为 --digamma 或 --log）。
• --dropout: 启用 Dropout 正则化。

2. 测试模型

使用训练好的模型进行测试，评估其对未知样本的不确定性判断能力：

python main.py --test --uncertainty --mse

3. 查看示例数据

运行以下命令查看 MNIST 数据集在旋转角度变化下的分类置信度与不确定性对比演示：

python main.py --examples