警告：该仓库已停止维护

我于8年前为 PyTorch 0.3 创建了这个仓库，旨在简单演示温度缩放技术。 它并非设计为一个独立的软件包，且多年来一直未得到维护。

如果您正在寻找一个维护良好的、实现该算法的软件包，市面上有许多优秀的选择，包括 https://github.com/dholzmueller/probmetrics！

温度缩放

一种校准神经网络的简便方法。 temperature_scaling.py 模块可轻松用于对任何已训练模型进行校准。

基于 关于现代神经网络的校准 的研究结果。

动机

简而言之： 神经网络倾向于输出过于自信的概率。 温度缩放是一种后处理方法，能够解决这一问题。

详细说明：

神经网络在分类任务中会同时输出“置信度”分数与预测结果。 理想情况下，这些置信度分数应当与真实的正确概率相符。 例如，如果我们对100个预测赋予80%的置信度，则期望其中80%的预测实际上是正确的。若情况如此，我们就称该网络是 校准的。

可视化校准的一种简单方式是绘制准确率随置信度变化的曲线。 由于置信度理应反映准确率，我们希望这条曲线能是一条恒等线。 如果准确率低于主对角线，则说明我们的网络过于自信。 这种情况在大多数神经网络中都会出现，比如这个在 CIFAR100 上训练的 ResNet。

温度缩放是一种后处理技术，用于使神经网络达到校准状态。 经过温度缩放后，您可以信任神经网络输出的概率：

温度缩放通过一个学习得到的标量参数，将 logits（即 softmax 函数的输入）除以该参数。即：

softmax = e^(z/T) / sum_i e^(z_i/T)

其中 z 是 logits，T 是学习得到的参数。 我们在验证集上学习这个参数，选择能使 NLL 最小化的 T 值。

示例演示

首先在 CIFAR100 上训练一个 DenseNet，并保存验证集的索引：

python train.py --data <path_to_data> --save <save_folder_dest>

然后对其进行温度缩放：

python demo.py --data <path_to_data> --save <save_folder_dest>

在项目中使用

将 temperature_scaling.py 文件复制到您的项目中。 训练一个模型，并保存验证集。 （用于训练和温度缩放必须使用同一份验证集）。 您可以按如下方式操作：

from temperature_scaling import ModelWithTemperature

orig_model = ... # 以某种方式创建一个未校准的模型
valid_loader = ... # 从与训练 orig_model 时使用的**同一份验证集**中创建 DataLoader

scaled_model = ModelWithTemperature(orig_model)
scaled_model.set_temperature(valid_loader)

temperature_scaling 快速上手指南（中文）

⚠️ 注意：原作者已停止维护，仅作学习参考。生产环境建议使用 probmetrics 等活跃项目。

环境准备

• Python ≥ 3.6
• PyTorch ≥ 1.0（CPU/GPU 均可）
• 已训练好的分类模型 + 验证集（必须与训练时完全一致）

安装步骤

无需 pip 安装，直接复制核心文件即可：

git clone https://github.com/gpleiss/temperature_scaling.git
cd temperature_scaling
cp temperature_scaling.py /你的项目路径/

基本使用

1. 把 temperature_scaling.py 放到你的代码目录
2. 准备与训练时 完全相同的验证集 DataLoader
3. 三行代码完成校准：

from temperature_scaling import ModelWithTemperature

scaled_model = ModelWithTemperature(你的原始模型)
scaled_model.set_temperature(验证集DataLoader)   # 自动学习温度 T

之后 scaled_model 即可输出校准后的概率，可直接用于推理或部署。