BackPACK：在反向传播中封装更多内容

BackPACK 构建于 PyTorch 之上。它能够高效地计算梯度之外的其他量。

• 官网: https://backpack.pt
• 文档: https://docs.backpack.pt/en/master/
• 问题报告与功能请求: https://github.com/f-dangel/backpack/issues

提供的量包括：

• 小批量中的单个样本梯度
• 梯度方差或二阶矩的估计
• 近似的二阶信息（对角线近似和克罗内克近似）

动机: 计算大多数量并不一定很昂贵（通常只需对现有的反向传播过程进行少量修改，即可复用已传播的信息）。然而，在当前的软件环境中实现起来却较为困难。

安装

pip install backpack-for-pytorch

示例

• 基本用法
• 一些使用场景

贡献

BackPACK 目前仍在积极开发中。 我们非常欢迎任何帮助。 如果您考虑贡献代码，请随时与我们联系。 开发流程的概述请参阅 开发者 README。

如何引用

如果您正在使用 BackPACK，请考虑引用以下论文：

@inproceedings{dangel2020backpack,
    title     = {Back{PACK}: 在反向传播中封装更多内容},
    author    = {Felix Dangel 和 Frederik Kunstner 和 Philipp Hennig},
    booktitle = {国际学习表示会议},
    year      = {2020},
    url       = {https://openreview.net/forum?id=BJlrF24twB}
}

BackPACK 并未得到 Facebook, Inc. 的认可或与其有隶属关系。PyTorch、PyTorch 标志及任何相关标识均为 Facebook, Inc. 的商标。

BackPACK 快速上手指南

BackPACK 是一个构建在 PyTorch 之上的开源工具，旨在高效计算除梯度以外的更多反向传播信息（如单样本梯度、梯度方差估计、二阶近似信息等），而无需显著增加计算成本。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.8 及以上
• 核心依赖：PyTorch (需预先安装)

提示：国内用户建议在安装 PyTorch 时使用清华或中科大镜像源，以加速下载。

安装步骤

使用 pip 即可快速安装 BackPACK：

pip install backpack-for-pytorch

国内加速安装方案： 如果下载速度较慢，推荐使用国内镜像源进行安装：

pip install backpack-for-pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

BackPACK 的使用非常直观，只需将标准的 PyTorch loss.backward() 替换为 BackPACK 的上下文管理器即可提取额外信息。

以下是一个计算单样本梯度（Individual Gradients）的最小化示例：

import torch
import torch.nn as nn
from backpack import backpack, extend
from backpack.extensions import BatchGrad

# 1. 定义并扩展模型与损失函数
model = extend(nn.Linear(5, 1))
criterion = extend(nn.MSELoss())

# 2. 创建一个小批量数据 (Batch size = 4)
X = torch.randn(4, 5)
y = torch.randn(4, 1)

# 3. 前向传播
output = model(X)
loss = criterion(output, y)

# 4. 使用 backpack 上下文管理器提取额外信息
# 此处请求计算每个样本的梯度 (BatchGrad)
with backpack(BatchGrad()):
    loss.backward()

# 5. 访问结果
# model.weight.grad_batch 现在包含形状为 [4, 1, 5] 的张量
# 代表 batch 中每个样本对应的权重梯度
print("单样本梯度形状:", model.weight.grad_batch.shape)

关键点说明：

1. 使用 extend() 包装你的 nn.Module 模型和 nn.Loss 损失函数。
2. 在 loss.backward() 外部包裹 with backpack(...): 上下文。
3. 在上下文中指定所需的扩展功能（如 BatchGrad, Variance, DiagHessian 等）。
4. 计算完成后，额外的信息将直接存储在参数的 .grad_* 属性中。

更多详细用例请参考官方文档：https://docs.backpack.pt