注意力迁移

用于论文《更加关注注意力：通过注意力迁移提升卷积神经网络性能》的 PyTorch 代码 https://arxiv.org/abs/1612.03928
ICLR2017 会议论文：https://openreview.net/forum?id=Sks9_ajex

目前仓库包含的内容：

• 基于激活的 CIFAR-10 实验 AT 代码
• ImageNet 实验代码（ResNet-18-ResNet-34 学生-教师）
• 用于可视化 ResNet-34 注意力图的 Jupyter 笔记本 visualize-attention.ipynb

即将添加：

• 基于梯度的 AT
• Scenes 和 CUB 数据集的基于激活的 AT 代码

该代码使用 PyTorch https://pytorch.org。需要注意的是，原始实验是使用 torch-autograd 完成的。我们目前已验证 CIFAR-10 实验在 PyTorch 中可以完全复现，并且正在对 ImageNet 进行同样的验证（由于超参数设置的原因，PyTorch 的结果略差一些）。

BibTeX 格式：

@inproceedings{Zagoruyko2017AT,
    author = {Sergey Zagoruyko and Nikos Komodakis},
    title = {Paying More Attention to Attention: Improving the Performance of
             Convolutional Neural Networks via Attention Transfer},
    booktitle = {ICLR},
    url = {https://arxiv.org/abs/1612.03928},
    year = {2017}}

需求

首先安装 PyTorch，然后安装 torchnet：

pip install git+https://github.com/pytorch/tnt.git@master

接着安装其他 Python 包：

pip install -r requirements.txt

实验

CIFAR-10

本节介绍如何复现论文表 1 中的结果。

首先训练教师模型：

python cifar.py --save logs/resnet_40_1_teacher --depth 40 --width 1
python cifar.py --save logs/resnet_16_2_teacher --depth 16 --width 2
python cifar.py --save logs/resnet_40_2_teacher --depth 40 --width 2

若要使用基于激活的 AT 训练，执行以下命令：

python cifar.py --save logs/at_16_1_16_2 --teacher_id resnet_16_2_teacher --beta 1e+3

若要使用知识蒸馏（KD）训练，执行以下命令：

python cifar.py --save logs/kd_16_1_16_2 --teacher_id resnet_16_2_teacher --alpha 0.9

我们计划很快加入带有衰减 beta 参数的 AT+KD 方法，以获得最佳的知识迁移效果。

ImageNet

预训练模型

我们提供了基于激活的 AT 训练的 ResNet-18 预训练模型：

模型	验证误差
ResNet-18	30.4, 10.8
ResNet-18-ResNet-34-AT	29.3, 10.0

下载链接：https://s3.amazonaws.com/modelzoo-networks/resnet-18-at-export.pth

模型定义：https://github.com/szagoruyko/functional-zoo/blob/master/resnet-18-at-export.ipynb

收敛曲线：

从零开始训练

下载 ResNet-34 的预训练权重 （更多信息请参阅 functional-zoo）：

wget https://s3.amazonaws.com/modelzoo-networks/resnet-34-export.pth

按照 fb.resnet.torch 的说明准备数据，并运行训练（例如使用 2 个 GPU）：

python imagenet.py --imagenetpath ~/ILSVRC2012 --depth 18 --width 1 \
                   --teacher_params resnet-34-export.hkl --gpu_id 0,1 --ngpu 2 \
                   --beta 1e+3

Attention Transfer 快速上手指南

Attention Transfer (AT) 是一种通过迁移教师网络（Teacher Network）的注意力图来提升学生网络（Student Network）性能的知识蒸馏方法。本项目基于 PyTorch 实现了 ICLR 2017 论文《Paying More Attention to Attention》中的核心算法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python: 建议 Python 3.6+
• 深度学习框架: PyTorch
• 依赖库: torchnet 及其他基础科学计算库
• 硬件: 推荐使用 NVIDIA GPU 进行训练（特别是 ImageNet 实验）

注意：原论文实验基于 Torch7，本仓库已验证 CIFAR-10 实验在 PyTorch 中可精确复现；ImageNet 实验结果因超参数差异可能略有不同。

安装步骤

1. 安装 PyTorch

请访问 PyTorch 官网 根据您的 CUDA 版本选择对应的安装命令。 (国内用户推荐使用清华源或阿里源加速安装)

# 示例：使用 pip 安装 (请根据官网最新指令调整版本号)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

2. 安装 Torchnet

本项目强依赖 torchnet 库：

pip install git+https://github.com/pytorch/tnt.git@master

3. 安装其他依赖

克隆本仓库后，进入目录并安装 requirements.txt 中列出的其他包：

git clone https://github.com/szagoruyko/attention-transfer.git
cd attention-transfer
pip install -r requirements.txt

基本使用

以下以 CIFAR-10 数据集为例，演示如何训练教师模型并使用注意力转移（AT）训练学生模型。

第一步：训练教师模型 (Teacher)

首先需要训练一个高性能的教师网络。以下命令分别训练不同深度的 ResNet 作为教师：

# 训练 ResNet-40-1 教师模型
python cifar.py --save logs/resnet_40_1_teacher --depth 40 --width 1

# 训练 ResNet-16-2 教师模型
python cifar.py --save logs/resnet_16_2_teacher --depth 16 --width 2

# 训练 ResNet-40-2 教师模型
python cifar.py --save logs/resnet_40_2_teacher --depth 40 --width 2

第二步：使用注意力转移训练学生模型 (Student with AT)

指定已训练好的教师模型 ID 和平衡系数 beta 进行知识蒸馏：

# 使用 ResNet-16-2 作为教师，训练学生模型，开启 Activation-based AT
python cifar.py --save logs/at_16_1_16_2 --teacher_id resnet_16_2_teacher --beta 1e+3

第三步：(可选) 使用传统知识蒸馏 (KD) 对比

若需对比传统 KD 方法，可使用 alpha 参数：

python cifar.py --save logs/kd_16_1_16_2 --teacher_id resnet_16_2_teacher --alpha 0.9

进阶：ImageNet 实验

对于 ImageNet 数据集，您可以下载预训练的 ResNet-34 权重作为教师，然后训练 ResNet-18 学生模型：

1. 下载教师权重:

   wget https://s3.amazonaws.com/modelzoo-networks/resnet-34-export.pth
   

2. 开始训练 (需准备好 ILSVRC2012 数据):

   python imagenet.py --imagenetpath ~/ILSVRC2012 --depth 18 --width 1 \
                      --teacher_params resnet-34-export.hkl --gpu_id 0,1 --ngpu 2 \
                      --beta 1e+3
   

可视化注意力图

项目包含一个 Jupyter Notebook，可用于可视化 ResNet-34 的注意力图：

jupyter notebook visualize-attention.ipynb