知识蒸馏动物园

新闻！我将对这个仓库进行重大更新。新版本将包含待办事项列表中的大多数方法。敬请关注。

各种知识蒸馏（KD）方法的 PyTorch 实现。

本仓库是一个简单的参考，主要聚焦于基础的知识蒸馏/迁移方法。因此，许多技巧和变体，如逐步训练、迭代训练、教师模型集成、知识蒸馏方法集成、无数据蒸馏、自蒸馏、在线蒸馏等，并未在此考虑。希望它对您的项目或研究有所帮助。

我会定期更新此仓库，添加新的知识蒸馏方法。如果您认为有遗漏的基础方法，请与我联系。

列表

名称	方法	论文链接	代码链接
基线	使用 softmax 损失的基本模型	—	代码
Logits	通过回归 logits 进行模仿学习	论文	代码
ST	软目标	论文	代码
AT	注意力迁移	论文	代码
Fitnet	针对轻量级深度网络的提示	论文	代码
NST	神经选择性迁移	论文	代码
PKT	概率知识迁移	论文	代码
FSP	解决方案流程传递	论文	代码
FT	因子迁移	论文	代码
RKD	关系知识蒸馏	论文	代码
AB	激活边界	论文	代码
SP	相似性保持	论文	代码
Sobolev	索博列夫/雅可比匹配	论文	代码
BSS	边界支持样本	论文	代码
CC	相关性一致性	论文	代码
LwM	不需记忆的学习	论文	代码
IRG	实例关系图	论文	代码
VID	变分信息蒸馏	论文	代码
OFD	特征蒸馏的全面改进	论文	代码
AFD	注意力特征蒸馏	论文	代码
CRD	对比表示蒸馏	论文	代码
DML	深度互学习	论文	代码

• 注意，本仓库与原始论文之间存在一些差异：
  • 对于 AT：我使用 p=2 的绝对值之和作为注意力。
  • 对于 Fitnet：训练过程为单阶段，没有提示层。
  • 对于 NST：我采用 d=2、c=0 的多项式核。
  • 对于 AB：采用两阶段训练，前 50 个 epoch 用于初始化，第二阶段仅使用交叉熵损失，不使用软目标。
  • 对于 BSS：80% 的 epoch 使用交叉熵 + BSS 损失，剩余 20% 仅使用交叉熵。此外，前 10 个 epoch 进行预热。
  • 对于 CC：为保持一致性，我只考虑不含实例一致性的 CC。由于双线性池化核与 PKT 类似，我选择了高斯 RBF 核，并取其 P=2 阶泰勒展开。未采用特殊的采样策略。
  • 对于 LwM：我将其应用在 rb2（中间卷积层）之后，而不是 rb3（最后一层卷积层），因为基础网络是 ResNet，以 GAP 结束后接分类器。如果在 rb3 后应用，梯度-CAN 在每个通道的 H 和 W 方向上数值会相同。
  • 对于 IRG：我仅使用一对一模式。
  • 对于 VID：我将隐藏层通道数设置为与输出通道数相同，并移除了 μ 中的 BN。
  • 对于 AFD：我发现原始的注意力实现不稳定，因此用 SE 模块替代了它。
  • 对于 DML：仅使用两个网络，并同步更新，以避免多次前向传播。

数据集

• CIFAR10
• CIFAR100

网络

• Resnet-20
• Resnet-110

这些网络与 论文 中的表 6 相同。

训练

• 创建 ./dataset 目录，并在其中下载 CIFAR10/CIFAR100 数据集。
• 使用脚本 example_train_script.sh 来训练各种知识蒸馏方法。你可以直接指定 train_xxx.py 中列出的超参数，也可以手动修改它们。
• 我使用的超参数可以在 训练日志 中找到（提取码：ezed）。
• 一些注意事项：
  • Sobolev/LwM 单独使用时不太稳定，建议与其他知识蒸馏方法结合使用。
  • BSS 有时可能会破坏训练过程，导致效果不佳。
  • 如果原始论文中没有明确说明，所有方法都可以应用于中间特征图；或者只在最后一个卷积层之后才使用多个特征图。扩展到多个特征图非常简单。
  • 我假设教师模型和学生模型之间的特征图尺寸（C, H, W）相同。如果不相同，可以使用 1×1 卷积、线性变换或池化操作来调整它们。

结果

• 训练好的基线模型被用作教师模型。为了公平比较，所有学生网络都与基线模型采用相同的初始化方式。
• 初始模型、训练后的模型以及训练日志已上传至 这里（提取码：ezed）。
• 贸易-off 参数 --lambda_kd 以及其他超参数并未经过仔细调优。因此，以下结果并不能反映哪种方法优于其他方法。
• 一些基于关系的方法，例如 PKT、RKD 和 CC，在 CIFAR100 数据集上的效果较差。这可能是因为 CIFAR100 数据集中类间差异较大，而每个批次内的类内差异较小。你可以尝试增大批次大小、构建记忆库，或者设计更先进的批次采样方法。

教师	学生	名称	CIFAR10	CIFAR100
-	resnet-20	基线	92.37%	68.92%
resnet-20	resnet-20	Logits	93.30%	70.36%
resnet-20	resnet-20	ST	93.12%	70.27%
resnet-20	resnet-20	AT	92.89%	69.70%
resnet-20	resnet-20	Fitnet	92.73%	70.08%
resnet-20	resnet-20	NST	92.79%	69.21%
resnet-20	resnet-20	PKT	92.50%	69.25%
resnet-20	resnet-20	FSP	92.76%	69.61%
resnet-20	resnet-20	FT	92.98%	69.90%
resnet-20	resnet-20	RKD	92.72%	69.48%
resnet-20	resnet-20	AB	93.04%	69.96%
resnet-20	resnet-20	SP	92.88%	69.85%
resnet-20	resnet-20	Sobolev	92.78%	69.39%
resnet-20	resnet-20	BSS	92.58%	69.96%
resnet-20	resnet-20	CC	93.01%	69.27%
resnet-20	resnet-20	LwM	92.80%	69.23%
resnet-20	resnet-20	IRG	92.77%	70.37%
resnet-20	resnet-20	VID	92.61%	69.39%
resnet-20	resnet-20	OFD	92.82%	69.93%
resnet-20	resnet-20	AFD	92.56%	69.63%
resnet-20	resnet-20	CRD	92.96%	70.33%

教师	学生	名称	CIFAR10	CIFAR100
-	resnet-20	基线	92.37%	68.92%
-	resnet-110	基线	93.86%	73.15%
resnet-110	resnet-20	Logits	92.98%	69.78%
resnet-110	resnet-20	ST	92.82%	70.06%
resnet-110	resnet-20	AT	93.21%	69.28%
resnet-110	resnet-20	Fitnet	93.04%	69.81%
resnet-110	resnet-20	NST	92.83%	69.31%
resnet-110	resnet-20	PKT	93.01%	69.31%
resnet-110	resnet-20	FSP	92.78%	69.78%
resnet-110	resnet-20	FT	93.01%	69.49%
resnet-110	resnet-20	RKD	93.21%	69.36%
resnet-110	resnet-20	AB	92.96%	69.41%
resnet-110	resnet-20	SP	93.30%	69.45%
resnet-110	resnet-20	Sobolev	92.60%	69.23%
resnet-110	resnet-20	BSS	92.78%	69.71%
resnet-110	resnet-20	CC	92.98%	69.33%
resnet-110	resnet-20	LwM	92.52%	69.11%
resnet-110	resnet-20	IRG	93.13%	69.36%
resnet-110	resnet-20	VID	92.98%	69.49%
resnet-110	resnet-20	OFD	93.13%	69.81%
resnet-110	resnet-20	AFD	92.92%	69.60%
resnet-110	resnet-20	CRD	92.92%	70.80%

教师	学生	名称	CIFAR10	CIFAR100
-	resnet-110	基线	93.86%	73.15%
resnet-110	resnet-110	Logits	94.38%	74.89%
resnet-110	resnet-110	ST	94.59%	74.33%
resnet-110	resnet-110	AT	94.42%	74.64%
resnet-110	resnet-110	Fitnet	94.43%	73.63%
resnet-110	resnet-110	NST	94.43%	73.55%
resnet-110	resnet-110	PKT	94.35%	73.74%
resnet-110	resnet-110	FSP	94.39%	73.59%
resnet-110	resnet-110	FT	94.30%	74.72%
resnet-110	resnet-110	RKD	94.39%	73.78%
resnet-110	resnet-110	AB	94.63%	73.91%
resnet-110	resnet-110	SP	94.45%	74.07%
resnet-110	resnet-110	Sobolev	94.26%	73.14%
resnet-110	resnet-110	BSS	94.19%	73.87%
resnet-110	resnet-110	CC	94.49%	74.43%
resnet-110	resnet-110	LwM	94.19%	73.28%
resnet-110	resnet-110	IRG	94.44%	74.96%
resnet-110	resnet-110	VID	94.25%	73.63%
resnet-110	resnet-110	OFD	94.38%	74.11%
resnet-110	resnet-110	AFD	94.44%	73.90%
resnet-110	resnet-110	CRD	94.30%	75.44%

Net1	Net2	名称	CIFAR10	CIFAR100
-	resnet-20	基线	92.37%	68.92%
-	resnet-110	基线	93.86%	73.15%
resnet20	resnet20	DML	93.07%/93.37%	70.39%/70.22%
resnet110	resnet20	DML	94.45%/92.92%	74.53%/70.29%
resnet110	resnet110	DML	94.74%/94.79%	74.72%/75.55%

待办事项清单

• KDSVD（目前存在一些bug）
• QuEST：用于知识迁移的量化嵌入空间
• EEL：通过大规模知识蒸馏学习进化型嵌入
• OnAdvFD：特征图级别的在线对抗性知识蒸馏
• CS-KD：通过自知识蒸馏正则化类别级预测
• PAD：基于先验信息的自适应蒸馏
• DCM：通过密集跨层互蒸馏进行知识迁移
• ESKD：关于知识蒸馏有效性的研究
• GKA：教师的作用不止于教学：压缩图像到图像模型
• KD-fn：用于图像分类的特征归一化知识蒸馏
• FSD：通过自适应实例归一化进行知识蒸馏
• CSKD：利用类别结构改进知识蒸馏
• CD & GKD：通道蒸馏：面向知识蒸馏的通道级注意力机制
• CRCD：互补关系对比蒸馏
• MGD：匹配引导蒸馏
• SSKD：知识蒸馏与自监督学习的结合
• KR：通过知识回顾进行知识蒸馏
• AFD-SAD：展示、关注并蒸馏：基于注意力的特征匹配知识蒸馏
• SRRL：通过Softmax回归表示学习进行知识蒸馏
• SemCKD：具有语义校准的跨层蒸馏
• SKD：通过球面知识蒸馏缩小师生差距
• IFDM：利用信息流建模实现异构知识蒸馏
• LKD：面向知识蒸馏的局部相关性一致性
• HKD：使用图神经网络蒸馏整体知识
• LONDON：基于利普希茨连续性的知识蒸馏
• CDD：面向密集预测的通道级知识蒸馏
• SCKD：学生定制化知识蒸馏：弥合学生与教师之间的差距
• ICKD：探索通道间相关性以保持多样性进行知识蒸馏
• DKMF：通过模仿特征进行知识蒸馏
• CRCD：互补关系对比蒸馏
• WCoRD：Wasserstein对比表示蒸馏
• LKD：面向知识蒸馏的局部相关性一致性
• KDCL：通过协作学习进行在线知识蒸馏
• ONE：通过即时原生集成进行知识蒸馏

系统要求

• Python 3.7
• PyTorch 1.3.1
• torchvision 0.4.2

致谢

本仓库部分参考了以下项目，特此感谢原作者：

• HobbitLong/RepDistiller
• bhheo/BSS_distillation
• clovaai/overhaul-distillation
• passalis/probabilistic_kt
• lenscloth/RKD

如果您在研究中使用了上述知识蒸馏方法，请引用相应的论文。

Knowledge-Distillation-Zoo 快速上手指南

Knowledge-Distillation-Zoo 是一个基于 PyTorch 的知识蒸馏（KD）方法集合库，涵盖了多种经典的蒸馏算法（如 Logits, ST, AT, Fitnet, RKD, CRD 等）。本指南将帮助你快速配置环境并运行基础示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6 或更高版本
• 深度学习框架: PyTorch (建议版本 1.0+)
• 其他依赖: torchvision, numpy

前置依赖安装： 建议使用 pip 安装必要的 Python 包。国内用户推荐使用清华源或阿里源加速下载。

pip install torch torchvision numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

该仓库主要包含训练脚本和损失函数定义，无需复杂的编译安装过程，只需克隆代码并准备数据即可。

1. 克隆仓库

   git clone https://github.com/AberHu/Knowledge-Distillation-Zoo.git
   cd Knowledge-Distillation-Zoo
   

2. 准备数据集 项目默认支持 CIFAR-10 和 CIFAR-100 数据集。你需要手动创建数据目录并下载数据。

   • 在项目根目录下创建 dataset 文件夹：

     mkdir ./dataset
     

   • 将下载好的 CIFAR-10 或 CIFAR-100 数据解压放入 ./dataset 目录中。
   • 注：你可以使用 torchvision 自动下载，或从国内镜像站（如清华开源镜像站）手动下载后放入该目录。

基本使用

本项目提供了统一的训练脚本来运行不同的蒸馏方法。最简单的使用方式是参考提供的示例脚本 example_train_script.sh。

1. 查看示例脚本

你可以直接查看示例脚本来了解不同方法的参数配置：

cat example_train_script.sh

2. 运行训练

假设你要训练一个基于 ST (Soft Target) 的蒸馏模型，教师网络为 resnet-110，学生网络为 resnet-20，数据集为 CIFAR-100。

你可以直接修改 train_st.py 中的超参数，或者通过命令行传递参数运行。以下是一个典型的运行命令示例（具体参数需根据 train_xxx.py 文件内的 argparse 定义进行调整）：

python train_st.py --dataset cifar100 --teacher resnet110 --student resnet20 --lambda_kd 1.0 --temperature 4.0

关键参数说明：

• --dataset: 选择数据集 (cifar10 或 cifar100)。
• --teacher / --student: 指定教师和学生网络架构 (如 resnet20, resnet110)。
• --lambda_kd: 知识蒸馏损失的权重系数。
• --temperature: 温度参数，用于软化概率分布。

3. 添加新的蒸馏方法

如果需要尝试列表中其他的方法（如 RKD, CRD 等），只需将上述命令中的脚本文件名替换为对应的 train_<method>.py 即可。例如运行关系蒸馏 (RKD)：

python train_rkd.py --dataset cifar10 --teacher resnet20 --student resnet20

注意：

• 部分方法（如 Sobolev, LwM）单独使用时可能不稳定，建议与其他 KD 方法结合使用。
• 如果教师和学生网络的特征图尺寸不一致，代码逻辑中通常需要通过 1x1 卷积、线性层或池化层进行对齐（本项目假设尺寸一致，若自定义网络需自行处理）。
• 预训练模型和完整的训练日志可在项目 README 提供的百度网盘链接中获取（提取码：ezed），用于复现结果或作为初始化权重。