无教师知识蒸馏

我们论文的实现：通过标签平滑正则化重访知识蒸馏，arxiv

arxiv和CVPR2020上的论文标题有所不同：分别为“通过标签平滑正则化重访知识蒸馏”和“重访知识蒸馏（CVPR）——一种无教师框架（arxiv）”，我们将更新arxiv版本以使用正确的标题。

我们的工作表明：当神经网络过于强大以至于难以找到更强的教师模型时，或者计算资源有限而无法训练教师模型时，可以采用“自训练”或“手动设计的正则化”方法。

例如，ResNeXt101-32x8d是一个强大的模型，在ImageNet上具有88.79M参数和16.51G FLOPs，因此为该学生模型训练一个更强的教师模型既困难又昂贵。而我们的策略可以在不增加额外计算量的情况下，使这个强大的学生模型在ImageNet上的准确率再提升0.48%。类似地，当以一个拥有34.53M参数的强大单模型ResNeXt29-8x64d作为学生模型时，我们的自训练实现能够在CIFAR100上带来超过1.0%的性能提升（从81.03%提高到82.08%）。

1. 准备工作

克隆本仓库：

git clone https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation.git

1.1 环境

创建一个新的环境并安装依赖：

pip install -r requirements.txt

推荐使用：NVIDIA GPU + CUDA9.0 + Pytorch 1.2.0

请勿使用其他版本的PyTorch，否则部分实验结果可能无法复现，因为细微的差异会导致超参数设置不同。

1.2 数据集

CIFAR100、CIFAR10以及Tiny_ImageNet； 对于CIFAR100和CIFAR10，我们的代码会自动下载数据集。而对于Tiny-ImageNet，您需要自行下载并放置在“data/”目录下。以下说明和命令均以CIFAR100为例。

2. 训练基线模型

您也可以跳过此步骤，直接使用我们在此处提供的预训练模型：这里。下载并解压至：experiments/pretrained_teacher_models/

使用“--model_dir”指定保存模型参数、模型及日志的目录。

例如，正常训练ResNet18以获得预训练的教师模型：

CUDA_VISIBLE_DEVICES=0 python main.py --model_dir experiments/base_experiments/base_resnet18/

在后续命令中，我们省略了“CUDA_VISIBLE_DEVICES=gpu_id”的部分。

正常训练MobileNetV2以获得基线模型及其基线准确率：

python main.py --model_dir experiments/base_experiments/base_mobilenetv2/

正常训练ResNeXt29以获得基线模型及其基线准确率：

python main.py --model_dir experiments/base_experiments/base_resnext29/

CIFAR100上的基线准确率（%）如下：

模型	基线准确率
MobileNetV2	68.38
ShuffleNetV2	70.34
ResNet18	75.87
ResNet50	78.16
GoogLeNet	78.72
Desenet121	79.04
ResNeXt29	81.03

3. 探索性实验（我们论文的第2节）

3.1 反向KD（Re-KD）

常规KD：ResNet18教导MobileNetV2

python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/resnet18_teacher/

反向KD：MobileNetV2教导ResNet18

python main.py --model_dir experiments/kd_experiments/resnet18_distill/mobilenet_v2_teacher/

反向KD：ShuffleNetV2教导ResNet18

python main.py --model_dir experiments/kd_experiments/resnet18_distill/shufflenet_v2_teacher/

CIFAR100上的反向KD实验结果：

3.2 劣质KD（De-KD）

使用“--pt_teacher”参数切换到劣质KD实验。

例如，使用仅训练了一个epoch、准确率为15.48%的低质量教师ResNet18来教导MobileNetV2：

python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/resnet18_teacher/ --pt_teacher

使用训练了一个epoch的教师ResNet18来教导ShuffleNetV2：

python main.py --model_dir experiments/kd_experiments/shufflenet_v2_distill/resnet18_teacher/ --pt_teacher

使用训练了50个epoch、准确率为45.82%的教师ResNet50来教导ShuffleNetV2：

python main.py --model_dir experiments/kd_experiments/shufflenet_v2_distill/resnet50_teacher/ --pt_teacher

使用训练了50个epoch、准确率为45.82%的教师ResNet50来教导ResNet18：

python main.py --model_dir experiments/kd_experiments/resnet18_distill/resnet50_teacher/ --pt_teacher

使用训练了50个epoch、准确率为51.94%的教师ResNeXt29来教导MobileNetV2：

python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/resnext29_teacher/ --pt_teacher

CIFAR100上的劣质KD实验结果：

4. 无教师KD（Tf-KD）（我们论文的第5节）

我们有两种实现Tf-KD的方法，第一种是自训练，第二种是手动设计的教师（正则化）。

4.1 Tf-KD 自训练

使用“--self_training”参数控制此训练过程。--model_dir应指向实验目录，即“experiments/kd_experiments/student/student_self_teacher”。

MobileNetV2自训练：

python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/mobilenet_self_teacher/ --self_training

ShuffleNetV2自训练：

python main.py --model_dir experiments/kd_experiments/shufflenet_v2_distill/shufflenet_self_teacher/ --self_training

ResNet18自训练：

python main.py --model_dir experiments/kd_experiments/resnet18_distill/resnet18_self_teacher/ --self_training

对于大型单模型ResNeXt29，我们的方法实现了超过1.0%的性能提升，运行ResNeXt29的自训练：

python main.py --model_dir experiments/kd_experiments/resnext29_distill/resnext29_self_teacher/ --self_training

CIFAR100上的Tf-KD自训练实验结果：

4.2 Tf-KD 手动设计的教师模型（正则化）

使用手动设计的正则化方法训练 MobileNetV2：

python main.py --model_dir experiments/base_experiments/base_mobilenetv2/  --regularization

使用手动设计的正则化方法训练 ShuffleNetV2：

python main.py --model_dir experiments/base_experiments/base_shufflenetv2/ --regularization

使用手动设计的正则化方法训练 ResNet18：

python main.py --model_dir experiments/base_experiments/base_resnet18/  --regularization

使用手动设计的正则化方法训练 GoogLeNet：

python main.py --model_dir experiments/base_experiments/base_googlenet/ --regularization

4.3 标签平滑正则化

MobileNetV2 标签平滑：

python main.py --model_dir experiments/base_experiments/base_mobilenetv2/  --label_smoothing

ShuffleNetV2 标签平滑：

python main.py --model_dir experiments/base_experiments/base_shufflenetv2/ --label_smoothing

Tf-KD 正则化和 LSR 在 CIFAR100 上的实验结果：

参考文献

如果您觉得本仓库对您有帮助，请考虑引用以下文献：

@inproceedings{yuan2020revisiting,
  title={通过标签平滑正则化重新审视知识蒸馏},
  author={Yuan, Li 和 Tay, Francis EH 和 Li, Guilin 和 Wang, Tao 和 Feng, Jiashi},
  booktitle={IEEE/CVF 计算机视觉与模式识别会议论文集},
  pages={3903--3911},
  year={2020}
}

Teacher-free-Knowledge-Distillation 快速上手指南

本指南帮助开发者快速部署并运行“无教师知识蒸馏”（Teacher-free Knowledge Distillation）框架。该框架适用于无法训练强大教师模型或计算资源受限的场景，通过自训练或人工设计的正则化提升模型性能。

1. 环境准备

系统要求

• 操作系统: Linux (推荐)
• GPU: NVIDIA GPU
• CUDA: 9.0 (严格建议，版本差异可能导致超参数失效，影响复现结果)
• Python: 兼容 PyTorch 1.2.0 的版本

前置依赖

• PyTorch: 1.2.0 (请勿使用其他版本，以确保实验结果可复现)
• 数据集:
  • CIFAR10/CIFAR100：代码会自动下载。
  • Tiny-ImageNet：需手动下载并放置于 data/ 目录下。

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation.git
cd Teacher-free-Knowledge-Distillation

2.2 安装依赖

创建新环境并安装所需包：

pip install -r requirements.txt

提示：国内用户建议使用清华源或阿里源加速安装，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 准备预训练模型（可选）

若跳过基线训练步骤，可下载官方提供的预训练教师模型：

# 下载并解压到 experiments/pretrained_teacher_models/ 目录
# 链接：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation/releases/download/checkpoint/pretrained_teacher_models.zip

3. 基本使用

以下示例基于 CIFAR100 数据集。所有命令均通过 --model_dir 指定参数、模型保存及日志目录。

3.1 训练基线模型

正常训练一个模型（如 ResNet18）作为基准：

CUDA_VISIBLE_DEVICES=0 python main.py --model_dir experiments/base_experiments/base_resnet18/

注：后续命令省略 CUDA_VISIBLE_DEVICES 部分，请根据实际显卡 ID 添加。

3.2 无教师知识蒸馏 (Tf-KD)

本框架提供两种核心实现方式：

方式一：自训练 (Self-Training)

学生模型将自己作为教师进行蒸馏。以 MobileNetV2 为例：

python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/mobilenet_self_teacher/ --self_training

对于大型单模型（如 ResNeXt29），该方法可带来超过 1.0% 的性能提升：

python main.py --model_dir experiments/kd_experiments/resnext29_distill/resnext29_self_teacher/ --self_training

方式二：人工设计正则化 (Manually-designed Regularization)

无需教师模型，直接通过正则化项模拟蒸馏效果。以 MobileNetV2 为例：

python main.py --model_dir experiments/base_experiments/base_mobilenetv2/ --regularization

3.3 标签平滑正则化 (Label Smoothing)

作为对比或独立优化手段，可启用标签平滑：

python main.py --model_dir experiments/base_experiments/base_mobilenetv2/ --label_smoothing

3.4 探索性实验（可选）

• 反向蒸馏 (Re-KD): 让小模型教大模型（如 MobileNetV2 教 ResNet18）：

  python main.py --model_dir experiments/kd_experiments/resnet18_distill/mobilenet_v2_teacher/
  

• 缺陷蒸馏 (De-KD): 使用训练不充分（低精度）的教师模型：

  python main.py --model_dir experiments/kd_experiments/mobilenet_v2_distill/resnet18_teacher/ --pt_teacher