知识蒸馏-PyTorch

• 探索深度神经网络的知识蒸馏，以实现高效的硬件解决方案
• 作者：李海通
• 框架：PyTorch
• 数据集：CIFAR-10

特性

• 用于探索“浅层”和“深层”知识蒸馏（KD）实验的框架
• 超参数通过“params.json”文件统一定义（避免使用冗长的命令行参数解析器）
• 支持超参数搜索及结果汇总为表格
• 进度条、TensorBoard支持以及检查点的保存与加载（utils.py）
• 提供可下载的预训练教师模型

安装

• 克隆仓库

  git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
  

• 安装依赖项（包括 PyTorch）

  pip install -r requirements.txt
  

目录结构：

• ./train.py：在CIFAR-10数据集上进行有或无知识蒸馏的训练/评估主入口
• ./experiments/: 每个实验对应的JSON文件；用于超参数搜索的目录
• ./model/: 教师模型和学生模型、知识蒸馏（KD）损失函数定义、数据加载器

使用说明要点：

• 从“experiments.zip”下载预训练教师模型检查点压缩包
• 将解压后的子文件夹直接移动到‘knowledge-distillation-pytorch/experiments/’中（如有必要可替换现有文件夹；请遵循默认路径命名规则）
• 调用train.py开始训练带有ResNet-18暗知识的5层CNN，或者训练由更先进深度模型蒸馏而来的ResNet-18
• 使用search_hyperparams.py进行超参数搜索
• 超参数统一定义在params.json文件中。详细信息请参阅search_hyperparams.py文件头部注释

训练（数据集：CIFAR-10）

注意：所有超参数均可在‘model_dir’下的‘params.json’中找到并修改

-- 训练从预训练ResNet-18模型蒸馏知识的5层CNN

python train.py --model_dir experiments/cnn_distill

-- 训练从预训练ResNext-29教师模型蒸馏知识的ResNet-18模型

python train.py --model_dir experiments/resnet18_distill/resnext_teacher

-- 对指定实验进行超参数搜索（‘parent_dir/params.json’）

python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

-- 汇总最近超参数搜索实验的结果

python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

结果：“浅层”与“深层”蒸馏

简要总结（更多细节后续补充）：

• 知识蒸馏对浅层和最先进的深度神经网络均能起到正则化作用
• 在缺乏完整标注数据的情况下，利用教师模型的暗知识可以带来显著收益

-从ResNet-18向5层CNN的知识蒸馏

模型	Dropout = 0.5	无Dropout
5层CNN	83.51%	84.74%
5层CNN w/ ResNet18	84.49%	85.69%

-更深模型向ResNet-18的知识蒸馏

模型	测试准确率
基准ResNet-18	94.175%
+ KD WideResNet-28-10	94.333%
+ KD PreResNet-110	94.531%
+ KD DenseNet-100	94.729%
+ KD ResNext-29-8	94.788%

参考文献

H. Li, “探索深度神经网络的知识蒸馏以实现高效硬件解决方案”，CS230报告, 2018

Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. “在神经网络中提炼知识”。arXiv预印本 arXiv:1503.02531 (2015)。

Romero, A., Ballas, N., Kahou, S. E., Chassang, A., Gatta, C., & Bengio, Y. (2014). Fitnets：关于轻量级深度网络的提示。arXiv预印本 arXiv:1412.6550。

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification

knowledge-distillation-pytorch 快速上手指南

本指南帮助开发者快速搭建基于 PyTorch 的知识蒸馏（Knowledge Distillation）实验环境，支持在 CIFAR-10 数据集上进行“浅层”与“深层”模型的蒸馏训练。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6+
• 核心框架：PyTorch
• 数据集：CIFAR-10（代码运行时会自动下载或需手动放置于指定目录）
• 依赖管理：pip

国内加速建议： 在安装依赖时，推荐使用清华源或阿里源以提升下载速度： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库

   git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
   cd knowledge-distillation-pytorch
   

2. 安装依赖包

   pip install -r requirements.txt
   

3. 获取预训练教师模型（可选但推荐） 为了复现官方结果或直接开始蒸馏实验，建议下载预训练好的教师模型检查点：

   • 下载地址：experiments.zip
   • 操作：解压后，将子文件夹移动至项目根目录下的 experiments/ 文件夹中（若存在同名文件可覆盖）。

基本使用

所有超参数均在对应实验目录下的 params.json 文件中定义，无需通过命令行传递长参数。

1. 启动训练

示例 A：训练一个 5 层 CNN，使用预训练的 ResNet-18 作为教师模型进行知识蒸馏

python train.py --model_dir experiments/cnn_distill

示例 B：训练 ResNet-18，使用更深的 ResNext-29 作为教师模型进行蒸馏

python train.py --model_dir experiments/resnet18_distill/resnext_teacher

2. 超参数搜索

对指定实验配置进行超参数自动搜索：

python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

3. 结果汇总

搜索完成后，合成并表格化展示最近的超参数搜索结果：

python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

提示：训练过程中支持 TensorBoard 可视化、进度条显示以及断点保存/加载功能。