网络瘦身（PyTorch）

本仓库包含以下论文的官方 PyTorch 实现：
通过网络瘦身学习高效的卷积网络（ICCV 2017）。
作者：刘壮、李建国、沈志强、黄高、颜守蒙、张长水。

原始实现：Torch 中的 slimming。
本代码基于 pytorch-slimming。我们新增了对 ResNet 和 DenseNet 的支持。

引用：

@InProceedings{Liu_2017_ICCV,
    author = {Liu, Zhuang and Li, Jianguo and Shen, Zhiqiang and Huang, Gao and Yan, Shoumeng and Zhang, Changshui},
    title = {Learning Efficient Convolutional Networks Through Network Slimming},
    booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
    month = {Oct},
    year = {2017}
}

依赖

torch v0.3.1，torchvision v0.2.0

通道选择层

我们引入了 channel selection 层，以帮助对 ResNet 和 DenseNet 进行剪枝。该层实现简单，它存储一个参数 indexes，初始化为全 1 向量。在剪枝过程中，它会将对应于被剪掉通道的位置设置为 0。

基线

dataset 参数指定使用的数据集：cifar10 或 cifar100。arch 参数指定使用的架构：vgg、resnet 或 densenet。网络深度与论文中使用的网络保持一致。

python main.py --dataset cifar10 --arch vgg --depth 19
python main.py --dataset cifar10 --arch resnet --depth 164
python main.py --dataset cifar10 --arch densenet --depth 40

使用稀疏性训练

python main.py -sr --s 0.0001 --dataset cifar10 --arch vgg --depth 19
python main.py -sr --s 0.00001 --dataset cifar10 --arch resnet --depth 164
python main.py -sr --s 0.00001 --dataset cifar10 --arch densenet --depth 40

剪枝

python vggprune.py --dataset cifar10 --depth 19 --percent 0.7 --model [模型路径] --save [保存结果的目录]
python resprune.py --dataset cifar10 --depth 164 --percent 0.4 --model [模型路径] --save [保存结果的目录]
python denseprune.py --dataset cifar10 --depth 40 --percent 0.4 --model [模型路径] --save [保存结果的目录]

剪枝后的模型将命名为 pruned.pth.tar。

微调

python main.py --refine [剪枝后的模型路径] --dataset cifar10 --arch vgg --depth 19 --epochs 160

结果

实验结果与原论文较为接近，而原论文的结果是使用 Torch 生成的。需要注意的是，由于随机种子不同，在不同的运行中，CIFAR-10/100 数据集上的准确率可能会有约 0.5%/1.5% 的波动，这是根据我们的经验得出的结论。

CIFAR10

CIFAR10-Vgg	基线	稀疏性 (1e-4)	剪枝 (70%)	微调-160(70%)
Top1 准确率 (%)	93.77	93.30	32.54	93.78
参数量	20.04M	20.04M	2.25M	2.25M

CIFAR10-Resnet-164	基线	稀疏性 (1e-5)	剪枝(40%)	微调-160(40%)	剪枝(60%)	微调-160(60%)
Top1 准确率 (%)	94.75	94.76	94.58	95.05	47.73	93.81
参数量	1.71M	1.73M	1.45M	1.45M	1.12M	1.12M

CIFAR10-Densenet-40	基线	稀疏性 (1e-5)	剪枝 (40%)	微调-160(40%)	剪枝(60%)	微调-160(60%)
Top1 准确率 (%)	94.11	94.17	94.16	94.32	89.46	94.22
参数量	1.07M	1.07M	0.69M	0.69M	0.49M	0.49M

CIFAR100

CIFAR100-Vgg	基线	稀疏性 (1e-4)	剪枝 (50%)	微调-160(50%)
Top1 准确率 (%)	72.12	72.05	5.31	73.32
参数量	20.04M	20.04M	4.93M	4.93M

CIFAR100-Resnet-164	基线	稀疏性 (1e-5)	剪枝 (40%)	微调-160(40%)	剪枝(60%)	微调-160(60%)
Top1 准确率 (%)	76.79	76.87	48.0	77.36	---	---
参数量	1.73M	1.73M	1.49M	1.49M	---	---

注意：对于 resnet164-cifar100 剪枝 60% 通道的结果，在本实现中，有时某些层会被全部剪掉，从而导致错误。不过，我们也提供了一个 掩码实现，我们在 BN 层的缩放因子上应用掩码。使用掩码实现时，在剪枝 resnet164-cifar100 的 60% 通道后，仍然可以训练剪枝后的网络。

CIFAR100-Densenet-40	基线	稀疏性 (1e-5)	剪枝 (40%)	微调-160(40%)	剪枝(60%)	微调-160(60%)
Top1 准确率 (%)	73.27	73.29	67.67	73.76	19.18	73.19
参数量	1.10M	1.10M	0.71M	0.71M	0.50M	0.50M

联系方式

sunmj15 at gmail.com
liuzhuangthu at gmail.com

Network Slimming 快速上手指南

Network Slimming 是一种通过剪枝卷积神经网络通道来实现模型压缩与加速的技术。本项目基于 PyTorch 实现了 ICCV 2017 论文《Learning Efficient Convolutional Networks Through Network Slimming》中的算法，支持 VGG、ResNet 和 DenseNet 架构。

环境准备

本项目依赖较旧版本的 PyTorch，建议使用虚拟环境以避免冲突。

• 系统要求：Linux / macOS / Windows (需配置好 CUDA 环境)
• 核心依赖：
  • torch == 0.3.1
  • torchvision == 0.2.0
• Python 版本：建议 Python 3.6 或 3.7 (以兼容旧版 PyTorch)

注意：由于依赖版本较老，直接通过 pip 安装可能遇到兼容性问题。如果官方源安装困难，可尝试寻找历史版本镜像或使用 Docker 容器。

安装步骤

1. 克隆项目代码

   git clone https://github.com/Eric-mingjie/network-slimming.git
   cd network-slimming
   

2. 安装依赖 由于特定版本限制，请显式指定版本安装：

   pip install torch==0.3.1 torchvision==0.2.0
   

   (注：若国内网络下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源)

3. 验证安装 确保没有导入错误后，即可开始使用。

基本使用

完整的工作流包含四个阶段：训练基准模型 -> 稀疏训练 -> 剪枝 -> 微调。以下以 CIFAR-10 数据集上的 VGG-19 为例：

1. 训练基准模型 (Baseline)

首先训练一个未剪枝的原始模型。

python main.py --dataset cifar10 --arch vgg --depth 19

2. 稀疏训练 (Train with Sparsity)

在训练过程中加入 L1 正则化（稀疏约束），使缩放因子（scaling factors）趋向于 0，为剪枝做准备。

• -sr: 开启稀疏正则化
• --s: 稀疏惩罚系数 (VGG 通常设为 0.0001)

python main.py -sr --s 0.0001 --dataset cifar10 --arch vgg --depth 19

3. 执行剪枝 (Prune)

根据训练好的模型权重，按比例剪除不重要的通道。

• --percent: 剪枝比例 (0.7 表示剪掉 70% 的通道)
• --model: 上一步生成的模型路径 (例如 checkpoint.pth.tar)
• --save: 剪枝后模型的保存目录

python vggprune.py --dataset cifar10 --depth 19 --percent 0.7 --model checkpoint.pth.tar --save ./pruned_result

生成文件：./pruned_result/pruned.pth.tar

4. 微调模型 (Fine-tune)

加载剪枝后的模型结构及权重，进行重新训练以恢复精度。

• --refine: 指向剪枝后的模型文件

python main.py --refine ./pruned_result/pruned.pth.tar --dataset cifar10 --arch vgg --depth 19 --epochs 160

---

其他架构示例命令：

• ResNet-164:

  • 稀疏训练：python main.py -sr --s 0.00001 --dataset cifar10 --arch resnet --depth 164
  • 剪枝 (40%)：python resprune.py --dataset cifar10 --depth 164 --percent 0.4 --model [MODEL_PATH] --save [SAVE_DIR]

• DenseNet-40:

  • 稀疏训练：python main.py -sr --s 0.00001 --dataset cifar10 --arch densenet --depth 40
  • 剪枝 (40%)：python denseprune.py --dataset cifar10 --depth 40 --percent 0.4 --model [MODEL_PATH] --save [SAVE_DIR]