PyTorch瘦身

这是对论文《通过网络瘦身学习高效的卷积网络》（ICCV2017）中提出的算法的 PyTorch 重新 实现。官方源代码基于 Torch。更多信息请访问作者的 网页！

CIFAR10-VGG16BN	基线	使用稀疏性训练（1e-4）	剪枝后（剪枝比例0.7）	精调后（40轮）
Top1准确率(%)	93.62	93.77	10.00	93.56
参数量	20.04M	20.04M	2.42M	2.42M

剪枝比例	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7
未精调时的Top1准确率(%)	93.77	93.72	93.76	93.75	93.75	93.40	37.83	10.00
参数量(M) / MACC(M)	20.04/ 398.44	15.9/ 349.22	12.28/ 307.78	9.12/ 272.94	6.74/ 247.86	4.62/ 231.86	3.14/ 222.17	2.42/ 210.84

剪枝比例	架构
0	[64, 64, 'M', 128, 128, 'M', 256, 256, 256, 256, 'M', 512, 512, 512, 512, 'M', 512, 512, 512, 512]
0.1	[60, 64, 'M', 128, 128, 'M', 256, 255, 253, 245, 'M', 436, 417, 425, 462, 'M', 463, 465, 472, 424]
0.2	[58, 64, 'M', 128, 128, 'M', 256, 255, 250, 233, 'M', 360, 336, 329, 398, 'M', 420, 412, 435, 341]
0.3	[56, 64, 'M', 128, 128, 'M', 256, 254, 249, 227, 'M', 284, 239, 244, 351, 'M', 369, 364, 384, 255]
0.4	[52, 64, 'M', 128, 128, 'M', 256, 254, 247, 218, 'M', 218, 162, 166, 294, 'M', 317, 315, 318, 165]
0.5	[52, 64, 'M', 128, 128, 'M', 256, 254, 245, 214, 'M', 179, 117, 116, 229, 'M', 228, 220, 210, 111]
0.6	[51, 64, 'M', 128, 128, 'M', 256, 254, 245, 213, 'M', 165, 85, 92, 153, 'M', 83, 86, 87, 111]
0.7	[49, 64, 'M', 128, 128, 'M', 256, 254, 234, 198, 'M', 114, 41, 24, 11, 'M', 14, 13, 19, 104]

基线

python main.py

使用稀疏性训练

python main.py -sr --s 0.0001

剪枝

python prune.py --model model_best.pth.tar --save pruned.pth.tar --percent 0.7

精调

python main.py -refine pruned.pth.tar --epochs 40

参考文献

@InProceedings{Liu_2017_ICCV,
    author = {Liu, Zhuang and Li, Jianguo and Shen, Zhiqiang and Huang, Gao and Yan, Shoumeng and Zhang, Changshui},
    title = {Learning Efficient Convolutional Networks Through Network Slimming},
    booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
    month = {Oct},
    year = {2017}
}

pytorch-slimming 快速上手指南

本工具是 ICCV 2017 论文《Learning Efficient Convolutional Networks Through Network Slimming》的 PyTorch 复现版本，用于通过稀疏训练和通道剪枝来压缩卷积神经网络（如 VGG），在大幅减少参数量的同时保持较高的准确率。

环境准备

• 系统要求：Linux / macOS / Windows (需配置 CUDA 环境以加速训练)
• 前置依赖：
  • Python 3.6+
  • PyTorch (推荐最新稳定版)
  • torchvision
  • 其他常用库 (numpy, etc.)

国内加速建议：安装依赖时推荐使用清华或阿里镜像源。

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码：

   git clone https://github.com/Eric-Wynne/pytorch-slimming.git
   cd pytorch-slimming
   

2. 确保已安装上述依赖库。本项目主要包含 main.py (训练/微调) 和 prune.py (剪枝) 脚本，无需额外的 setup.py 安装步骤。

基本使用

完整的工作流分为四个阶段：基准训练、稀疏训练、模型剪枝、微调恢复。以下以 CIFAR-10 数据集上的 VGG16BN 模型为例。

1. 训练基准模型 (Baseline)

首先训练一个未压缩的原始模型作为参考。

python main.py

2. 进行稀疏训练 (Trained with Sparsity)

在基准模型基础上，加入 L1 正则化（缩放因子）进行稀疏训练，使不重要的通道权重趋近于零。

python main.py -sr --s 0.0001

• -sr: 启用稀疏正则化。
• --s 0.0001: 设置稀疏惩罚系数。

3. 执行模型剪枝 (Pruned)

根据稀疏训练后的权重分布，按比例剪除通道。以下命令剪除 70% 的通道。

python prune.py --model model_best.pth.tar --save pruned.pth.tar --percent 0.7

• --model: 输入稀疏训练得到的最佳模型路径。
• --save: 输出剪枝后的模型路径。
• --percent: 剪枝比例 (0.0 - 1.0)。

4. 微调恢复精度 (Fine-tuned)

加载剪枝后的模型进行短时间微调，以恢复因剪枝损失的精度。

python main.py -refine pruned.pth.tar --epochs 40

• -refine: 指定需要微调的剪枝模型路径。
• --epochs: 微调训练的轮数。

---

效果参考：在 CIFAR-10 上，剪枝 70% 后参数量从 20.04M 降至 2.42M，经微调后 Top1 准确率可恢复至 93.56% (基准为 93.62%)。