重新思考网络剪枝的价值

本仓库包含用于复现以下论文结果的代码及训练好的 ImageNet 模型：

重新思考网络剪枝的价值。[arXiv] [OpenReview]

Zhuang Liu、Mingjie Sun、Tinghui Zhou、Gao Huang、Trevor Darrell（* 共同第一作者）。

ICLR 2019。同时荣获 NIPS 2018 紧凑型深度神经网络研讨会“最佳论文奖”。

本仓库中包含的几种剪枝方法实现也可直接用于其他研究目的。

论文摘要

我们的研究表明，对于结构化剪枝而言，从头开始训练剪枝后的模型，几乎总是能够达到与传统“训练—剪枝—微调”流程（图 1）所得到的模型相当甚至更高的精度。由此我们得出结论：对于这些剪枝方法，

1. 为了获得高效的最终模型，通常并不需要先训练一个参数量过大的大型模型。
2. 大型模型中学习到的“重要”权重，往往对小型剪枝模型并无助益。
3. 最终模型的效率更多取决于剪枝后的架构本身，而非继承自大型模型的一组“重要”权重；这表明在某些情况下，剪枝可以作为一种架构搜索范式来使用。

我们的研究结果提示，在未来关于结构化剪枝方法的研究中，需要更加谨慎地进行基线评估。

图 2：通道剪枝中，预定义目标架构与自动发现目标架构之间的差异。剪枝比例 x 由用户指定，而 a、b、c、d 则由剪枝算法决定。非结构化稀疏剪枝同样可以视为一种自动化过程。我们的发现对预定义方法和自动化方法具有不同的启示：对于预定义方法，可以直接跳过传统的“训练—剪枝—微调”流程，转而直接训练剪枝后的模型；而对于自动化方法，则可将剪枝视为一种架构学习的过程。

我们还对比了“彩票彩票假说”（Frankle & Carbin, 2019），并发现，在采用最优学习率的情况下，“中奖彩票”初始化方法并未比随机初始化带来任何性能提升。更多细节请参阅我们的论文。

实现

我们评估了以下七种剪枝方法。

1. 基于 L1 范数的通道剪枝
2. ThiNet
3. 基于回归的特征重建
4. Network Slimming
5. 稀疏结构选择
6. 软过滤器剪枝
7. 非结构化权重级剪枝

前六种属于结构化剪枝，而最后一种则属于非结构化（或稀疏）剪枝。针对 CIFAR 数据集，我们的代码基于 pytorch-classification 和 network-slimming；针对 ImageNet 数据集，则使用 PyTorch 官方 ImageNet 训练代码。相关说明和模型文件均位于各自的子文件夹中。

关于“彩票彩票假说”的实验，请参阅 cifar/lottery-ticket 文件夹。

我们的实验环境为 Python 3.6 和 PyTorch 0.3.1。

联系方式

欢迎通过 Issues 或邮件与我们讨论论文和代码！

sunmj15 at gmail.com
liuzhuangthu at gmail.com

引用

如果您在研究中使用了我们的代码，请引用：

@inproceedings{liu2018rethinking,
  title={Rethinking the Value of Network Pruning},
  author={Liu, Zhuang and Sun, Mingjie and Zhou, Tinghui and Huang, Gao and Darrell, Trevor},
  booktitle={ICLR},
  year={2019}
}

Rethinking Network Pruning 快速上手指南

本指南基于论文《Rethinking the Value of Network Pruning》（ICLR 2019），旨在帮助开发者复现结构化剪枝实验结果。核心结论表明：对于结构化剪枝，从头训练剪枝后的模型通常能获得与“训练 - 剪枝 - 微调”流程相当甚至更高的精度。

环境准备

本项目官方测试环境较旧，建议在兼容环境中运行，或根据现代 PyTorch 版本适当调整代码。

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.6
• 深度学习框架: PyTorch 0.3.1
• 数据集: CIFAR-10 或 ImageNet

注意：由于 PyTorch 0.3.1 版本较老，若在现代环境（如 PyTorch 1.x/2.x）中运行，可能需要修改部分 API 调用（如 Variable 已废弃，优化器参数格式变化等）。

安装步骤

1. 克隆仓库

   git clone https://github.com/Eric-mingjie/rethinking-network-pruning.git
   cd rethinking-network-pruning
   

2. 创建虚拟环境并安装依赖 由于官方要求特定版本，建议使用 conda 创建隔离环境：

   conda create -n pruning python=3.6
   conda activate pruning
   
   # 安装对应版本的 PyTorch (0.3.1) 和 torchvision
   # 注：旧版本可能需在 pytorch 官网历史版本页查找具体命令，或使用 pip 指定版本
   pip install torch==0.3.1 torchvision==0.2.1
   
   # 安装其他通用依赖
   pip install numpy scipy opencv-python
   

   若国内下载缓慢，可配置清华源加速：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==0.3.1 torchvision==0.2.1 numpy scipy opencv-python
   

基本使用

项目包含 CIFAR 和 ImageNet 两个主要实验目录。以下以 CIFAR-10 上的 L1-norm 通道剪枝 为例，演示“从头训练剪枝模型”的核心流程。

1. 进入 CIFAR 实验目录

cd cifar

2. 训练原始大模型（可选）

若需先获取未剪枝的基准模型：

python main.py --arch resnet18 --dataset cifar10 --save_path ./checkpoints/original

3. 执行剪枝并从头训练

根据论文核心观点，直接定义剪枝比例并从头训练新架构是更高效的方案。以下命令演示如何对 ResNet-18 进行 50% 通道剪枝并从头训练：

# 示例：使用 L1-norm 策略，剪枝率 0.5，从头训练
python prune.py --arch resnet18 --dataset cifar10 --prune_ratio 0.5 --method l1 --save_path ./checkpoints/pruned_from_scratch

参数说明：

• --arch: 网络架构 (如 resnet18, vgg19)
• --prune_ratio: 剪枝比例 (0.0 ~ 1.0)
• --method: 剪枝方法 (支持 l1, thinet, slimming 等，对应论文中实现的 7 种方法)
• --save_path: 模型保存路径

4. 验证模型精度

训练完成后，使用测试集评估剪枝后模型的性能：

python main.py --arch resnet18 --dataset cifar10 --resume ./checkpoints/pruned_from_scratch/checkpoint.pth.tar --evaluate

提示：具体的脚本文件名（如 prune.py 或 main.py 中的参数）可能因子文件夹结构略有不同，请查阅 cifar/ 或 imagenet/ 目录下各具体方法文件夹中的 README 或脚本头部注释以获取最准确的命令行参数。