网络瘦身

本仓库包含以下论文的代码：

通过网络瘦身学习高效的卷积网络（ICCV 2017）。

作者：Zhuang Liu、Jianguo Li、Zhiqiang Shen、Gao Huang、Shoumeng Yan、Changshui Zhang。

代码基于 fb.resnet.torch。

我们现已发布了另一套 [PyTorch 实现]，该实现支持 ResNet 和 DenseNet，基于 Qiang Wang 的 PyTorch 实现，如下所示。

其他实现： [Pytorch] 由 Qiang Wang 提供。 [Chainer] 由 Daiki Sanno 提供。 [使用 YOLOv3 进行手部检测的 PyTorch 实现] 由 Lam1360 提供。 [使用 YOLOv3 进行目标检测的 PyTorch 实现] 由 talebolano 提供。

引用格式：

@inproceedings{Liu2017learning,
	title = {Learning Efficient Convolutional Networks through Network Slimming},
	author = {Liu, Zhuang and Li, Jianguo and Shen, Zhiqiang and Huang, Gao and Yan, Shoumeng and Zhang, Changshui},
	booktitle = {ICCV},
	year = {2017}
}

引言

网络瘦身是一种神经网络训练方法，能够在不损失精度且对训练过程开销极小的情况下，同时减少模型大小、运行时内存占用和计算量。由此得到的模型无需任何特殊库或硬件即可高效推理。

方法

我们为卷积层中的每个通道关联一个缩放因子（复用自批归一化层）。在训练过程中，对这些缩放因子施加稀疏性正则化，以自动识别不重要的通道。缩放因子值较小的通道（橙色表示）将被剪枝（左侧）。剪枝后，我们得到紧凑的模型（右侧），随后对其进行微调，以达到与正常训练的完整网络相当甚至更高的精度。

示例用法

本仓库提供了在 CIFAR-10 数据集上使用 VGGNet 的示例代码。

0. 准备保存结果的目录

mkdir vgg_cifar10/
mkdir vgg_cifar10/pruned
mkdir vgg_cifar10/converted
mkdir vgg_cifar10/fine_tune

1. 使用通道级别的稀疏性训练 VGG 网络，S 是论文中控制稀疏性重要性的参数。

th main.lua -netType vgg -save vgg_cifar10/ -S 0.0001

2. 确定一定比例的相对不重要通道，并将其缩放因子设为 0。

th prune/prune.lua -percent 0.7 -model vgg_cifar10/model_160.t7  -save vgg_cifar10/pruned/model_160_0.7.t7

3. 重新构建一个真正的紧凑网络，并从上一步的模型中复制权重。

th convert/vgg.lua -model vgg_cifar10/pruned/model_160_0.7.t7 -save vgg_cifar10/converted/model_160_0.7.t7

4. 对紧凑网络进行微调。

th main_fine_tune.lua -retrain vgg_cifar10/converted/model_160_0.7.t7 -save vgg_cifar10/fine_tune/

注意事项

原始论文中关于 ImageNet 上 VGG 结果的部分存在错误（表 2）。请参考此 [issue]。正确结果已在 这篇论文 的表 4 中给出。

联系方式

liuzhuangthu at gmail.com

Network Slimming 快速上手指南

Network Slimming 是一种神经网络训练方案，旨在通过通道剪枝（Channel Pruning）同时减小模型体积、降低运行时内存占用和计算量，且几乎不损失精度。本指南基于 ICCV 2017 论文《Learning Efficient Convolutional Networks through Network Slimming》的官方 Torch 实现，以 CIFAR-10 数据集上的 VGG 网络为例。

环境准备

本项目原始代码基于 Torch (Lua) 框架开发。请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL 或 Docker)
• 核心框架: Torch (注意：非 PyTorch)
• 依赖包:
  • nn
  • optim
  • cunn (如需 GPU 加速)
  • cudnn (如需 GPU 加速)
  • datasets (用于加载 CIFAR-10)

提示：由于该仓库基于较旧的 Torch 框架，若您习惯使用 PyTorch，社区已有多个移植版本（如 Eric-mingjie/network-slimming 或 foolwood/pytorch-slimming），建议在新项目中优先考虑 PyTorch 版本。本指南仅针对当前仓库的原始 Torch 代码。

安装步骤

1. 克隆仓库

   git clone https://github.com/princeton-vl/slimming.git
   cd slimming
   

2. 安装 Torch 依赖 确保已安装 Torch，然后安装项目所需的 Lua 包：

   luarocks install nn
   luarocks install optim
   luarocks install cunn
   luarocks install cudnn
   # 如果缺少数据集加载器，可能需要手动安装或配置 datasets 包
   

3. 准备目录结构 在执行训练前，需要创建用于保存结果的文件夹：

   mkdir vgg_cifar10/
   mkdir vgg_cifar10/pruned
   mkdir vgg_cifar10/converted
   mkdir vgg_cifar10/fine_tune
   

基本使用

以下是完整的四步流程：稀疏训练 -> 剪枝 -> 模型转换 -> 微调。

1. 稀疏训练 (Sparse Training)

训练带有通道级稀疏正则化的 VGG 网络。参数 -S 对应论文中的 $\lambda$，控制稀疏程度（示例中为 0.0001）。

th main.lua -netType vgg -save vgg_cifar10/ -S 0.0001

训练完成后，将在 vgg_cifar10/ 目录下生成模型文件（如 model_160.t7）。

2. 执行剪枝 (Pruning)

识别并移除一定比例（例如 70%）的不重要通道，将其缩放因子设为 0。

th prune/prune.lua -percent 0.7 -model vgg_cifar10/model_160.t7 -save vgg_cifar10/pruned/model_160_0.7.t7

3. 模型转换 (Conversion)

重建一个紧凑的网络结构，并将剪枝后的权重复制到新模型中，去除冗余通道。

th convert/vgg.lua -model vgg_cifar10/pruned/model_160_0.7.t7 -save vgg_cifar10/converted/model_160_0.7.t7

4. 微调 (Fine-tuning)

对生成的紧凑模型进行微调，以恢复或提升精度。

th main_fine_tune.lua -retrain vgg_cifar10/converted/model_160_0.7.t7 -save vgg_cifar10/fine_tune/

完成上述步骤后，您将获得一个体积更小、推理速度更快且精度保持良好的 VGG 模型。