CondenseNets

本仓库包含由 Gao Huang、Shichen Liu、Laurens van der Maaten 和 Kilian Weinberger 共同撰写的论文 “CondenseNet: 使用学习型分组卷积的高效 DenseNet” 的 PyTorch 实现代码（* 作者贡献相等）。

引用信息

如果您在研究中使用了我们的项目，请考虑引用以下文献：

@inproceedings{huang2018condensenet,
  title={Condensenet: An efficient densenet using learned group convolutions},
  author={Huang, Gao and Liu, Shichen and Van der Maaten, Laurens and Weinberger, Kilian Q},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={2752--2761},
  year={2018}
}

目录

1. 简介
2. 使用方法
3. 结果
4. 讨论
5. 联系方式

简介

CondenseNet 是一种新颖且计算高效的卷积神经网络架构。它结合了层间密集连接与移除冗余连接的机制。密集连接有助于在网络中重用特征，而学习型分组卷积则会移除那些特征重用不必要的层间连接。在推理阶段，我们的模型可以使用标准的分组卷积实现，从而在实践中实现高效计算。实验表明，CondenseNet 比 MobileNets 和 ShuffleNets 等其他紧凑型卷积网络更加高效。

图 1：学习型分组卷积，其中 G=C=3。

图 2：具有完全密集连接且增长速率递增的 CondenseNet。

使用方法

依赖项

• Python3
• PyTorch(1.1.0)
• ImageNet

训练

以下是一个在 ImageNet 数据集上训练 CondenseNet 的示例命令：

python main.py --model condensenet -b 256 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0,1,2,3,4,5,6,7 --resume

另一个示例是在 CIFAR-10 数据集上训练 CondenseNet：

python main.py --model condensenet -b 64 -j 12 cifar10 \
--stages 14-14-14 --growth 8-16-32 --gpu 0 --resume

评估

我们以上述在 ImageNet 上训练的模型为例进行说明。

要评估训练好的模型，可以使用 evaluate 从默认检查点目录进行评估：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate

或者使用 evaluate-from 从任意路径进行评估：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate-from /PATH/TO/BEST/MODEL

请注意，这些仍然是大型模型。若要将模型转换为论文中描述的分组卷积版本，可以使用 convert-from 函数：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--convert-from /PATH/TO/BEST/MODEL

最后，若要直接加载已转换的模型（即 CondenseNet），请结合 evaluate-from 选项使用 已转换的模型文件：

python main.py --model condensenet_converted -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate-from /PATH/TO/CONVERTED/MODEL

其他选项

本仓库还包含了 DenseNet 的实现。更多使用示例请参考 script.sh。有关详细选项，请运行 python main.py --help。

结果

ImageNet 上的结果

模型	FLOPs	参数量	Top-1 错误率	Top-5 错误率	PyTorch 模型
CondenseNet-74 (C=G=4)	529M	4.8M	26.2	8.3	下载 (18.69M)
CondenseNet-74 (C=G=8)	274M	2.9M	29.0	10.0	下载 (11.68M)

CIFAR 上的结果

模型	FLOPs	参数量	CIFAR-10	CIFAR-100
CondenseNet-50	28.6M	0.22M	6.22	-
CondenseNet-74	51.9M	0.41M	5.28	-
CondenseNet-86	65.8M	0.52M	5.06	23.64
CondenseNet-98	81.3M	0.65M	4.83	-
CondenseNet-110	98.2M	0.79M	4.63	-
CondenseNet-122	116.7M	0.95M	4.48	-
CondenseNet-182*	513M	4.2M	3.76	18.47

(* 训练了 600 个 epoch)

ARM 平台上的推理时间

模型	FLOPs	Top-1	时间(s)
VGG-16	15,300M	28.5	354
ResNet-18	1,818M	30.2	8.14
1.0 MobileNet-224	569M	29.4	1.96
CondenseNet-74 (C=G=4)	529M	26.2	1.89
CondenseNet-74 (C=G=8)	274M	29.0	0.99

联系方式

liushichen95@gmail.com
gh349@cornell.com

我们正在开发其他框架上的实现。欢迎任何讨论或疑问！

CondenseNet 快速上手指南

CondenseNet 是一种高效的卷积神经网络架构，结合了密集连接（Dense Connectivity）与学习到的分组卷积（Learned Group Convolutions）。它在保持高精度的同时，显著降低了计算量（FLOPs）和参数量，推理速度优于 MobileNet 和 ShuffleNet，特别适合移动端部署。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 macOS
• Python: Python 3.x
• 深度学习框架: PyTorch 1.1.0 (或其他兼容版本)
• 数据集: ImageNet 或 CIFAR-10/100
  • 注：国内用户可使用腾讯云镜像或阿里云镜像加速 ImageNet 数据集下载。

依赖安装

建议使用 pip 并配置国内镜像源（如清华源）以加速安装：

pip install torch==1.1.0 torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

其他标准依赖（如 numpy, pillow 等）通常随 PyTorch 自动安装，若缺失请单独安装。

安装步骤

本项目无需复杂的编译安装过程，直接克隆仓库即可使用：

git clone https://github.com/ShichenLiu/CondenseNet.git
cd CondenseNet

基本使用

以下是最简单的训练与评估示例。请根据实际路径替换 /PATH/TO/DATASET。

1. 训练模型 (Training)

示例：在 CIFAR-10 数据集上训练 这是一个轻量级的入门示例，适合单卡 GPU 运行：

python main.py --model condensenet -b 64 -j 12 cifar10 \
--stages 14-14-14 --growth 8-16-32 --gpu 0 --resume

示例：在 ImageNet 数据集上训练 适用于多卡并行训练：

python main.py --model condensenet -b 256 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0,1,2,3,4,5,6,7 --resume

2. 模型评估 (Evaluation)

训练完成后，使用以下命令评估模型精度：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate

若需指定特定的模型文件进行评估：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate-from /PATH/TO/BEST/MODEL

3. 模型转换 (Conversion)

为了在实际部署中获得最佳推理速度，需要将训练好的大模型转换为分组卷积版本（即论文中描述的最终形态）：

python main.py --model condensenet -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--convert-from /PATH/TO/BEST/MODEL

转换完成后，加载转换后的模型进行最终评估：

python main.py --model condensenet_converted -b 64 -j 20 /PATH/TO/IMAGENET \
--stages 4-6-8-10-8 --growth 8-16-32-64-128 --gpu 0 --resume \
--evaluate-from /PATH/TO/CONVERTED/MODEL

提示: 更多详细参数选项可通过运行 python main.py --help 查看。