密集连接卷积网络（DenseNets）

本仓库包含在以下论文中提出的DenseNet的代码：

Densely Connected Convolutional Networks（CVPR 2017，最佳论文奖）

Gao Huang、Zhuang Liu、Laurens van der Maaten 和 Kilian Weinberger（作者贡献相等）。

现已提供更加节省显存的实现！ 请查阅 技术报告 和 代码 获取更多信息。

该代码基于 fb.resnet.torch 构建。

引用

如果您在研究中使用了DenseNet，请考虑引用以下内容：

@inproceedings{DenseNet2017,
  title={Densely connected convolutional networks},
  author={Huang, Gao and Liu, Zhuang and van der Maaten, Laurens and Weinberger, Kilian Q },
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2017}
}

其他实现

我们的 [Caffe]，我们更节省显存的 [Caffe]，我们更节省显存的 [PyTorch]， [PyTorch] 由 Andreas Veit 实现，[PyTorch] 由 Brandon Amos 实现，[PyTorch] 由 Federico Baldassarre 实现， [MXNet] 由 Nicatio 实现， [MXNet] 由 Xiong Lin 实现， [MXNet] 由 miraclewkf 实现， [Tensorflow] 由 Yixuan Li 实现， [Tensorflow] 由 Laurent Mazare 实现， [Tensorflow] 由 Illarion Khlestov 实现， [Lasagne] 由 Jan Schlüter 实现， [Keras] 由 tdeboissiere 实现，
[Keras] 由 Roberto de Moura Estevão Filho 实现， [Keras] 由 Somshubra Majumdar 实现， [Chainer] 由 Toshinori Hanya 实现， [Chainer] 由 Yasunori Kudo 实现， [Torch 3D-DenseNet] 由 Barry Kui 实现， [Keras] 由 Christopher Masch 实现， [Tensorflow2] 由 Gaston Rios 和 Ulises Jeremias Cornejo Fandos 实现。

请注意，此处仅列出了一些早期的实现。如果您希望添加自己的实现，请提交拉取请求。

一些后续项目

0. 用于高效预测的多尺度密集卷积网络
1. DSOD：从零开始学习深度监督目标检测器
2. CondenseNet：使用学习到的组卷积的高效DenseNet
3. 用于语义分割的全卷积DenseNet
4. Pelee：移动端上的实时目标检测系统

目录

1. 简介
2. 使用方法
3. CIFAR上的结果
4. ImageNet上的结果及预训练模型
5. 更新

简介

DenseNet是一种网络架构，其中每一层都以前馈方式直接连接到其他所有层（在每个密集块内）。对于每一层，所有前面层的特征图被视为独立的输入，而其自身的特征图则作为输入传递给所有后续层。这种连接模式在CIFAR10/100（无论是否进行数据增强）和SVHN上均取得了最先进的准确率。在大规模ILSVRC 2012（ImageNet）数据集上，DenseNet达到了与ResNet相似的准确率，但参数量不到ResNet的一半，浮点运算次数也大约是ResNet的一半。

图1：一个具有5层、增长率为4的密集块。

图2：一个包含三个密集块的深层DenseNet。

使用方法

0. 安装Torch及所需的依赖库，如cuDNN。请参阅 这里 的逐步指南。
1. 克隆本仓库：git clone https://github.com/liuzhuang13/DenseNet.git

例如，以下命令将在CIFAR-10数据集上训练一个深度为L=100、增长率k=12的DenseNet-BC：

th main.lua -netType densenet -dataset cifar10 -batchSize 64 -nEpochs 300 -depth 100 -growthRate 12

再比如，以下命令将在ImageNet数据集上训练一个深度为L=121、增长率k=32的DenseNet-BC：

th main.lua -netType densenet -dataset imagenet -data [dataFolder] -batchSize 256 -nEpochs 90 -depth 121 -growthRate 32 -nGPU 4 -nThreads 16 -optMemory 3

有关数据准备，请参考 fb.resnet.torch。

DenseNet与DenseNet-BC

默认情况下，代码运行的是DenseNet-BC架构，该架构包含1×1卷积的瓶颈层，并且在每个过渡层将通道数压缩至原来的0.5倍。若要运行原始的DenseNet，只需使用选项*-bottleneck false和-reduction 1*即可。

节省显存的实现（2017年6月6日新增功能）

有一个选项*-optMemory*，在训练DenseNet时非常有助于减少GPU显存占用。默认值为2，会激活shareGradInput函数（并在此基础上进行了小幅修改，详见 这里）。此外，还有两种极端节省显存的模式（-optMemory 3或*-optMemory 4*），它们使用自定义的密集连接层。采用*-optMemory 4*时，即使是在CIFAR上最大的190层DenseNet-BC，也可以在单张NVIDIA TitanX GPU上进行训练（仅占用12G显存中的8.3G），而无需像标准的递归拼接实现那样完全占用四张GPU。

关于节省显存实现的更多细节，请参阅 这里。

CIFAR 数据集上的结果

下表展示了 DenseNet 在 CIFAR 数据集上的实验结果。“+”号表示使用了标准的数据增强（零填充后随机裁剪，以及水平翻转）。对于 DenseNet 模型，L 表示其深度，k 表示其增长率。在未进行数据增强的 CIFAR-10 和 CIFAR-100 上，除第一层卷积外，每层卷积之后都引入了一个丢弃率为 0.2 的 Dropout 层。

模型	参数量	CIFAR-10	CIFAR-10+	CIFAR-100	CIFAR-100+
DenseNet (L=40, k=12)	1.0M	7.00	5.24	27.55	24.42
DenseNet (L=100, k=12)	7.0M	5.77	4.10	23.79	20.20
DenseNet (L=100, k=24)	27.2M	5.83	3.74	23.42	19.25
DenseNet-BC (L=100, k=12)	0.8M	5.92	4.51	24.15	22.27
DenseNet-BC (L=250, k=24)	15.3M	5.19	3.62	19.64	17.60
DenseNet-BC (L=190, k=40)	25.6M	-	3.46	-	17.18

ImageNet 数据集及预训练模型上的结果

Torch

注意：Torch 中的预训练模型已废弃且不再维护。请改用 PyTorch 提供的 DenseNet 预训练模型。

原论文中的模型

Torch 模型是在与 fb.resnet.torch 相同的设置下训练的。所列误差率为 224×224 单裁剪测试误差。

网络	Top-1 错误率	Torch 模型
DenseNet-121 (k=32)	25.0	[下载 (64.5MB)]
DenseNet-169 (k=32)	23.6	[下载 (114.4MB)]
DenseNet-201 (k=32)	22.5	[下载 (161.8MB)]
DenseNet-161 (k=48)	22.2	[下载 (230.8MB)]

技术报告中的模型

采用 技术报告 中的内存高效实现训练出的更精确模型。

网络	Top-1 错误率	Torch 模型
DenseNet-264 (k=32)	22.1	[下载 (256MB)]
DenseNet-232 (k=48)	21.2	[下载 (426MB)]
DenseNet-cosine-264 (k=32)	21.6	[下载 (256MB)]
DenseNet-cosine-264 (k=48)	20.4	[下载 (557MB)]

Caffe

https://github.com/shicai/DenseNet-Caffe。

PyTorch

PyTorch 关于模型的文档。我们感谢 @gpleiss 在 PyTorch 方面所做的出色工作。

Keras、TensorFlow 和 Theano

https://github.com/flyyufelix/DenseNet-Keras。

MXNet

https://github.com/miraclewkf/DenseNet。

宽度-密集网络以改善时间/准确率和内存/准确率的权衡

如果您在学习任务中使用 DenseNet 作为模型，为了降低内存和时间消耗，我们建议采用宽度大、深度浅的 DenseNet，遵循 宽残差网络 的策略。为获得宽度较大的 DenseNet，我们将深度设得较小（例如 L=40），并将增长速率设得较高（例如 k=48）。

我们测试了一系列宽度-密集网络，并将其内存和时间消耗与上文所示的 DenseNet-BC (L=100, k=12) 进行了比较。统计结果是在单张 TITAN X 显卡上，批量大小为 64，且未进行任何内存优化的情况下得出的。

模型	参数量	CIFAR-10+	CIFAR-100+	每次迭代时间	内存
DenseNet-BC (L=100, k=12)	0.8M	4.51	22.27	0.156s	5452MB
Wide-DenseNet-BC (L=40, k=36)	1.5M	4.58	22.30	0.130s	4008MB
Wide-DenseNet-BC (L=40, k=48)	2.7M	3.99	20.29	0.165s	5245MB
Wide-DenseNet-BC (L=40, k=60)	4.3M	4.01	19.99	0.223s	6508MB

观察：

1. Wide-DenseNet-BC (L=40, k=36) 在内存和时间消耗上更少，同时达到与 DenseNet-BC (L=100, k=12) 几乎相同的准确率。
2. Wide-DenseNet-BC (L=40, k=48) 的内存和时间消耗与 DenseNet-BC (L=100, k=12) 相当，但准确率更高。

因此，在实际应用中，我们建议选择其中一款宽度-密集网络。

更新

2017年8月23日：

1. 添加支持代码，方便用户直接 git clone 并运行。

2017年6月6日：

1. 支持使用 自定义密集连接层 对 DenseNet 进行 超高效内存 训练。

2. 通过修复 shareGradInput 函数，支持使用 标准密集连接层（递归拼接）对 DenseNet 进行 内存高效 训练。

2017年5月17日：

1. 添加宽度-密集网络。
2. 添加 Keras、TF 和 Theano 预训练模型的链接。

2017年4月20日：

1. 添加 PyTorch 模型的使用说明。

2017年3月29日：

1. 添加 ImageNet 训练代码。

2016年12月3日：

1. 添加 ImageNet 结果及预训练模型。
2. 添加 DenseNet-BC 结构。

联系方式

liuzhuangthu at gmail.com
欢迎讨论、建议和提问！

DenseNet 快速上手指南

DenseNet（Densely Connected Convolutional Networks）是一种通过密集连接机制提升特征复用率的卷积神经网络架构，在 CIFAR 和 ImageNet 数据集上表现优异。本指南基于官方 Torch 实现整理。

环境准备

系统要求：

• 操作系统：Linux (推荐 Ubuntu)
• GPU：NVIDIA GPU (可选，但强烈推荐用于加速训练)
• 内存：建议 8GB 以上

前置依赖：

• Torch: 核心深度学习框架
• cuDNN: NVIDIA 加速库 (若使用 GPU)
• Git: 代码版本管理工具

注意：官方代码基于 Torch (Lua)，目前该框架已不再主流维护。若需使用 PyTorch、TensorFlow 或 Keras 版本，请参考 README 中的 "Other Implementations" 章节获取社区维护的高效实现。

安装步骤

1. 安装 Torch 及依赖 请参照 fb.resnet.torch 的官方指引完成 Torch 和 cuDNN 的安装。

2. 克隆代码仓库

   git clone https://github.com/liuzhuang13/DenseNet.git
   cd DenseNet
   

基本使用

以下命令展示了如何训练一个标准的 DenseNet 模型。

示例 1：在 CIFAR-10 数据集上训练

训练一个深度为 100、增长率为 12 的 DenseNet-BC 模型：

th main.lua -netType densenet -dataset cifar10 -batchSize 64 -nEpochs 300 -depth 100 -growthRate 12

示例 2：在 ImageNet 数据集上训练

训练一个深度为 121、增长率为 32 的 DenseNet-BC 模型（需指定数据路径）：

th main.lua -netType densenet -dataset imagenet -data [dataFolder] -batchSize 256 -nEpochs 90 -depth 121 -growthRate 32 -nGPU 4 -nThreads 16 -optMemory 3

请将 [dataFolder] 替换为你的 ImageNet 数据实际存放路径。

关键参数说明

• -optMemory: 显存优化选项。
  • 2 (默认): 启用梯度共享，适度节省显存。
  • 3 或 4: 启用自定义密集连接层，极大降低显存占用（推荐在单卡上训练深层网络时使用）。
• -bottleneck: 默认为 true (使用 DenseNet-BC 架构)。若需使用原始 DenseNet，设置为 false 并将 -reduction 设为 1。
• -depth: 网络总层数 (L)。
• -growthRate: 增长率 (k)，决定每层输出的特征图数量。

提示：对于实际应用，若追求时间与精度的平衡，可尝试“宽而浅”的配置（如 -depth 40 -growthRate 48），往往能在相近显存占用下获得更好的效果。