Keras 中的 DenseNet

在 Keras 中实现论文《密集连接卷积网络》（Densely Connected Convolutional Networks）中的 DenseNet。

现支持更高效的 DenseNet-BC（DenseNet-Bottleneck-Compressed）网络。使用 DenseNet-BC-190-40 模型，在 CIFAR-10 和 CIFAR-100 数据集上取得了当前最优性能。

架构

DenseNet 是 Wide Residual Networks 的扩展。根据论文描述：

第 l 层有 l 个输入，由所有前面的卷积块的特征图组成。其自身的特征图会传递给后续的 L−l 层。这使得一个 L 层的网络中存在 L(L+1)/2 条连接，而传统前馈架构中只有 L 条。由于其密集的连接模式，我们将这种方法称为密集卷积网络（DenseNet）。

它具有多项改进，例如：

1. 密集连接：任意两层之间都相互连接。
2. 增长率参数：用于控制随着网络加深，特征数量增长的速度。
3. 连续函数序列：BatchNorm - Relu - Conv，这一设计源自 Wide ResNet 论文，并在此基础上对 ResNet 进行了改进。

Bottleneck-Compressed 版本的 DenseNet 还能进一步提升性能，例如减少参数量，同时保持相近甚至更好的效果。

• 以 DenseNet-100-12 模型为例，其参数量接近 700 万；而 DenseNet-BC-100-12 模型的参数量仅为 80 万。BC 模型的错误率为 4.51%，而原版模型为 4.10%。

• 最佳的原始模型 DenseNet-100-24（参数量 2720 万）错误率为 3.74%，而 DenseNet-BC-190-40（参数量 2560 万）的错误率为 3.46%，这是 CIFAR-10 数据集上的最新最优性能。

DenseNet 的架构如论文中的以下图片所示：

性能

论文中提供了 DenseNet 的准确率，其在 CIFAR-10、CIFAR-100 和 SVHN 数据集上均超越了此前的所有基准。

使用方法

导入 densenet.py 脚本，并使用 DenseNet(...) 方法创建自定义的 DenseNet 模型，可设置多种参数。

示例：

import densenet

# 'th' 维度顺序或 'tf' 维度顺序
image_dim = (3, 32, 32) 或 image_dim = (32, 32, 3)

model = densenet.DenseNet(classes=10, input_shape=image_dim, depth=40, growth_rate=12, 
			  bottleneck=True, reduction=0.5)

或者，直接导入为 ImageNet 预训练的 DenseNet 模型，其中部分模型带有预训练权重（121、161 和 169）。

示例：

import densenet

# 'th' 维度顺序或 'tf' 维度顺序
image_dim = (3, 224, 224) 或 image_dim = (224, 224, 3)

model = densenet.DenseNetImageNet121(input_shape=image_dim)

DenseNetImageNet121、DenseNetImageNet161 和 DenseNetImageNet169 模型的权重已提供（在发布页面），首次调用时会自动下载。这些权重是在 ImageNet 数据集上训练得到的，且来自 https://github.com/flyyufelix/DenseNet-Keras 仓库的移植版本。

要求

• Keras
• Theano（未测试权重）/ Tensorflow（已测试）/ CNTK（未测试权重）
• h5py

DenseNet 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • Keras (深度学习框架)
  • TensorFlow (后端引擎，已测试支持；Theano/CNTK 支持但权重未测试)
  • h5py (用于模型权重存储)

国内加速建议： 推荐使用清华源或阿里源安装 Python 依赖，以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

本项目基于 Keras 实现，您只需通过 pip 安装必要的依赖库。如果您尚未安装 TensorFlow 和 Keras，请执行以下命令：

# 安装 TensorFlow (作为 Keras 后端)
pip install tensorflow

# 安装 h5py
pip install h5py

# 安装 Keras (如果 TensorFlow 版本较新，通常内置 keras，否则需单独安装)
pip install keras

获取源码： 由于这是一个开源脚本项目，您需要将 densenet.py 文件下载到您的项目目录中。可以通过克隆仓库或直接下载单文件：

# 方式一：克隆整个仓库
git clone https://github.com/titu1994/DenseNet.git
cd DenseNet

# 方式二：仅下载核心脚本 (需自行处理依赖)
# 请访问 GitHub 页面手动下载 densenet.py 至当前目录

基本使用

1. 构建自定义 DenseNet 模型

导入 densenet 模块，使用 DenseNet(...) 方法即可创建模型。您可以灵活调整深度 (depth)、增长率 (growth_rate) 以及是否启用瓶颈压缩结构 (bottleneck)。

import densenet

# 设置输入维度 ('th' 顺序或 'tf' 顺序)
# CIFAR-10 示例: (3, 32, 32) 或 (32, 32, 3)
image_dim = (32, 32, 3)

# 创建模型
# classes: 分类数量
# depth: 网络深度
# growth_rate: 特征图增长速率
# bottleneck: 是否使用瓶颈结构 (True 为 DenseNet-BC)
# reduction: 压缩率
model = densenet.DenseNet(classes=10, input_shape=image_dim, depth=40, growth_rate=12, 
			  bottleneck=True, reduction=0.5)

model.summary()

2. 加载预训练的 ImageNet 模型

项目提供了针对 ImageNet 数据集预训练的模型（DenseNet-121, 161, 169）。首次调用时，程序会自动从 GitHub Release 页面下载权重文件。

import densenet

# 设置输入维度 (ImageNet 标准尺寸)
# (3, 224, 224) 或 (224, 224, 3)
image_dim = (224, 224, 3)

# 加载预训练的 DenseNet-121 模型
model = densenet.DenseNetImageNet121(input_shape=image_dim)

# 模型已包含权重，可直接用于推理或微调
model.summary()

注意：预训练权重托管在 GitHub Releases 页面。如果自动下载失败（受网络影响），您可以手动从 Release 标签页 下载对应的 .h5 文件，并放置在脚本运行的当前目录下。