在 Keras 中使用 ImageNet 预训练模型微调卷积神经网络

创建此仓库的原因在于，目前网上提供微调示例代码的资源并不多，也没有一个集中化的平台可以方便地下载 VGG、Inception、ResNet 和 DenseNet 等常见 ConvNet 架构的 ImageNet 预训练模型。本仓库旨在填补这一空白，通过在 Cifar10 数据集上使用 ImageNet 预训练模型对流行的 ConvNet 实现进行微调，提供可运行的示例。

有关在 Keras 中对深度学习模型进行微调的全面介绍，请参阅 这篇博客。

使用方法

为便于说明，假设您想使用 VGG-16 进行微调。首先，将 VGG-16 的 ImageNet 预训练权重下载到 imagenet_models 目录中。Cifar10 上的微调方案和示例代码可在 vgg16.py 文件中找到。运行该文件：

python vgg16.py

代码会自动下载 Cifar10 数据集，并使用 VGG-16 进行微调。请注意，模型编译和加载 ImageNet 权重可能需要一些时间（最长几分钟）。

使用自己的数据集进行微调

如果您希望在自己的数据集上进行微调，需要将加载 Cifar10 数据集的模块替换为您自己的 load_data() 函数，以加载您自己的数据集。

X_train, Y_train, X_valid, Y_valid = load_data()

特别需要注意的是，必须执行以下图像预处理步骤，以使数据集格式与预训练模型兼容：

# 对于 TensorFlow
# 将 RGB 顺序转换为 BGR
x = x[:, :, :, ::-1]

# 减去 ImageNet 均值像素
x[:, :, :, 0] -= 103.939
x[:, :, :, 1] -= 116.779
x[:, :, :, 2] -= 123.68

# 对于 Theano
# 将 RGB 顺序转换为 BGR
x = x[:, ::-1, :, :]

# 减去 ImageNet 均值像素
x[:, 0, :, :] -= 103.939
x[:, 1, :, :] -= 116.779
x[:, 2, :, :] -= 123.68

ImageNet 预训练模型

网络	Theano	TensorFlow
VGG-16	模型 (553 MB)	-
VGG-19	模型 (575 MB)	-
GoogLeNet (Inception-V1)	模型 (54 MB)	-
Inception-V3	模型 (95 MB)	-
Inception-V4	模型 (172 MB)	模型 (172 MB)
ResNet-50	模型 (103 MB)	模型 (103 MB)
ResNet-101	模型 (179 MB)	模型 (179 MB)
ResNet-152	模型 (243 MB)	模型 (243 MB)
DenseNet-121	模型 (32 MB)	模型 (32 MB)
DenseNet-169	模型 (56 MB)	模型 (56 MB)
DenseNet-161	模型 (112 MB)	模型 (112 MB)

要求

• Keras 1.2.2 2.0.5
• Theano 0.8.2 或 TensorFlow 0.12.0 1.2.1

更新

• 支持 Keras 2.0.5 和 TensorFlow 1.2.1

cnn_finetune 快速上手指南

本工具基于 Keras 提供使用 ImageNet 预训练模型（如 VGG, ResNet, DenseNet 等）对卷积神经网络进行微调（Fine-tune）的示例代码，旨在帮助开发者快速迁移学习到自定义数据集。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • Keras >= 2.0.5
  • 后端引擎：TensorFlow >= 1.2.1 或 Theano >= 0.8.2

国内加速建议： 安装依赖时推荐使用国内镜像源以提升下载速度。

pip install keras tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目主要为代码示例集合，无需通过 pip 安装包，直接克隆仓库即可使用。

1. 克隆项目代码：

   git clone <项目仓库地址>
   cd cnn_finetune
   

2. 下载预训练权重： 根据 README 中的表格，前往对应的链接下载您需要的模型权重文件（例如 VGG-16），并将其放入项目根目录下的 imagenet_models 文件夹中。

   注：部分模型在首次运行代码时可能会尝试自动下载，但手动下载可避免网络超时问题。

基本使用

以下以 VGG-16 模型在 Cifar10 数据集上进行微调为例：

1. 确认文件就位： 确保 vgg16.py 文件存在，且 imagenet_models 目录下已包含 VGG-16 的权重文件。

2. 运行微调脚本： 执行以下命令启动训练：

   python vgg16.py
   

3. 运行说明：

   • 脚本会自动下载 Cifar10 数据集。
   • 首次运行时，模型编译及加载 ImageNet 权重可能需要几分钟时间，请耐心等待。
   • 训练完成后，您将得到微调后的模型效果。

使用自定义数据集

若需使用自己的数据进行微调，请修改代码中的数据加载部分：

1. 替换 load_data() 模块以加载您的数据集：

   X_train, Y_train, X_valid, Y_valid = load_data()
   

2. 关键步骤：图像预处理 为了兼容 ImageNet 预训练模型，必须对输入图像执行以下预处理操作（根据后端选择对应代码）：

   对于 TensorFlow 后端：

   # 切换 RGB 到 BGR 顺序
   x = x[:, :, :, ::-1]  
   
   # 减去 ImageNet 均值像素
   x[:, :, :, 0] -= 103.939
   x[:, :, :, 1] -= 116.779
   x[:, :, :, 2] -= 123.68
   

   对于 Theano 后端：

   # 切换 RGB 到 BGR 顺序
   x = x[:, ::-1, :, :]
   
   # 减去 ImageNet 均值像素
   x[:, 0, :, :] -= 103.939
   x[:, 1, :, :] -= 116.779
   x[:, 2, :, :] -= 123.68