TensorFlow 中的 ResNet

本实现基于 ResNet 及其 变体，旨在为新用户打造一个简单易用的入门工具。您只需下载并运行代码，即可在 CIFAR-10 数据集上训练 ResNet 模型。训练过程中会提供终端输出、TensorBoard 统计信息以及模型结构图可视化，帮助您监控训练进度并直观理解模型。

目前该代码支持 TensorFlow 1.0.0 和 1.1.0 版本，但不再兼容更早的版本。

如果您喜欢这份代码，请为它点个赞！欢迎在我的 GitHub 上提出问题和建议。

目录

• 验证误差
• 训练曲线
• 用户指南
  • 前置条件
  • 整体结构
  • 超参数
  • ResNet 结构
  • 训练
  • 测试

验证误差

ResNet-32、ResNet-56 和 ResNet-110 的最低验证误差分别为 6.7%、6.5% 和 6.2%。您可以通过调整超参数 num_residual_blocks 来改变总层数：总层数 = 6 × num_residual_blocks + 2。

网络	最低验证误差
ResNet-32	6.7%
ResNet-56	6.5%
ResNet-110	6.2%

训练曲线

用户指南

您可以运行 cifar10_train.py，通过终端输出了解其工作流程（如果尚未下载数据，代码会自动为您完成）。建议在运行前指定版本标识符，因为训练日志、检查点和 error.csv 文件都将保存在名为 logs_$version 的文件夹中。您可以通过命令行设置版本号：python cifar10_train.py --version='test'。此外，也可以直接修改 hyper_parameters.py 文件中的版本号。

训练和验证误差会实时打印在终端上，同时也可以通过 TensorBoard 查看。使用命令 tensorboard --logdir='logs_$version' 即可启动 TensorBoard。（例如，若版本为 ‘test’，则 logdir 应为 ‘logs_test’。）TensorBoard 还能展示各层的相关统计信息。

前置条件

pandas、numpy、opencv、tensorflow (1.0.0)

整体结构

仓库中包含四个 Python 文件：cifar10_input.py、resnet.py、cifar10_train.py 和 hyper_parameters.py。

cifar10_input.py 包含用于下载、解压和预处理 CIFAR-10 图像的辅助函数。
resnet.py 定义了 ResNet 的网络结构。
cifar10_train.py 负责模型的训练与验证。
hyper_parameters.py 则定义了与训练、ResNet 结构、数据增强等相关的超参数。

以下章节将详细解释这些代码。

---

超参数

hyper_parameters.py 文件定义了所有可供修改的超参数，以便您自定义训练过程。您可以通过 python cifar10_train.py --hyper_parameter1=value1 --hyper_parameter2=value2 来设置超参数，也可以直接在脚本中更改默认值。

超参数主要分为五大类。

---

1. 关于保存训练日志、TensorBoard 输出及终端输出的超参数，包括：

version: 字符串。检查点和输出事件将保存在 logs_$version/ 文件夹中。

report_freq: 整数。每经过多少个批次执行一次完整验证并打印终端输出。终端输出示例如下：

train_ema_decay: 浮点数。TensorBoard 不仅会记录原始批次训练误差，还会记录其移动平均值。此衰减因子用于在 TensorFlow 中创建指数移动平均对象：tf.train.ExponentialMovingAverage(FLAGS.train_ema_decay, global_step)。计算公式为：记录误差 = train_ema_decay × 影子误差 + (1 - train_ema_decay) × 当前批次误差。train_ema_decay 值越大，训练曲线越平滑。

---

2. 与训练过程相关的超参数

train_steps: 整数。总训练步数。

is_full_validation: 布尔值。是否使用全部 10000 张验证图像进行验证（True），或随机抽取一批验证数据进行验证（False）。

train_batch_size: 整数。训练批次大小。

validation_batch_size: 整数。验证批次大小（仅当 is_full_validation=False 时有效）。

init_lr: 浮点数。初始学习率。学习率可根据以下设置逐步衰减。

lr_decay_factor: 浮点数。学习率衰减因子。每次衰减后，学习率将变为当前学习率的 lr_decay_factor 倍。

decay_step0: 整数。学习率首次衰减的步数。

decay_step1: 整数。学习率第二次衰减的步数。

---

3. 控制网络结构的超参数

num_residual_blocks: 整数。ResNet 的总层数 = 6 × num_residual_blocks + 2。

weight_decay: 浮点数。用于正则化网络的权重衰减系数。总损失 = 训练损失 + weight_decay × 权重平方和。

---

4. 数据增强相关

padding_size: 整数。表示在图像每侧填充的零值像素数量。训练期间的填充和随机裁剪有助于防止过拟合。

---

5. 加载检查点

ckpt_path: 字符串。要加载的检查点路径。

is_use_ckpt: 布尔值。若为 True，则从检查点继续训练。

---

ResNet 结构

这里我们使用最新版本的 ResNet。残差块的结构如下所示ref：

inference() 函数是 resnet.py 中的主要函数。它将在构建训练图和验证图时分别被调用两次。

训练

Train() 类定义了与训练过程相关的所有函数，其中 train() 是主函数。基本思路是运行 train_op FLAGS.train_steps 次。如果 step % FLAGS.report_freq == 0，则会进行一次验证、一次训练，并将所有摘要写入 TensorBoard。

测试

Train() 类中的 test() 函数用于进行预测。它返回一个形状为 [num_test_images, num_labels] 的 softmax 概率矩阵。你需要准备好并预处理测试数据，然后将其传递给该函数。你可以使用自己的检查点，也可以使用我上传的预训练 ResNet-110 检查点。你可以在 cifar10_train.py 文件末尾添加以下代码：

train = Train()
test_image_array = ... # 最好提前进行白化处理。形状为 [-1, img_height, img_width, img_depth]
predictions = train.test(test_image_array)
# predictions 是预测得到的 softmax 数组。

然后在命令行中运行以下命令：

# 如果你想使用我的检查点。
python cifar10_train.py --test_ckpt_path='model_110.ckpt-79999'

ResNet in TensorFlow 快速上手指南

本指南基于 resnet-in-tensorflow 项目，帮助开发者快速在 CIFAR-10 数据集上训练和评估 ResNet 模型。

环境准备

系统要求

• Python: 兼容 Python 2.7 或 3.x（取决于具体 TensorFlow 版本环境）
• TensorFlow: 必须使用 1.0.0 或 1.1.0 版本（不兼容更早版本）

前置依赖

请确保安装以下 Python 库：

• tensorflow (1.0.0 或 1.1.0)
• pandas
• numpy
• opencv (通常通过 opencv-python 安装)

国内加速建议：推荐使用清华源或阿里源安装依赖，以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.1.0 pandas numpy opencv-python

安装步骤

1. 克隆仓库 将代码下载到本地：

   git clone https://github.com/wenxinxu/resnet-in-tensorflow.git
   cd resnet-in-tensorflow
   

2. 验证文件结构 确保目录下包含以下四个核心文件：

   • cifar10_input.py: 数据下载与预处理
   • resnet.py: ResNet 网络结构定义
   • cifar10_train.py: 训练与验证主脚本
   • hyper_parameters.py: 超参数配置

基本使用

1. 开始训练

运行训练脚本会自动下载 CIFAR-10 数据集（如果本地不存在）。建议指定 version 参数，以便将日志、检查点和错误记录保存到独立文件夹（如 logs_test）。

python cifar10_train.py --version='test'

说明：

• 屏幕将实时输出训练和验证误差。
• 可通过修改 hyper_parameters.py 或使用命令行参数（如 --num_residual_blocks=9）调整网络深度和学习率等超参数。
• 默认网络层数计算公式：Total layers = 6 * num_residual_blocks + 2。

2. 可视化监控 (TensorBoard)

使用 TensorBoard 查看训练曲线、统计信息及计算图。

tensorboard --logdir='logs_test'

注：请将 logs_test 替换为你实际设置的 --version 名称。然后在浏览器中访问显示的地址（通常为 http://localhost:6006）。

3. 模型测试与预测

你可以使用训练好的检查点（checkpoint）对新数据进行预测。项目提供了预训练的 ResNet-110 模型，也可使用自己训练的模型。

在 cifar10_train.py 末尾添加以下逻辑或直接通过命令行加载检查点进行推理：

# 使用预训练的 ResNet-110 检查点
python cifar10_train.py --test_ckpt_path='model_110.ckpt-79999'

代码集成示例： 若需在代码中调用测试功能：

train = Train()
# 准备测试数据数组，形状应为 [-1, img_height, img_width, img_depth]，建议预先进行白化处理
test_image_array = ... 
predictions = train.test(test_image_array)
# predictions 为 softmax 概率数组

性能参考

在 CIFAR-10 数据集上的最低验证误差参考：

• ResNet-32: 6.7%
• ResNet-56: 6.5%
• ResNet-110: 6.2%