深度残差学习用于图像识别

这是对2015年ILSVRC和COCO挑战赛冠军论文《深度残差学习用于图像识别》（作者：何凯明、张祥雨、任少庆、孙剑）的Torch实现。

已实现的功能： CIFAR数据集可以收敛，与论文一致。

尚未实现的功能： ImageNet数据集。此外，我目前只实现了残差网络瓶颈结构的选项(A)。

目录

• CIFAR：模型大小的影响
• CIFAR：浅层网络中模型架构的影响
  • ...在深层网络中的影响
• ImageNet：他人关于模型架构的初步实验
• CIFAR：替代优化器的影响（RMSprop、Adagrad、Adadelta）
  • ...在深层网络中的影响
• CIFAR：批归一化动量的影响

更新记录

• 2016-02-01：添加了他人在ImageNet数据集上关于该架构的初步结果。（我尚未有时间训练ImageNet）
• 2016-01-21：完成了深层网络上的“替代优化器”实验。这些实验耗时较长。
• 2016-01-19：
  • 新结果：重新运行了深层网络上的“替代构建块”实验。这些实验的效果更为显著。
  • 增加了目录，以方便查阅。
  • 添加了实验产物（训练损失和测试误差的日志、保存的模型、对源代码所做的补丁等），供希望复现我们结果的好奇者参考。（这些产物在此依据zlib许可证发布。）
• 2016-01-15：
  • 新的CIFAR结果：我重新运行了所有CIFAR实验并更新了结果。之前存在一些错误：我们仅在训练集的前2,000张图片上进行测试，且是带放回地随机采样。这些新结果随时间推移更加稳定。
• 2016-01-12：发布CIFAR实验结果。

使用方法

• 需要至少CUDA 7.0和CuDNN v4。
• 安装Torch。
• 安装Torch CuDNN V4库：git clone https://github.com/soumith/cudnn.torch; cd cudnn; git co R4; luarocks make 这将提供cudnn.SpatialBatchNormalization，有助于节省大量内存。
• 安装nninit：luarocks install nninit。
• 下载 CIFAR 10。 使用--dataRoot <cifar>指定解压后的CIFAR 10文件夹位置。
• 运行train-cifar.lua。

CIFAR：模型大小的影响

本次测试的目标是复现原论文中的图6：

我们将模型训练200个epoch（这大约相当于上图中他们的7.8万次迭代）。与原论文相同，我们从0.1的学习率开始，在第80个epoch将其降低到0.01，并在第160个epoch再次降至0.01。

训练损失

测试误差

模型	我的测试误差	表6中的参考测试误差	实验产物
Nsize=3，20层	0.0829	0.0875	模型，损失和误差日志，源码提交 + 补丁
Nsize=5，32层	0.0763	0.0751	模型，损失和误差日志，源码提交 + 补丁
Nsize=7，44层	0.0714	0.0717	模型，损失和误差日志，源码提交 + 补丁
Nsize=9，56层	0.0694	0.0697	模型，损失和误差日志，源码提交 + 补丁
Nsize=18，110层，特殊策略¹	0.0673	0.0661²	模型，损失和误差日志，源码提交 + 补丁

我们通常可以在0.5%的误差范围内复现论文中的结果。除32层网络外，其他情况下我们的性能都略优于论文中的结果，但这可能只是噪声所致。

¹：对于这次运行，我们在前400次迭代中使用0.001的学习率，随后将其提高到0.1，并按常规方式继续训练。这与原文的结果一致。

²：请注意，论文报告了五次运行中的最佳结果以及平均值。我认为平均值是一种有效的测试协议，但我不喜欢报告“最佳”分数，因为这实际上相当于在测试集上进行训练。（这种报告方式实际上为模型引入了一个额外的参数——从集成中选择哪个模型——而这个参数是针对测试集拟合的）

CIFAR：模型架构的影响

本实验探讨了不同神经网络架构对残差网络内部“构建块”模型的影响。

原始论文使用的“构建块”类似于下图左侧的“参考”模型，包含标准卷积层、批归一化和ReLU激活函数，随后是另一层卷积和批归一化。该架构中唯一有趣的地方在于他们将ReLU放在了加法之后。

我们研究了两种替代策略。

• 替代方案1：将批归一化移至加法之后。（中间）这一选择的理由是测试是否对加法的第一项进行归一化是有益的。它源于一种误解，即批归一化总是会将数据归一化为均值为零、方差为1的状态。如果真是如此，构建一个恒等构建块将是不可能的，因为加法的输入始终具有单位方差。然而，事实并非如此。批归一化层具有可学习的缩放和偏置参数，因此输入到批归一化层的数据并不一定会被强制归一化为单位方差。

• 替代方案2：去掉第二个ReLU。 这一想法的灵感来自于观察到，在参考架构中，输入必须经过ReLU的修改才能传递到输出。这使得恒等连接在技术上几乎不可能实现，因为负数在通过网络的跳跃层时会被始终截断。为了避免这种情况，我们可以将ReLU移到加法之前，或者完全移除它。然而，将ReLU移到加法之前并不正确：这样的架构会确保输出永远不会减少，因为加法的第一个项不可能为负数。另一种选择则是直接移除ReLU，从而牺牲该层的非线性特性。目前尚不清楚哪种方法更好。

为了测试这些策略，我们使用最小的（20层）残差网络模型重复上述实验。

（注：其他实验均采用最左侧的“参考”模型。）

架构	测试误差
ReLU，BN在加法前（原论文复现）	0.0829
无ReLU，BN在加法前	0.0862
ReLU，BN在加法后	0.0834
无ReLU，BN在加法后	0.0823

所有方法的准确率相差都在0.5%以内。在CIFAR数据集上，移除ReLU并将批归一化移至加法之后似乎带来了一点点改进，但测试误差曲线中的噪声太大，难以可靠地判断出差异。

CIFAR：模型架构对深度网络的影响

上述针对20层网络的实验并未显示出任何显著差异。然而，当评估非常深的网络时，这些差异变得更加明显。我们再次在110层（Nsize=19）网络上重复了上述实验。

结果：

• 对于深度网络而言，最好将批归一化置于每个构建块层的加法部分之前。这样可以有效地减少输入跳跃路径上的批归一化操作次数。如果每个构建块之后都紧跟着批归一化，那么就存在一条从输入直接通向输出的路径，这条路径会连续经过多个批归一化层。这可能会带来问题，因为每个批归一化层都不是幂等的（多次批归一化的效果会累积）。

• 移除每个构建块末端的ReLU层似乎能带来小幅提升（约0.6%）。

架构	测试误差	附带资料
ReLU，BN在加法前（原论文复现）	0.0697	模型、损失和误差日志，源代码提交 + 补丁
无ReLU，BN在加法前	0.0632	模型、损失和误差日志，源代码提交 + 补丁
ReLU，BN在加法后	0.1356	模型、损失和误差日志，源代码提交 + 补丁
无ReLU，BN在加法后	0.1230	模型、损失和误差日志，源代码提交 + 补丁

ImageNet：模型架构的影响（初步）

@ducha-aiki 正在进行 ImageNet 的初步实验。 对于普通的 CaffeNet 网络，@ducha-aiki 发现将批归一化放在 ReLU 层之后，相比放在之前，可能会带来一点小的提升。

其次，CIFAR-10 上的结果往往与 ImageNet 上的结果相矛盾。例如，在 CIFAR 上，带泄露的 ReLU 优于普通 ReLU，但在 ImageNet 上却表现更差。

@ducha-aiki 的更详细结果请见：https://github.com/ducha-aiki/caffenet-benchmark/blob/master/batchnorm.md

CIFAR：其他训练策略（RMSPROP、Adagrad、Adadelta）

我们能否在带有 Nesterov 动量的基本 SGD 更新规则基础上进一步改进？本次实验旨在探究这一点。普遍的观点认为，其他更新规则至少在初期可能收敛得更快，但从长期来看，它们通常无法超越经过精心调优的 SGD。

在我们的实验中，采用 Nesterov 动量且学习率为 0.1 的普通 SGD 最终达到了最低的测试误差。有趣的是，学习率为 1e-2 的 RMSPROP 虽然训练损失更低，但却出现了过拟合现象。

策略	测试误差
原论文：SGD + Nesterov 动量，1e-1	0.0829
RMSprop，学习率 = 1e-4	0.1677
RMSprop，1e-3	0.1055
RMSprop，1e-2	0.0945
Adadelta¹，rho = 0.3	0.1093
Adagrad，1e-3	0.3536
Adagrad，1e-2	0.1603
Adagrad，1e-1	0.1255

¹：Adadelta 不使用学习率，因此我们没有沿用论文中的学习率策略，而是让其一直运行直到收敛。

有关这些学习策略的更多细节，请参阅 Andrej Karpathy 的 CS231N 笔记。

CIFAR：深度网络上的其他训练策略

深度网络更容易出现过拟合问题。与之前的实验不同，除了学习率为 1e-3 的 Adagrad 外，所有模型的损失都低于 0.1，但测试误差却差异很大。再次证明，使用带有 Nesterov 动量的普通 SGD 能够达到最低的误差。

求解器	测试误差
网络规模=18，原论文：Nesterov，1e-1	0.0697
网络规模=18，RMSprop，1e-4	0.1482
网络规模=18，RMSprop，1e-3	0.0821
网络规模=18，RMSprop，1e-2	0.0768
网络规模=18，RMSprop，1e-1	0.1098
网络规模=18，Adadelta	0.0888
网络规模=18，Adagrad，1e-3	0.3022
网络规模=18，Adagrad，1e-2	0.1321
网络规模=18，Adagrad，1e-1	0.1145

批归一化动量的影响

在我们的实验中，我们使用了基于指数移动平均的批归一化方法，动量值为 0.1，这意味着每次批次处理时，运行均值和标准差会根据当前批次的数据调整其值的 10%。如果动量值为 1.0，则批归一化层只会基于当前批次计算均值和标准差；而动量值为 0 时，批归一化层将不再累积运行均值和标准差的变化。

严格来说，原始批归一化论文建议在每次更新时都基于整个训练集计算均值和标准差。然而，这在实际操作中耗时过长，因此通常采用指数移动平均的方法。

我们尝试观察批归一化动量是否会对结果产生影响。为此，我们测试了几个不同于默认值的动量参数，并引入了一种“动态”更新策略，即动量设置为 1 / (1+n)，其中 n 是迄今为止已见过的批次数量（每完成一个 epoch，n 会重置为 0）。这样一来，在某个 epoch 结束时，批归一化层的运行均值和标准差实际上就相当于在整个训练集上计算得出的。

然而，实验结果表明，这些不同的动量设置并未带来显著差异。

策略	测试误差
BN，动量 = 1 仅作趣味尝试	0.0863
BN，动量 = 0.01	0.0835
原论文：BN 动量 = 0.1	0.0829
动态策略，每 epoch 重置	0.0822

待办事项：ImageNet

torch-residual-networks 快速上手指南

本指南基于 Kaiming He 等人提出的深度残差网络（ResNet）论文，提供在 Torch 框架下的 CIFAR-10 图像识别实现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• GPU 驱动：需安装 CUDA 7.0 或更高版本。
• 加速库：需安装 CuDNN v4。
• 框架：已安装 Torch (Lua)。

注意：本项目目前主要支持 CIFAR-10 数据集的复现，ImageNet 部分尚未完全实现。

安装步骤

请按顺序执行以下命令以配置依赖环境和数据集：

1. 安装 Torch CuDNN v4 库 该库提供了 cudnn.SpatialBatchNormalization，能显著节省显存。

   git clone https://github.com/soumith/cudnn.torch
   cd cudnn.torch
   git co R4
   luarocks make
   cd ..
   

2. 初始化工具包 安装权重初始化库 nninit：

   luarocks install nninit
   

3. 下载数据集 下载 CIFAR-10 数据集（Torch 格式）：

   wget http://torch7.s3-website-us-east-1.amazonaws.com/data/cifar-10-torch.tar.gz
   tar -xzf cifar-10-torch.tar.gz
   

   注：国内用户若下载缓慢，可尝试使用迅雷等工具加速，或自行寻找国内镜像源替换上述链接。

基本使用

完成安装后，即可运行训练脚本。假设您将 CIFAR-10 数据解压到了 <cifar> 目录：

th train-cifar.lua --dataRoot <cifar>

参数说明：

• --dataRoot：指定解压后的 CIFAR-10 文件夹路径。

默认训练策略：

• 迭代次数：200 epochs。
• 学习率调整：初始为 0.1，在第 80 个 epoch 降至 0.01，在第 160 个 epoch 降至 0.001。
• 模型验证：默认复现原论文 Figure 6 的结果，测试误差通常在 0.5% 范围内与论文一致。