深度残差网络（Deep Residual Networks）

作者：何恺明、张祥雨、任少卿、孙剑。

微软亚洲研究院（Microsoft Research Asia, MSRA）。

目录

0. 简介
1. 引用
2. 免责声明与已知问题
3. 模型
4. 实验结果
5. 第三方复现

简介

本仓库包含论文《Deep Residual Learning for Image Recognition》（http://arxiv.org/abs/1512.03385）中描述的原始模型（ResNet-50、ResNet-101 和 ResNet-152）。这些模型曾用于 ILSVRC 和 COCO 2015 竞赛，并在以下任务中获得第一名：ImageNet 分类、ImageNet 检测、ImageNet 定位、COCO 检测和 COCO 分割。

注意

0. Facebook AI Research (FAIR) 提供的包含训练代码的复现版本：博客、代码
1. 我们新论文中改进的 1000 层 ResNet 代码，在 CIFAR-10 上达到 4.62% 的测试误差：https://github.com/KaimingHe/resnet-1k-layers

引用

如果您在研究中使用了这些模型，请引用：

@article{He2015,
	author = {Kaiming He and Xiangyu Zhang and Shaoqing Ren and Jian Sun},
	title = {Deep Residual Learning for Image Recognition},
	journal = {arXiv preprint arXiv:1512.03385},
	year = {2015}
}

免责声明与已知问题

0. 这些模型是从我们自己的实现转换到较新版本的 Caffe（2016/2/3, b590f1d）。使用此代码得到的数值结果如下表所示。
1. 这些模型仅用于测试或微调（fine-tuning）。
2. 这些模型并非使用此版本的 Caffe 训练得到。
3. 如果您希望在不修改的情况下使用此版本 Caffe 训练这些模型，请注意：
   • 对于极深的模型，GPU 显存可能不足。
   • 小批量（mini-batch）大小的变化会影响准确率（我们在 8 个 GPU 上使用大小为 256 的小批量，即每个 GPU 32 张图像）。
   • 数据增强（data augmentation）的实现可能不同（请参阅我们论文中关于所使用数据增强的说明）。
   • 我们在每个 epoch 开始时随机打乱数据。
   • 可能存在其他未测试的问题。
4. 在我们的 BN（Batch Normalization，批归一化）层中，提供的均值和方差是在训练结束后，使用足够大的训练批次通过平均计算（而非移动平均）严格得到的。数值结果非常稳定（验证误差变化 < 0.1%）。使用移动平均可能会导致不同的结果。
5. 在 BN 论文中，BN 层学习 gamma/beta 参数。为了在此版本 Caffe 中实现 BN，我们使用其提供的 "batch_norm_layer"（不学习 gamma/beta），后接 "scale_layer"（学习 gamma/beta）。
6. 我们使用 Caffe 的带动量 SGD（Stochastic Gradient Descent，随机梯度下降）实现：v := momentum*v + lr*g。如果您想将这些模型移植到其他库（如 Torch、CNTK），请仔细注意带动量 SGD 可能存在的不同实现：v := momentum*v + (1-momentum)*lr*g，这会改变有效的学习率。

模型

0. 网络结构可视化（工具来自 ethereon）：

   • ResNet-50
   • ResNet-101
   • ResNet-152

1. 模型文件：

   • MSR 下载：链接
   • OneDrive 下载：链接

实验结果

0. ImageNet 上的训练曲线（实线：单裁剪验证误差；虚线：训练误差）：

1. ImageNet 单裁剪（1-crop）验证误差（从短边调整为 256 像素的图像中裁剪中心 224×224 区域）：

   model	top-1	top-5
   VGG-16	28.5%	9.9%
   ResNet-50	24.7%	7.8%
   ResNet-101	23.6%	7.1%
   ResNet-152	23.0%	6.7%

2. ImageNet 十裁剪（10-crop）验证误差（从短边调整为 256 像素的图像中裁剪 10 个 224×224 区域并平均 softmax 分数），与论文中的结果相同：

   model	top-1	top-5
   ResNet-50	22.9%	6.7%
   ResNet-101	21.8%	6.1%
   ResNet-152	21.4%	5.7%

第三方重新实现

深度残差网络（Deep Residual Networks）非常容易实现和训练。我们建议同时查看以下第三方重新实现和扩展：

0. 由 Facebook AI 研究院（Facebook AI Research, FAIR）提供，包含 Torch 训练代码以及针对 ImageNet 的预训练 ResNet-18/34/50/101 模型：博客，代码
1. Torch, CIFAR-10，包含 ResNet-20 到 ResNet-110、训练代码及训练曲线：代码
2. Lasagne, CIFAR-10，包含 ResNet-32 和 ResNet-56 及训练代码：代码
3. Neon, CIFAR-10，包含预训练的 ResNet-32 到 ResNet-110 模型、训练代码及训练曲线：代码
4. Torch, MNIST，100 层：博客，代码
5. Kaggle 露脊鲸识别挑战赛的获胜方案：博客，代码
6. Neon, Place2 (mini)，40 层：博客，代码
7. MatConvNet, CIFAR-10，包含 ResNet-20 到 ResNet-110、训练代码及训练曲线：代码
8. TensorFlow, CIFAR-10，包含 ResNet-32、110、182 的训练代码及训练曲线：代码
9. MatConvNet，复现 CIFAR-10 和 ImageNet 实验（支持官方 MatConvNet），包含训练代码及训练曲线：博客，代码
10. Keras, ResNet-50：代码

转换器：

0. MatConvNet：链接
1. TensorFlow：链接

Deep Residual Networks (ResNet) 快速上手指南

环境准备

系统要求

• Linux 或 macOS 系统
• NVIDIA GPU（推荐，用于加速推理）
• CUDA 7.5+ 和 cuDNN v5+（如使用GPU）

前置依赖

• Caffe（2016年2月3日版本或兼容版本，commit: b590f1d）
• Python 2.7 或 3.x
• OpenCV、NumPy 等常见科学计算库

注意：本仓库仅提供预训练模型，不包含训练代码。如需训练，请参考 Facebook AI Research 的 Torch 实现。

---

安装步骤

1. 安装 Caffe

# 克隆 Caffe 仓库
git clone https://github.com/BVLC/caffe.git
cd caffe

# 切换到兼容版本（2016/2/3）
git checkout b590f1d

# 编译安装（根据你的环境修改 Makefile.config）
cp Makefile.config.example Makefile.config
# 编辑 Makefile.config，启用/禁用 CUDA、cuDNN 等选项

make all -j8
make pycaffe

2. 下载 ResNet 预训练模型

# 创建模型目录
mkdir -p models && cd models

# 方式一：OneDrive 下载（官方推荐）
# 访问 https://onedrive.live.com/?authkey=%21AAFW2-FVoxeVRck&id=4006CBB8476FF777%2117887&cid=4006CBB8476FF777
# 手动下载 models.zip 并解压

# 方式二：使用 wget/curl（如有直链）
wget -O models.zip "https://onedrive.live.com/download?cid=4006CBB8476FF777&resid=4006CBB8476FF777%2117887&authkey=AAFW2-FVoxeVRck"
unzip models.zip

下载完成后，模型文件结构如下：

models/
├── ResNet-50-deploy.prototxt
├── ResNet-101-deploy.prototxt
├── ResNet-152-deploy.prototxt
├── ResNet-50-model.caffemodel
├── ResNet-101-model.caffemodel
└── ResNet-152-model.caffemodel

---

基本使用

单张图片分类示例

import numpy as np
import caffe

# 设置计算模式
caffe.set_mode_gpu()  # 或 caffe.set_mode_cpu()
caffe.set_device(0)

# 模型路径
MODEL_DEF = 'models/ResNet-50-deploy.prototxt'
MODEL_WEIGHTS = 'models/ResNet-50-model.caffemodel'
MEAN_FILE = 'models/ResNet_mean.binaryproto'  # 或使用 ImageNet 均值

# 加载网络
net = caffe.Net(MODEL_DEF, MODEL_WEIGHTS, caffe.TEST)

# 图像预处理
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2, 0, 1))
transformer.set_mean('data', np.array([104, 117, 123]))  # BGR 均值
transformer.set_raw_scale('data', 255)
transformer.set_channel_swap('data', (2, 1, 0))  # RGB to BGR

# 加载图像并推理
net.blobs['data'].reshape(1, 3, 224, 224)  # batch_size=1
image = caffe.io.load_image('example.jpg')
transformed_image = transformer.preprocess('data', image)
net.blobs['data'].data[...] = transformed_image

# 前向传播
output = net.forward()
probabilities = output['prob'][0]

# 获取 Top-5 预测结果
top5 = probabilities.argsort()[-5:][::-1]
print('Top-5 predictions:', top5)
print('Probabilities:', probabilities[top5])

批量推理

import os
import glob

# 设置批量大小
BATCH_SIZE = 32
net.blobs['data'].reshape(BATCH_SIZE, 3, 224, 224)

# 批量处理
image_paths = glob.glob('images/*.jpg')
for i in range(0, len(image_paths), BATCH_SIZE):
    batch_paths = image_paths[i:i+BATCH_SIZE]
    # 填充批次并推理...

---

模型选择参考

模型	Top-1 错误率	Top-5 错误率	显存需求	适用场景
ResNet-50	24.7%	7.8%	~8GB	平衡速度与精度
ResNet-101	23.6%	7.1%	~12GB	更高精度需求
ResNet-152	23.0%	6.7%	~16GB	极致精度需求

---

网络结构可视化

使用 Netscope 在线查看网络结构：

• ResNet-50
• ResNet-101
• ResNet-152