Cascade R-CNN：深入高质量目标检测

作者：Zhaowei Cai 和 Nuno Vasconcelos

此仓库由加州大学圣地亚哥分校的 Zhaowei Cai 编写。

简介

本仓库实现了多种流行的目标检测算法，包括 Faster R-CNN、R-FCN、FPN 以及我们最近提出的 Cascade R-CNN，在 MS-COCO 和 PASCAL VOC 数据集上运行。骨干网络有多种选择，包括 AlexNet、VGG-Net 和 ResNet。它使用 C++ 编写，并由 Caffe 深度学习工具箱驱动。

Cascade R-CNN 是流行的两阶段 R-CNN 目标检测框架的多阶段扩展。其目标是获得高质量的目标检测，能有效拒绝邻近的误报（False Positives）。它由一系列检测器组成，这些检测器以端到端方式训练，具有递增的 IoU（交并比）阈值，以便依次更严格地过滤邻近的误报。前一阶段检测器的输出被转发到后一阶段检测器，检测结果将逐阶段改进。这一思想可应用于任何基于两阶段 R-CNN 框架的检测器，包括 Faster R-CNN、R-FCN、FPN、Mask R-CNN 等，且无论基线强度如何，都能获得可靠的提升。一个基于 ResNet-101 骨干网络的 FPN 检测器的基础版 Cascade R-CNN，没有任何训练或推理方面的额外技巧，在具有挑战性的 MS-COCO 数据集上取得了最先进（State-of-the-art）的结果。

更新

Detectron 中的 Cascade R-CNN 重新实现已发布。参见 Detectron-Cascade-RCNN。所有测试模型均表现出一致的提升，与基线强度无关。

同时也推荐使用第三方实现，基于 PyTorch 的 mmdetection 和基于 TensorFlow 的 tensorpack。

引用

如果您使用了我们的代码/模型/数据，请引用我们的论文：

@inproceedings{cai18cascadercnn,
  author = {Zhaowei Cai and Nuno Vasconcelos},
  Title = {Cascade R-CNN: Delving into High Quality Object Detection},
  booktitle = {CVPR},
  Year  = {2018}
}

或其扩展：

@article{cai2019cascadercnn,
  author = {Zhaowei Cai and Nuno Vasconcelos},
  title = {Cascade R-CNN: High Quality Object Detection and Instance Segmentation},
  journal = {arXiv preprint arXiv:1906.09756},
  year = {2019}
}

基准测试

我们在以下表格中对多个检测器模型在 MS-COCO 和 PASCAL VOC 数据集上进行了基准测试。

1. MS-COCO (训练/测试：train2017/val2017，短边尺寸：FPN 为 800，其他为 600)

模型	#GPU	批大小	学习率	迭代次数	训练时间	测试时间	AP	AP50	AP75
VGG-RPN-baseline	2	4	3e-3	100k	12.5 小时	0.075 秒	23.6	43.9	23.0
VGG-RPN-Cascade	2	4	3e-3	100k	15.5 小时	0.115 秒	27.0	44.2	27.7
Res50-RFCN-baseline	4	1	3e-3	280k	19 小时	0.07 秒	27.0	48.7	26.9
Res50-RFCN-Cascade	4	1	3e-3	280k	22.5 小时	0.075 秒	31.1	49.8	32.8
Res101-RFCN-baseline	4	1	3e-3	280k	29 小时	0.075 秒	30.3	52.2	30.8
Res101-RFCN-Cascade	4	1	3e-3	280k	30.5 小时	0.085 秒	33.3	52.0	35.2
Res50-FPN-baseline	8	1	5e-3	280k	32 小时	0.095 秒	36.5	58.6	39.2
Res50-FPN-Cascade	8	1	5e-3	280k	36 小时	0.115 秒	40.3	59.4	43.7
Res101-FPN-baseline	8	1	5e-3	280k	37 小时	0.115 秒	38.5	60.6	41.7
Res101-FPN-Cascade	8	1	5e-3	280k	46 小时	0.14 秒	42.7	61.6	46.6

2. PASCAL VOC 2007 (训练/测试：2007+2012trainval/2007test，短边尺寸：600)

模型	#GPU	批大小	学习率	迭代次数	训练时间	AP	AP50	AP75
Alex-RPN-baseline	2	4	1e-3	45k	2.5 小时	29.4	63.2	23.7
Alex-RPN-Cascade	2	4	1e-3	45k	3 小时	38.9	66.5	40.5
VGG-RPN-baseline	2	4	1e-3	45k	6 小时	42.9	76.4	44.1
VGG-RPN-Cascade	2	4	1e-3	45k	7.5 小时	51.2	79.1	56.3
Res50-RFCN-baseline	2	2	2e-3	90k	8 小时	44.8	77.5	46.8
Res50-RFCN-Cascade	2	2	2e-3	90k	9 小时	51.8	78.5	57.1
Res101-RFCN-baseline	2	2	2e-3	90k	10.5 小时	49.4	79.8	53.2
Res101-RFCN-Cascade	2	2	2e-3	90k	12 小时	54.2	79.6	59.2

注意。在上述表格中，所有模型均已运行至少两次，结果相近。训练相对稳定。RPN 指的是 Faster R-CNN。PASCAL VOC 的标注已转换为 COCO 格式，并使用 COCO API 进行评估。结果与官方 VOC 评估不同。如果您想在出版物中比较 VOC 结果，请使用官方 VOC 代码进行评估。

要求

1. 需要 NVIDIA GPU 和 cuDNN 以获得高速运行。目前，已测试过 CUDA 8.0 配合 cuDNN 6.0.20。其他版本应该也能工作。

2. 运行检测/评估演示需要 Caffe MATLAB 包装器。

安装

1. 克隆 Cascade-RCNN 仓库，我们将您克隆到的目录称为 CASCADE_ROOT

   git clone https://github.com/zhaoweicai/cascade-rcnn.git
   

2. 构建 Cascade-RCNN

   cd $CASCADE_ROOT/
   # 遵循此处 Caffe 安装说明：
   #   http://caffe.berkeleyvision.org/installation.html
   
   # 如果您熟悉 Caffe 并已安装所有依赖项
   # 且您的 Makefile.config 已就位，则只需执行：
   make all -j 16
   
   # 如果您想运行 Cascade-RCNN 检测/评估演示，也需构建 MATLAB 包装器
   make matcaffe
   

数据集

如果您已经有 COCO/VOC 副本但组织方式不像下面那样，您可以简单地创建符号链接（Symlinks）以拥有相同的目录结构。

MS-COCO

在所有 MS-COCO 实验中，我们使用 train2017 进行训练，使用 val2017（又名 minival）进行验证。请遵循 MS-COCO 网站 下载图像/标注，并设置 COCO API。

假设您的本地 COCO 数据集副本位于 /your/path/to/coco，请确保它具有以下目录结构：

coco
|_ images
  |_ train2017
  |  |_ <im-1-name>.jpg
  |  |_ ...
  |  |_ <im-N-name>.jpg
  |_ val2017
  |_ ...
|_ annotations
   |_ instances_train2017.json
   |_ instances_val2017.json
   |_ ...
|_ MatlabAPI

PASCAL VOC

在所有 PASCAL VOC 实验中，我们使用 VOC2007+VOC2012 的 trainval（训练验证集）进行训练，并使用 VOC2007 的 test（测试集）进行验证。请遵循 PASCAL VOC 官网 下载图像和标注文件，并设置 VOCdevkit。

假设您本地的 VOCdevkit 副本位于 /your/path/to/VOCdevkit，请确保它具有以下目录结构：

VOCdevkit
|_ VOC2007
  |_ JPEGImages
  |  |_ <000001>.jpg
  |  |_ ...
  |  |_ <009963>.jpg
  |_ Annotations
  |  |_ <000001>.xml
  |  |_ ...
  |  |_ <009963>.xml
  |_ ...
|_ VOC2012
  |_ JPEGImages
  |  |_ <2007_000027>.jpg
  |  |_ ...
  |  |_ <2012_004331>.jpg
  |_ Annotations
  |  |_ <2007_000027>.xml
  |  |_ ...
  |  |_ <2012_004331>.xml
  |_ ...
|_ VOCcode

训练 Cascade-RCNN

1. 获取训练数据

   cd $CASCADE_ROOT/data/
   sh get_coco_data.sh
   

   这将下载实验所需的窗口文件。您也可以使用 $CASCADE_ROOT/data/coco/ 下提供的 MATLAB 脚本 coco_window_file.m 来生成您自己的窗口文件。

2. 下载在 ImageNet 上预训练的模型。对于 AlexNet 和 VGG-Net，全连接层 (FC layers) 被剪枝，且每个全连接层保留 2048 个单元。此外，这两个全连接层被复制三次用于 Cascade R-CNN 训练。对于 ResNet，BatchNorm（批归一化）层被合并到 Scale（缩放）层中，并在训练期间冻结，这是常见的做法。

   cd $CASCADE_ROOT/models/
   sh fetch_vggnet.sh
   

3. 提供了多个 shell 脚本来训练不同基线检测器的 Cascade-RCNN，如我们在论文中所描述的那样。在每个模型文件夹下，您需要将 train.prototxt 和 test.prototxt 中数据层的 root_folder 更改为您的 COCO 路径。之后，您就可以开始训练自己的 Cascade-RCNN 模型了。以 vgg-12s-600-rpn-cascade 为例。

   cd $CASCADE_ROOT/examples/coco/vgg-12s-600-rpn-cascade/
   sh train_detection.sh
   

   训练过程中会生成日志文件。总训练时间取决于模型的复杂度和数据集的大小。如果您想快速检查训练是否正常工作，可以尝试在 VOC 数据集上使用轻量级 AlexNet 模型。

注意。偶尔，Res101-FPN（特征金字塔网络）-Cascade 的训练可能会超出内存限制。只需从最新的 solverstate（求解器状态）恢复训练即可。

预训练模型

我们仅提供针对 COCO 数据集的 Res50-FPN-baseline、Res50-FPN-Cascade 和 Res101-FPN-Cascade 模型，以及针对 VOC 数据集的 Res101-RFCN-Cascade 模型。

下载预训练模型

cd $CASCADE_ROOT/examples/coco/
sh fetch_cascadercnn_models.sh

预训练模型产生的结果与我们的论文中描述的完全一致。

测试/评估演示

一旦您拥有预训练或自行训练的模型，您可以使用 MATLAB 脚本 run_cascadercnn_coco.m 来获取检测和评估结果。在演示脚本中设置正确的数据集路径并选择您感兴趣的模型进行测试。默认设置是针对预训练模型的。最终的检测结果将保存在 $CASCADE_ROOT/examples/coco/detections/ 下，评估结果将保存在模型文件夹下。

您也可以在每个模型文件夹下运行 shell 脚本 test_coco_detection.sh 进行评估，但这与官方评估不完全相同。为了发表用途，请使用 MATLAB 脚本。

免责声明

1. 当我们重新实现 FPN（特征金字塔网络）框架和 roi_align（ROI 对齐）层时，我们仅参考了它们发表的论文。因此，我们的实现细节可能与官方的 Detectron 有所不同。

如果您在使用我们的代码或模型时遇到任何问题，请告诉我。

Cascade R-CNN 快速上手指南

Cascade R-CNN 是一个基于 Caffe 的高精度目标检测框架，通过多阶段级联结构有效减少误检。本指南介绍如何快速搭建环境并运行训练与测试。

环境准备

本项目基于 Caffe 开发，需满足以下软硬件要求：

• 硬件：NVIDIA GPU（建议多卡以加速训练）。
• 系统依赖：CUDA 8.0 + cuDNN 6.0.20（其他版本通常也可用）。
• 软件框架：已编译好的 Caffe 深度学习工具箱。
• 可选组件：若需运行检测评估 Demo，需安装 Caffe MATLAB Wrapper。

安装步骤

1. 克隆仓库

   git clone https://github.com/zhaoweicai/cascade-rcnn.git
   

   将克隆目录记为 $CASCADE_ROOT。

2. 构建项目 确保 Caffe 已正确配置并编译。进入项目目录执行：

   cd $CASCADE_ROOT/
   make all -j 16
   

   如需运行 MATLAB 评估脚本，请额外执行：

   make matcaffe
   

基本使用

1. 数据集准备

下载 MS-COCO 或 PASCAL VOC 数据集，并建立符号链接以匹配项目要求的目录结构。例如 COCO 数据集需包含 images/train2017, annotations 等文件夹。

2. 模型训练

以在 COCO 上训练 VGG-Cascade 为例：

1. 获取数据文件

   cd $CASCADE_ROOT/data/
   sh get_coco_data.sh
   

2. 下载预训练权重

   cd $CASCADE_ROOT/models/
   sh fetch_vggnet.sh
   

3. 修改路径并启动训练 编辑 examples/coco/vgg-12s-600-rpn-cascade/ 下的 train.prototxt 和 test.prototxt，将 root_folder 指向你的本地数据集路径，然后运行：

   cd $CASCADE_ROOT/examples/coco/vgg-12s-600-rpn-cascade/
   sh train_detection.sh
   

3. 测试与评估

训练完成或使用官方提供的预训练模型后，可通过 MATLAB 脚本进行评估：

cd $CASCADE_ROOT/examples/coco/
# 运行 MATLAB 脚本，设置正确的数据集路径和模型名称
run_cascadercnn_coco.m

检测结果将保存至 $CASCADE_ROOT/examples/coco/detections/，评估结果保存在对应模型文件夹下。

提示：对于 ResNet101-FPN-Cascade 等大模型，训练时可能显存溢出，建议从最近的 solverstate 恢复训练。