tf-faster-rcnn 已弃用：

对于具有多 GPU 支持的 Faster/Mask RCNN 的良好且更现代的实现，请参阅 TensorPack 中的示例 这里。

tf-faster-rcnn

由 Xinlei Chen (xinleic@cs.cmu.edu) 实现的基于 TensorFlow 的 Faster RCNN 检测框架。该仓库基于可用的 Python Caffe 版本的 Faster RCNN 实现 这里。

注意：在重新实现该框架时，进行了一些小的修改，这些修改可能带来性能提升。有关这些修改及消融分析的详细信息，请参阅技术报告 带有区域采样研究的 Faster RCNN 实现。如果您希望复现原始论文中的结果，请使用 官方代码 或者可能是 半官方代码。有关 Faster RCNN 架构的详细信息，请参阅论文 Faster R-CNN：通过区域提议网络实现实时目标检测。

检测性能

当前代码支持 VGG16、Resnet V1 和 Mobilenet V1 模型。我们主要在普通的 VGG16 和 Resnet101（感谢 @philokey！）架构上进行了测试。作为基准，我们报告的是在单个卷积层上使用单个模型的结果，因此未采用多尺度、多阶段边界框回归、跳跃连接或额外输入。唯一的数据增强技术是在训练过程中按照原始 Faster RCNN 的方式使用左右翻转。所有模型均已发布。

使用 VGG16（conv5_3）：

• 在 VOC 2007 trainval 上训练并在 VOC 2007 test 上测试，70.8。
• 在 VOC 2007+2012 trainval 上训练并在 VOC 2007 test 上测试（R-FCN 时间表），75.7。
• 在 COCO 2014 trainval35k 上训练并在 minival 上测试（迭代次数：90万/119万），30.2。

使用 Resnet101（最后一个 conv4）：

• 在 VOC 2007 trainval 上训练并在 VOC 2007 test 上测试，75.7。
• 在 VOC 2007+2012 trainval 上训练并在 VOC 2007 test 上测试（R-FCN 时间表），79.8。
• 在 COCO 2014 trainval35k 上训练并在 minival 上测试（90万/119万），35.4。

更多结果：

• 在 COCO 2014 trainval35k 上训练 Mobilenet（1.0，224）并在 minival 上测试（90万/119万），21.8。
• 在 COCO 2014 trainval35k 上训练 Resnet50 并在 minival 上测试（90万/119万），32.4。
• 在 COCO 2014 trainval35k 上训练 Resnet152 并在 minival 上测试（90万/119万），36.1。

近似的 基准 设置 来自 FPN（该仓库目前尚不包含 FPN 的训练代码）：

• 在 COCO 2014 trainval35k 上训练 Resnet50 并在 minival 上测试（90万/119万），34.2。
• 在 COCO 2014 trainval35k 上训练 Resnet101 并在 minival 上测试（90万/119万），37.4。
• 在 COCO 2014 trainval35k 上训练 Resnet152 并在 minival 上测试（90万/119万），38.2。

注意：

• 由于在使用 TensorFlow 进行 GPU 训练时存在随机性，尤其是在 VOC 数据集上，此处报告的是经过 2-3 次尝试后得到的最佳数值。根据我的经验，对于 COCO 数据集，尽管存在随机性，但几乎总是可以得到非常接近的结果（误差在 ~0.2% 以内）。
• 这些数值是使用 默认 测试方案获得的，该方案使用非极大值抑制（TEST.MODE nms）来选择区域建议；而另一种测试方案（TEST.MODE top）可能会带来略好的性能（参见 报告，对于 COCO 数据集，它可以将 AP 提升 0.X）。
• 由于我们保留了较小的建议区域（宽度/高度小于 16 像素），因此我们在小目标检测方面的表现尤为出色。
• 我们没有为检测结果设定阈值（而是使用 0.05），这提高了召回率。
• 权重衰减设置为 1e-4。
• 其他一些小的修改，请参阅 报告。值得注意的是，我们使用了 crop_and_resize，并且在训练过程中将真实框排除在 RoI 之外。
• 对于 COCO 数据集，我们发现随着迭代次数的增加，性能会有所提升，如果进一步增加迭代次数，性能还有可能更好。
• 对于 Resnets，在微调网络时，我们固定了第一个模块（共 4 个），并仅使用 crop_and_resize 来调整 RoI 大小（7x7），而不进行最大池化操作（我认为这对于 COCO 数据集尤其没有必要）。最终的特征图会进行平均池化以用于分类和回归。所有批归一化参数均被固定。偏置的学习率并未加倍。
• 对于 Mobilenets，在微调网络时，我们固定了前五层。所有批归一化参数均被固定。Mobilenet 层的权重衰减设置为 4e-5。
• 对于近似的 FPN 基准设置，我们只需将图像大小调整为 800 像素，添加 32^2 个锚点，并在测试时选取 1000 个建议区域。
• 请访问 这里 / 这里 / 这里 查看最新的模型，包括更长时间训练的 COCO VGG16 模型和 Resnet 模型。

TensorBoard 上显示的真实标签	TensorBoard 上显示的预测结果

附加功能

为了使研究工作更加便捷，我们添加了报告中未提及的额外功能：

• 训练与验证支持。在训练过程中，会定期对验证数据进行测试，以监控训练进程并检查是否存在过拟合现象。理想情况下，训练和验证应分开进行，每次加载模型后在验证集上进行测试。然而，为了节省时间和显存，我采用了联合的方式实现这一功能。尽管在默认设置中使用测试数据作为验证集，但并未刻意针对测试集进行过拟合。
• 断点续训支持。我在保存快照时尽可能多地存储信息，以便能够从最近的快照正确恢复训练。元信息包括当前图像索引、图像排列顺序以及 numpy 的随机状态。不过，当您恢复训练时，TensorFlow 的随机种子会被重置（目前尚不清楚如何保存 TensorFlow 的随机状态），因此可能会导致结果差异。请注意，即使设置了随机种子，当前实现仍无法完全保证模型的行为具有确定性。欢迎提出建议或解决方案，我们将不胜感激。
• 可视化支持。当前实现会在训练过程中汇总真实框、损失统计、激活值和变量等信息，并将其转储到一个单独的文件夹中，供 TensorBoard 可视化使用。同时还会保存计算图以方便调试。

前置条件

• 需要安装基础的 TensorFlow。代码遵循 r1.2 格式。如果您使用的是 r1.0，请切换到 r1.0 分支以修复 slim Resnet 模块的问题。如果使用更早的版本（r0.1–r0.12），请切换到 r0.12 分支。虽然不是必需的，但若要尝试原始的 RoI pooling（需要修改 TensorFlow 的 C++ 代码），可以查看我的 TensorFlow fork，寻找 tf.image.roi_pooling。
• 您可能尚未安装的 Python 包：cython、opencv-python、easydict（类似于 py-faster-rcnn）。对于 easydict，请确保使用正确的版本，我使用的是 1.6。
• 对于 Docker 用户：自最近更新以来，Docker Hub 上的镜像（https://hub.docker.com/r/mbuckler/tf-faster-rcnn-deps/）已不再有效。不过，您仍然可以通过 docker 文件夹中的 Dockerfile 构建自己的镜像（CUDA 8 版本，因为 TensorFlow r1.0 需要此版本）。同时，请按照 TensorFlow 官方文档安装并使用 nvidia-docker[https://github.com/NVIDIA/nvidia-docker]。最后，在启动容器后，您还需要在运行中的容器内构建 Cython 模块。

安装

1. 克隆仓库

git clone https://github.com/endernewton/tf-faster-rcnn.git

2. 更新 setup 脚本中的 -arch 参数以匹配您的 GPU

cd tf-faster-rcnn/lib
# 如有必要，更改 GPU 架构 (-arch)
vim setup.py

GPU 型号	架构
TitanX (Maxwell/Pascal)	sm_52
GTX 960M	sm_50
GTX 1080 (Ti)	sm_61
Grid K520 (AWS g2.2xlarge)	sm_30
Tesla K80 (AWS p2.xlarge)	sm_37

注意：如果您已在其他 GPU 上成功运行代码，欢迎贡献相应的配置信息。另外，即使您仅使用 CPU 版本的 TensorFlow，代码中默认也会调用基于 GPU 的 NMS 实现，因此请将 USE_GPU_NMS 设置为 False，以获得正确的输出结果。

3. 构建 Cython 模块

make clean
make
cd ..

4. 安装 Python COCO API。代码需要该 API 来访问 COCO 数据集。

cd data
git clone https://github.com/pdollar/coco.git
cd coco/PythonAPI
make
cd ../../..

数据准备

请参照 py-faster-rcnn 的说明此处来设置 VOC 和 COCO 数据集（COCO 数据的部分已经完成）。步骤包括下载数据以及可选地在 data 文件夹中创建软链接。由于 Faster R-CNN 不依赖于预计算的候选框，因此可以忽略那些用于设置候选框的步骤。

如果您觉得有用，我这边生成的 data/cache 文件夹也在此共享这里。

使用预训练模型进行演示与测试

1. 下载预训练模型

# Resnet101 for voc 在 07+12 数据集上预训练
./data/scripts/fetch_faster_rcnn_models.sh

注意：如果您无法通过链接下载模型，或者想尝试更多模型，可以参考以下方案，并可选择更新下载脚本：

• 另一台服务器这里。
• Google Drive这里。

2. 创建文件夹并建立软链接以使用预训练模型

NET=res101
TRAIN_IMDB=voc_2007_trainval+voc_2012_trainval
mkdir -p output/${NET}/${TRAIN_IMDB}
cd output/${NET}/${TRAIN_IMDB}
ln -s ../../../data/voc_2007_trainval+voc_2012_trainval ./default
cd ../../..

3. 自定义图片测试演示

# 在仓库根目录下
GPU_ID=0
CUDA_VISIBLE_DEVICES=${GPU_ID} ./tools/demo.py

注意：Resnet101 的测试可能需要数 GB 的显存，因此如果遇到显存不足的问题，请仅使用 CPU 支持的版本运行。详情请参阅 Issue 25。

4. 使用预训练的 Resnet101 模型进行测试

GPU_ID=0
./experiments/scripts/test_faster_rcnn.sh $GPU_ID pascal_voc_0712 res101

注意：如果您未能得到报告中的指标（我这边是 79.8），则可能是 NMS 函数编译不当所致，请参阅 Issue 5。

训练你自己的模型

1. 下载预训练模型和权重。当前代码支持 VGG16 和 Resnet V1 模型。预训练模型由 slim 提供，你可以从 这里 获取，并将其放置在 data/imagenet_weights 文件夹中。例如，对于 VGG16 模型，可以按如下步骤设置：

   mkdir -p data/imagenet_weights
   cd data/imagenet_weights
   wget -v http://download.tensorflow.org/models/vgg_16_2016_08_28.tar.gz
   tar -xzvf vgg_16_2016_08_28.tar.gz
   mv vgg_16.ckpt vgg16.ckpt
   cd ../..
   

   对于 Resnet101，可以按如下步骤设置：

   mkdir -p data/imagenet_weights
   cd data/imagenet_weights
   wget -v http://download.tensorflow.org/models/resnet_v1_101_2016_08_28.tar.gz
   tar -xzvf resnet_v1_101_2016_08_28.tar.gz
   mv resnet_v1_101.ckpt res101.ckpt
   cd ../..
   

2. 训练（以及测试、评估）

./experiments/scripts/train_faster_rcnn.sh [GPU_ID] [DATASET] [NET]
# GPU_ID 是你要使用的 GPU 编号
# NET 可取 {vgg16, res50, res101, res152}，表示要使用的网络架构
# DATASET 可取 {pascal_voc, pascal_voc_0712, coco}，定义在 train_faster_rcnn.sh 中
# 示例：
./experiments/scripts/train_faster_rcnn.sh 0 pascal_voc vgg16
./experiments/scripts/train_faster_rcnn.sh 1 coco res101

注意：请务必在训练前删除指向预训练模型的软链接。如果在训练过程中遇到 NaN 值，请参考 Issue 86。此外，若需多 GPU 支持，请查看 Issue 121。

3. 使用 TensorBoard 进行可视化

tensorboard --logdir=tensorboard/vgg16/voc_2007_trainval/ --port=7001 &
tensorboard --logdir=tensorboard/vgg16/coco_2014_train+coco_2014_valminusminival/ --port=7002 &

4. 测试与评估

./experiments/scripts/test_faster_rcnn.sh [GPU_ID] [DATASET] [NET]
# GPU_ID 是你要使用的 GPU 编号
# NET 可取 {vgg16, res50, res101, res152}，表示要使用的网络架构
# DATASET 可取 {pascal_voc, pascal_voc_0712, coco}，定义在 test_faster_rcnn.sh 中
# 示例：
./experiments/scripts/test_faster_rcnn.sh 0 pascal_voc vgg16
./experiments/scripts/test_faster_rcnn.sh 1 coco res101

5. 你可以使用 tools/reval.sh 进行重新评估。

默认情况下，训练好的模型会保存在以下路径：

output/[NET]/[DATASET]/default/

测试输出会保存在以下路径：

output/[NET]/[DATASET]/default/[SNAPSHOT]/

TensorBoard 的训练和验证信息会保存在以下路径：

tensorboard/[NET]/[DATASET]/default/
tensorboard/[NET]/[DATASET]/default_val/

默认的训练迭代次数与原始 Faster R-CNN 在 VOC 2007 上的设置相同，但我发现延长训练时间更有益处（参见 COCO 数据集的相关报告 arXiv:1702.02138），这可能是因为图像批处理大小为 1。对于 VOC 07+12 数据集，我们采用了 8 万/11 万次迭代的调度策略，遵循 R-FCN 的做法。另外请注意，由于当前实现的非确定性，性能可能会略有波动，但通常应在 VOC 数据集报告数值的 ±1% 范围内，COCO 数据集则在 ±0.2% 范围内。欢迎提出建议或贡献。

引用

如果你觉得本实现或我们在报告中的分析有所帮助，请考虑引用以下内容：

@article{chen17implementation,
    Author = {Xinlei Chen and Abhinav Gupta},
    Title = {一种基于区域采样的 Faster R-CNN 实现},
    Journal = {arXiv 预印本 arXiv:1702.02138},
    Year = {2017}
}

或者针对正式论文《空间记忆网络》arXiv:1704.04224：

@article{chen2017spatial,
  title={用于目标检测上下文推理的空间记忆},
  author={Chen, Xinlei and Gupta, Abhinav},
  journal={arXiv 预印本 arXiv:1704.04224},
  year={2017}
}

为了方便起见，以下是 Faster R-CNN 的引用：

@inproceedings{renNIPS15fasterrcnn,
    Author = {Shaoqing Ren and Kaiming He and Ross Girshick and Jian Sun},
    Title = {Faster {R-CNN}: 基于区域提议网络实现实时目标检测},
    Booktitle = {神经信息处理系统进展会议 ({NIPS})},
    Year = {2015}
}

tf-faster-rcnn 快速上手指南

重要提示：本项目（tf-faster-rcnn）已停止维护（Deprecated）。如需使用支持多 GPU 且更新版本的 Faster/Mask RCNN 实现，推荐参考 TensorPack 示例。以下指南仅适用于需要复现特定历史结果或研究旧版实现的场景。

环境准备

系统要求

• TensorFlow: 代码基于 r1.2 版本编写。
  • 若使用 r1.0，请切换至 r1.0 分支。
  • 若使用 r0.1-r0.12，请切换至 r0.12 分支。
• GPU: 默认使用 GPU 进行 NMS 计算。若仅使用 CPU TensorFlow，需在配置中设置 USE_GPU_NMS False。
• Python 依赖:
  • cython
  • opencv-python
  • easydict (建议使用版本 1.6)

Docker 用户注意

Docker Hub 上的旧镜像已失效。如需使用 Docker，请利用项目 docker 文件夹下的 Dockerfile 自行构建（基于 CUDA 8），并确保安装了 nvidia-docker。容器启动后需重新编译 Cython 模块。

安装步骤

1. 克隆仓库

git clone https://github.com/endernewton/tf-faster-rcnn.git
cd tf-faster-rcnn

2. 配置 GPU 架构

编辑 lib/setup.py，根据显卡型号修改 -arch 参数：

GPU 型号	Architecture 参数
TitanX (Maxwell/Pascal)	sm_52
GTX 960M	sm_50
GTX 1080 (Ti)	sm_61
Tesla K80 (AWS p2.xlarge)	sm_37

cd lib
vim setup.py
# 修改对应的 -arch 值

3. 编译 Cython 模块

make clean
make
cd ..

4. 安装 COCO API

项目依赖 Python COCO API 来访问数据集：

cd data
git clone https://github.com/pdollar/coco.git
cd coco/PythonAPI
make
cd ../../..

5. 数据集准备

参考 py-faster-rcnn 官方说明 下载并配置 VOC 或 COCO 数据集。

• 将数据放置在 data 目录下。
• 无需配置预计算的 proposals（Faster RCNN 不依赖此项）。
• 可选：如需加速，可下载作者分享的缓存文件 cache.tgz。

基本使用

1. 下载预训练模型

运行脚本下载 ResNet101 在 VOC 07+12 上预训练的模型：

./data/scripts/fetch_faster_rcnn_models.sh

注：若下载失败，可尝试从 Google Drive 手动下载并放置到对应目录。

2. 创建模型链接

设置环境变量并建立软链接以指向预训练模型：

NET=res101
TRAIN_IMDB=voc_2007_trainval+voc_2012_trainval
mkdir -p output/${NET}/${TRAIN_IMDB}
cd output/${NET}/${TRAIN_IMDB}
ln -s ../../../data/voc_2007_trainval+voc_2012_trainval ./default
cd ../../..

3. 运行演示 (Demo)

对自定义图片进行检测测试：

GPU_ID=0
CUDA_VISIBLE_DEVICES=${GPU_ID} ./tools/demo.py

注意：ResNet101 测试可能占用数 GB 显存。若遇到显存不足，请尝试仅安装 CPU 版本 TensorFlow 运行。

4. 运行测试脚本

使用预训练的 ResNet101 模型在 VOC 数据集上进行评估：

GPU_ID=0
./experiments/scripts/test_faster_rcnn.sh $GPU_ID pascal_voc_0712 res101

5. 训练自己的模型

确保已下载 Slim 提供的 VGG16 或 ResNet V1 主干网络预训练权重，然后运行训练脚本（具体命令参考 experiments/scripts/train_faster_rcnn.sh）。