Faster R-CNN 的一个简单快速实现

1. 引言

[更新:] 我已将代码进一步简化至 PyTorch 1.5 和 torchvision 0.6，并用 torchvision 自带的 roipool 和 nms 替代了自定义操作。如果您需要旧版本的代码，请检出分支 v1.0。

本项目是基于 chainercv 及其他 项目 的 简化版 Faster R-CNN 实现。我希望它能为想要深入了解 Faster R-CNN 的开发者提供一个入门级代码框架。该项目的目标是：

• 简化代码（简单胜于复杂）
• 使代码更加直观易懂（扁平胜于嵌套）
• 达到与 原始论文 中报告的性能相当（速度很重要，mAP 更重要）

此外，该项目还具有以下特点：

• 可以作为纯 Python 代码运行，无需额外编译。
• 是一个精简的实现，约 2000 行有效代码，附有大量注释和说明。（感谢 chainercv 的优秀文档）
• 实现的 mAP 高于原始实现（0.712 对比 0.699）。
• 训练和测试速度与其他实现相当（在 TITAN XP 上，训练速度为 6 fps，测试速度为 14 fps）。
• 内存占用较低（使用 VGG16 时约为 3GB）。

2. 性能

2.1 mAP

使用 VGG16 在 trainval 数据集上训练，并在 test 数据集上进行测试。

注意：训练过程具有较大的随机性，可能需要一些运气以及更多的训练轮次才能达到最高的 mAP。不过，超越下限应该相对容易。

实现	mAP
原始论文	0.699
使用 Caffe 预训练模型训练	0.700-0.712
使用 torchvision 预训练模型训练	0.685-0.701
由 chainercv 转换而来的模型（报告 mAP 为 0.706）	0.7053

2.2 速度

实现	GPU	推理速度	训练速度
原始论文	K40	5 fps	无数据
本实现[1]	TITAN Xp	14-15 fps	6 fps
pytorch-faster-rcnn	TITAN Xp	15-17fps	6fps

[1]: 请确保正确安装 cupy，并且 GPU 上只运行一个程序。训练速度对 GPU 的状态非常敏感。更多信息请参阅 故障排除。此外，在程序刚开始时速度较慢——需要一定时间来预热。

如果去掉可视化、日志记录、损失平均等步骤，速度还可以更快。

3. 安装依赖

以下是使用 anaconda 从 零开始 创建环境的示例：

# 创建 conda 环境
conda create --name simp python=3.7
conda activate simp
# 安装 PyTorch
conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

# 安装其他依赖
pip install visdom scikit-image tqdm fire ipdb pprint matplotlib torchnet

# 启动 visdom
nohup python -m visdom.server &

如果您不使用 anaconda，则：

• 安装支持 GPU 的 PyTorch（代码仅支持 GPU），请参考 官方网站

• 安装其他依赖：pip install visdom scikit-image tqdm fire ipdb pprint matplotlib torchnet

• 启动 visdom 进行可视化

nohup python -m visdom.server &

4. 演示

从 Google Drive 或 百度网盘（密码：scxn） 下载预训练模型。

更多详细信息请参阅 demo.ipynb。

5. 训练

5.1 准备数据

Pascal VOC2007

1. 下载训练集、验证集、测试集以及 VOCdevkit 数据包

   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
   

2. 将所有这些 tar 文件解压到一个名为 VOCdevkit 的目录中

   tar xvf VOCtrainval_06-Nov-2007.tar
   tar xvf VOCtest_06-Nov-2007.tar
   tar xvf VOCdevkit_08-Jun-2007.tar
   

3. 目录结构应如下所示：

   $VOCdevkit/                           # 开发工具包
   $VOCdevkit/VOCcode/                   # VOC 工具代码
   $VOCdevkit/VOC2007                    # 图像集、标注文件等
   # ... 其他几个目录 ...
   

4. 修改 utils/config.py 中的 voc_data_dir 配置项，或者通过命令行参数传递，例如 --voc-data-dir=/path/to/VOCdevkit/VOC2007/ .

5.2 [可选] 准备 Caffe 预训练的 VGG16

如果您希望使用 Caffe 预训练模型作为初始权重，可以运行以下命令获取从 Caffe 转换而来的 VGG16 权重，这与原始论文中使用的权重相同。

python misc/convert_caffe_pretrain.py

该脚本会下载预训练模型并将其转换为与 torchvision 兼容的格式。如果您在中国且无法下载预训练模型，可以参考 此问题。

然后您可以在 utils/config.py 中通过设置 caffe_pretrain_path 指定 Caffe 预训练模型 vgg16_caffe.pth 的存储路径。默认路径即可。

如果您想使用 torchvision 提供的预训练模型，则可以跳过此步骤。

注意，Caffe 预训练模型的表现略好一些。

注意：Caffe 模型要求输入图像为 BGR 格式且像素值范围为 0–255，而 torchvision 模型则要求 RGB 格式且像素值范围为 0–1。更多细节请参阅 data/dataset.py。

5.3 开始训练

python train.py train --env='fasterrcnn' --plot-every=100

您可以参考 utils/config.py 了解更多参数。

一些关键参数：

• --caffe-pretrain=False：使用 Caffe 或 torchvision 的预训练模型（默认：torchvision）
• --plot-every=n：每 n 个批次可视化预测结果、损失等。
• --env：用于可视化的 visdom 环境
• --voc_data_dir：VOC 数据的存储路径
• --use-drop：在 RoI 头部使用 Dropout，默认为 False
• --use-Adam：使用 Adam 优化器代替 SGD，默认为 SGD。（使用 Adam 时需设置非常低的学习率）
• --load-path：预训练模型的路径，默认为 None，若指定则会加载该模型。

您可以通过浏览器访问 http://<ip>:8097，查看如下所示的训练过程可视化效果：

故障排除

• dataloader: received 0 items of ancdata

  参见讨论，这个问题已经在train.py中修复。所以我认为你已经可以避免这个问题了。

• Windows 支持

  我没有配备 GPU 的 Windows 机器来进行调试和测试。如果有人能够提交 Pull Request 并进行测试，将不胜感激。

致谢

本工作基于许多优秀的工作，其中包括：

• 主要是 Yusuke Niitani 的 ChainerCV
• Ruotian Luo 的 pytorch-faster-rcnn，该实现基于 Xinlei Chen 的 tf-faster-rcnn
• Jianwei Yang 和 Jiasen Lu 的 faster-rcnn.pytorch。它主要参考了 longcw 的 faster_rcnn_pytorch
• 上述所有仓库都直接或间接地参考了 Ross Girshick 和 Sean Bell 的 py-faster-rcnn。

^_^

采用 MIT 许可证，详情请参阅 LICENSE 文件。

欢迎贡献。

如果您遇到任何问题，请随时提交 issue，不过我最近比较忙。

如有任何错误或不清楚之处，请指正。

模型结构

simple-faster-rcnn-pytorch 快速上手指南

1. 环境准备

本项目基于 PyTorch 实现，仅支持 GPU 运行。推荐配置如下：

• 操作系统: Linux (Windows 支持未经充分测试)
• Python: 3.7+
• 深度学习框架: PyTorch 1.5+, torchvision 0.6+
• CUDA: 建议 CUDA 10.2 (需与 PyTorch 版本匹配)
• 其他依赖: visdom, scikit-image, tqdm, fire, ipdb, pprint, matplotlib, torchnet

2. 安装步骤

2.1 创建虚拟环境并安装依赖

推荐使用 Anaconda 创建独立环境。以下命令将自动从官方源安装 PyTorch 及相关组件：

# 创建名为 simp 的 conda 环境，指定 Python 3.7
conda create --name simp python=3.7
conda activate simp

# 安装 PyTorch, torchvision 和 cudatoolkit (根据实际显卡驱动调整 cudatoolkit 版本)
conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

# 安装其他 Python 依赖
pip install visdom scikit-image tqdm fire ipdb pprint matplotlib torchnet

提示：若在国内下载速度较慢，可尝试使用清华或中科大镜像源安装 pip 包： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple visdom scikit-image tqdm fire ipdb pprint matplotlib torchnet

2.2 启动可视化服务

本项目使用 visdom 进行训练过程可视化，需在后台启动服务：

nohup python -m visdom.server &

3. 基本使用

3.1 准备数据集 (Pascal VOC2007)

1. 下载数据：

   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
   

2. 解压文件： 将所有压缩包解压到同一个目录（例如 VOCdevkit），确保目录结构包含 VOC2007 文件夹。

3. 配置路径： 修改 utils/config.py 中的 voc_data_dir 参数，或在运行命令时通过 --voc-data-dir 指定路径。 示例：/path/to/VOCdevkit/VOC2007/

3.2 (可选) 准备预训练权重

为了复现原论文性能，建议使用 Caffe 预训练的 VGG16 权重。运行以下脚本自动下载并转换格式：

python misc/convert_caffe_pretrain.py

注：若无法下载，可跳过此步直接使用 torchvision 自带权重，但 mAP 可能略低。

3.3 开始训练

执行以下命令启动训练，并通过 visdom 实时监控损失和预测结果：

python train.py train --env='fasterrcnn' --plot-every=100

关键参数说明：

• --env: 设置 visdom 的环境名称，用于区分不同的实验。
• --plot-every: 每训练多少个 batch 可视化一次结果。
• --caffe-pretrain=False: 设置为 True 以使用上述下载的 Caffe 权重，默认为 False (使用 torchvision 权重)。
• --voc-data-dir: 指定数据集路径（若在配置文件中未修改）。

训练开始后，打开浏览器访问 http://<你的 IP>:8097 即可查看可视化面板。

3.4 快速演示 (Demo)

若想直接测试预训练模型效果：

1. 从 Google Drive 或 百度网盘 (提取码: scxn) 下载预训练模型。
2. 参考项目根目录下的 demo.ipynb 笔记本运行推理代码。