用于准确且快速目标检测的感受野块网络

作者：刘松涛、黄迪、王云洪

更新（2021年7月23日）：YOLOX已发布这里！，这是一款更强大的YOLO版本，支持ONNX、TensorRT、ncnn和OpenVino！！

更新：我们提出了一种新方法，在COCO数据集上以45 FPS的速度达到42.4 mAP，代码可在这里获取。

引言

受人类视觉系统中感受野（RFs）结构的启发，我们提出了一种新颖的RFB模块，该模块考虑了感受野大小与偏心率之间的关系，从而增强特征的判别能力和鲁棒性。我们进一步将RFB模块与轻量级CNN模型结合，构建在SSD之上，形成了RFB Net目标检测器。您可以使用提供的代码来训练或评估RFB Net进行目标检测。更多详细信息，请参阅我们的ECCV论文。

   

VOC2007测试

系统	mAP	FPS（Titan X Maxwell）
Faster R-CNN (VGG16)	73.2	7
YOLOv2 (Darknet-19)	78.6	40
R-FCN (ResNet-101)	80.5	9
SSD300* (VGG16)	77.2	46
SSD512* (VGG16)	79.8	19
RFBNet300 (VGG16)	80.7	83
RFBNet512 (VGG16)	82.2	38

COCO

系统	test-dev mAP	时间（Titan X Maxwell）
Faster R-CNN++ (ResNet-101)	34.9	3.36秒
YOLOv2 (Darknet-19)	21.6	25毫秒
SSD300* (VGG16)	25.1	22毫秒
SSD512* (VGG16)	28.8	53毫秒
RetinaNet500 (ResNet-101-FPN)	34.4	90毫秒
RFBNet300 (VGG16)	30.3	15毫秒
RFBNet512 (VGG16)	33.8	30毫秒
RFBNet512-E (VGG16)	34.4	33毫秒

MobileNet

系统	COCO minival mAP	#参数
SSD MobileNet	19.3	6.8M
RFB MobileNet	20.7	7.4M

引用RFB Net

如果我们的工作对您的研究有所帮助，请在您的出版物中引用我们的论文：

@InProceedings{Liu_2018_ECCV,
author = {Liu, Songtao and Huang, Di and Wang, andYunhong},
title = {Receptive Field Block Net for Accurate and Fast Object Detection},
booktitle = {The European Conference on Computer Vision (ECCV)},
month = {September},
year = {2018}
}

目录

1. 安装
2. 数据集
3. 训练
4. 评估
5. 模型

安装

• 按照网站上的说明选择适合您环境的PyTorch-0.4.0版本，并运行相应的命令进行安装。
• 克隆本仓库。本仓库主要基于ssd.pytorch和Chainer-ssd，在此向他们表示感谢。
  • 注意：我们目前仅支持PyTorch-0.4.0和Python 3及以上版本。
• 编译nms和coco工具：

./make.sh

注意: 请检查utils/build.py第131行中的GPU架构支持情况。默认设置为：

'nvcc': ['-arch=sm_52',

• 然后按照下面的说明下载数据集，并安装opencv。

conda install opencv

注意：对于训练，我们目前支持VOC和COCO数据集。

数据集

为了方便起见，我们提供了一个简单的VOC和COCO数据集加载器，它继承自torch.utils.data.Dataset，因此与torchvision.datasets的API完全兼容。

VOC数据集

下载VOC2007 trainval & test

# 指定数据集下载的目录，否则默认为~/data/
sh data/scripts/VOC2007.sh # <directory>

下载VOC2012 trainval

# 指定数据集下载的目录，否则默认为~/data/
sh data/scripts/VOC2012.sh # <directory>

COCO数据集

从官方网站将MS COCO数据集安装到/path/to/coco，默认为~/data/COCO。按照说明准备minival2014和valminusminival2014标注文件。所有标签文件（.json）应位于COCO/annotations/文件夹下。其基本结构应如下所示：

$COCO/
$COCO/cache/
$COCO/annotations/
$COCO/images/
$COCO/images/test2015/
$COCO/images/train2014/
$COCO/images/val2014/

更新: 目前COCO数据集发布了新的train2017和val2017数据集，它们只是同一组图像的新划分。

训练

• 首先下载fc-reduced VGG-16 PyTorch基础网络权重，地址为： https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth 或从我们的BaiduYun Driver下载。

• MobileNet预训练的基础网络移植自MobileNet-Caffe，其准确率略高于原论文中报告的准确率，权重文件可在以下链接获取： https://drive.google.com/open?id=13aZSApybBDjzfGIdqN1INBlPsddxCK14 或 BaiduYun Driver。

• 默认情况下，我们假设您已将文件下载到RFBNet/weights目录中：

mkdir weights
cd weights
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth

• 要使用训练脚本训练RFBNet，只需在train_RFB.py中列出的参数中指定标志，或手动更改它们。

python train_RFB.py -d VOC -v RFB_vgg -s 300 

• 注意：
  • -d：选择数据集，VOC或COCO。
  • -v：选择骨干网络版本，RFB_VGG、RFB_E_VGG或RFB_mobile。
  • -s：图像尺寸，300或512。
  • 您可以通过指定路径作为训练参数之一，从检查点继续训练（再次参阅train_RFB.py了解选项）。
  • 如果您想复现论文中的结果，VOC模型应训练约240个epoch，而COCO版本则需要130个epoch。

评估

要评估已训练的网络：

python test_RFB.py -d VOC -v RFB_vgg -s 300 --trained_model /path/to/model/weights

默认情况下，它会直接输出在VOC2007 test 或 COCO minival2014 上的mAP结果。对于VOC2012 test 和 COCO test-dev 的结果，您可以手动修改 test_RFB.py 文件中的数据集配置，然后保存检测结果并提交到服务器。

模型

• 07+12 RFB_Net300, 百度网盘链接
• COCO RFB_Net300
• COCO RFB_Net512_E, 百度网盘链接
• COCO RFB_Mobile Net300, 百度网盘链接

RFBNet 快速上手指南

RFBNet (Receptive Field Block Net) 是一种受人类视觉系统感受野结构启发的高效目标检测网络。它在保持轻量级的同时，显著提升了特征的判别力和鲁棒性，在速度和精度上均优于传统的 SSD 和 YOLOv2 模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐)
• Python 版本: Python 3+
• 深度学习框架: PyTorch 0.4.0 (注意：本项目基于旧版 PyTorch 开发，高版本可能需要修改代码适配)
• 硬件要求: NVIDIA GPU (支持 CUDA)，编译时需确认 GPU 架构支持。
• 依赖库: OpenCV

安装前置依赖：

# 推荐使用 conda 安装 opencv
conda install opencv

# 安装 PyTorch 0.4.0 (请访问 pytorch.org 获取对应您环境的安装命令，以下为示例)
# pip install torch==0.4.0 torchvision

2. 安装步骤

2.1 克隆项目

git clone https://github.com/ruinmessi/RFBNet.git
cd RFBNet

2.2 编译工具

编译 NMS (非极大值抑制) 和 COCO 评估工具。

./make.sh

注意：如果您的 GPU 架构较新或较旧，请检查 utils/build.py 第 131 行，修改 nvcc 的 -arch 参数以匹配您的显卡（默认是 sm_52）。

2.3 下载预训练权重

下载 VGG-16 基础网络权重并放入 weights 目录。国内用户推荐使用百度网盘链接加速下载。

mkdir weights
cd weights

# 方式一：直接下载 (国际源)
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth

# 方式二：百度网盘 (国内推荐，需手动下载后放入 weights 目录)
# 链接: https://pan.baidu.com/s/1jIP86jW 
# 文件名: vgg16_reducedfc.pth

(可选) 如果使用 MobileNet 版本，请下载对应的预训练权重：

• Google Drive: 下载链接
• 百度网盘: 下载链接

2.4 准备数据集

项目支持 VOC 和 COCO 数据集。以 VOC 为例，使用提供的脚本自动下载：

# 下载 VOC2007 trainval 和 test 集 (默认保存到 ~/data/)
sh data/scripts/VOC2007.sh

# 下载 VOC2012 trainval 集
sh data/scripts/VOC2012.sh

注：COCO 数据集需手动从官网下载并按指定目录结构存放 ($COCO/images/, $COCO/annotations/ 等)。

3. 基本使用

3.1 训练模型

使用 train_RFB.py 脚本进行训练。以下命令演示如何在 VOC 数据集上训练输入尺寸为 300x300 的 RFB-VGG 模型：

python train_RFB.py -d VOC -v RFB_vgg -s 300

参数说明：

• -d: 数据集选择 (VOC 或 COCO)
• -v: 骨干网络版本 (RFB_vgg, RFB_E_vgg, 或 RFB_mobile)
• -s: 输入图像尺寸 (300 或 512)

复现提示：若要复现论文结果，VOC 模型建议训练约 240 个 epoch，COCO 模型建议训练约 130 个 epoch。

3.2 评估模型

训练完成后，使用 test_RFB.py 评估模型性能（输出 mAP）：

python test_RFB.py -d VOC -v RFB_vgg -s 300 --trained_model /path/to/your/model_weights.pth

• 将 /path/to/your/model_weights.pth 替换为您训练好的权重文件路径。
• 默认会在 VOC2007 test 集或 COCO minival2014 集上输出结果。如需提交到官方测试服务器，请修改 test_RFB.py 中的数据集配置并保存检测结果。

3.3 使用预训练模型 (可选)

您可以直接下载作者提供的预训练模型进行测试：

• VOC (07+12) RFB_Net300: 百度网盘
• COCO RFB_Net512_E: 百度网盘