用于目标检测的单次精炼神经网络

作者：张士峰、温龙银、边晓、雷震、李斯坦。

简介

我们提出了一种新颖的基于单次检测器的方法，称为RefineDet，它在准确率上优于两阶段方法，同时保持与单阶段方法相当的效率。您可以使用该代码来训练/评估RefineDet目标检测方法。更多详细信息，请参阅我们的论文。

系统	VOC2007 测试 mAP	FPS (Titan X)	检测框数量	输入分辨率
Faster R-CNN (VGG16)	73.2	7	~6000	~1000 x 600
YOLO (GoogLeNet)	63.4	45	98	448 x 448
YOLOv2 (Darknet-19)	78.6	40	1445	544 x 544
SSD300* (VGG16)	77.2	46	8732	300 x 300
SSD512* (VGG16)	79.8	19	24564	512 x 512
RefineDet320 (VGG16)	80.0	40	6375	320 x 320
RefineDet512 (VGG16)	81.8	24	16320	512 x 512

注意：RefineDet300+ 和 RefineDet512+ 是使用多尺度测试策略进行评估的。多尺度测试的代码也已在此仓库中发布。

引用 RefineDet

如果我们的工作对您的研究有所帮助，请在您的出版物中引用我们的论文：

@inproceedings{zhang2018single,
  title = {Single-Shot Refinement Neural Network for Object Detection},
  author = {Zhang, Shifeng and Wen, Longyin and Bian, Xiao and Lei, Zhen and Li, Stan Z.},
  booktitle = {CVPR},
  year = {2018}
}

目录

1. 安装
2. 准备
3. 训练
4. 评估
5. 模型

安装

1. 获取代码。我们将克隆后的目录称为 $RefineDet_ROOT。

git clone https://github.com/sfzhang15/RefineDet.git

2. 编译代码。请按照 Caffe 安装说明 安装所有必要的软件包并完成编译。

cd $RefineDet_ROOT
# 根据您的 Caffe 安装情况修改 Makefile.config。
# 确保将 $RefineDet_ROOT/python 添加到您的 PYTHONPATH 中。
cp Makefile.config.example Makefile.config
make all -j && make py

准备

1. 下载 全卷积缩减版（空洞）VGGNet。默认情况下，我们认为该模型存储在 $RefineDet_ROOT/models/VGGNet/。

2. 下载 ResNet-101。默认情况下，我们认为该模型存储在 $RefineDet_ROOT/models/ResNet/。

3. 按照 data/VOC0712/README.md 下载 VOC2007 和 VOC2012 数据集，并为 VOC2007 的训练和测试创建 LMDB 文件。

4. 按照 data/VOC0712Plus/README.md 下载 VOC2007 和 VOC2012 数据集，并为 VOC2012 的训练和测试创建 LMDB 文件。

5. 按照 data/coco/README.md 下载 MS COCO 数据集，并为 COCO 的训练和测试创建 LMDB 文件。

训练

1. 在 PASCAL VOC 上训练您的模型。

# 这将创建模型定义文件，并将快照模型保存在：
#   - $RefineDet_ROOT/models/VGGNet/VOC0712{Plus}/refinedet_vgg16_{size}x{size}/
# 同时生成作业文件、日志文件以及 Python 脚本，存放于：
#   - $RefineDet_ROOT/jobs/VGGNet/VOC0712{Plus}/refinedet_vgg16_{size}x{size}/
python examples/refinedet/VGG16_VOC2007_320.py
python examples/refinedet/VGG16_VOC2007_512.py
python examples/refinedet/VGG16_VOC2012_320.py
python examples/refinedet/VGG16_VOC2012_512.py

2. 在 COCO 上训练您的模型。

# 这将创建模型定义文件，并将快照模型保存在：
#   - $RefineDet_ROOT/models/{Network}/coco/refinedet_{network}_{size}x{size}/
# 同时生成作业文件、日志文件以及 Python 脚本，存放于：
#   - $RefineDet_ROOT/jobs/{Network}/coco/refinedet_{network}_{size}x{size}/
python examples/refinedet/VGG16_COCO_320.py
python examples/refinedet/VGG16_COCO_512.py
python examples/refinedet/ResNet101_COCO_320.py
python examples/refinedet/ResNet101_COCO_512.py

3. 从 COCO 微调至 VOC（基于 VGG16）。

# 这将从预训练的 COCO 模型中提取出 VOC 模型。
ipython notebook convert_model_320.ipynb
ipython notebook convert_model_512.ipynb
# 这将创建模型定义文件，并将快照模型保存在：
#   - $RefineDet_ROOT/models/VGGNet/VOC0712{Plus}/refinedet_vgg16_{size}x{size}_ft/
# 同时生成作业文件、日志文件以及 Python 脚本，存放于：
#   - $RefineDet_ROOT/jobs/VGGNet/VOC0712{Plus}/refinedet_vgg16_{size}x{size}_ft/
python examples/refinedet/finetune_VGG16_VOC2007_320.py
python examples/refinedet/finetune_VGG16_VOC2007_512.py
python examples/refinedet/finetune_VGG16_VOC2012_320.py
python examples/refinedet/finetune_VGG16_VOC2012_512.py

评估

1. 构建 Cython 模块。

cd $RefineDet_ROOT/test/lib
make -j

2. 将 test/lib/datasets/pascal_voc.py 中的 self._devkit_path 修改为您的路径。

3. 将 test/lib/datasets/coco.py 中的 self._data_path 修改为您的路径。

4. 查看 test/refinedet_demo.py，了解如何使用 RefineDet 模型进行目标检测以及如何绘制检测结果。

# 对于 GPU 用户
python test/refinedet_demo.py
# 对于 CPU 用户
python test/refinedet_demo.py --gpu_id -1

5. 通过 test/refinedet_test.py 评估训练好的模型。

# 您可以修改 refinedet_test.py 中的参数以进行不同类型的评估：
#  - single_scale: True 表示单尺度测试，False 表示多尺度测试。
#  - test_set: 'voc_2007_test', 'voc_2012_test', 'coco_2014_minival', 'coco_2015_test-dev'。
#  - voc_path: 训练好的 VOC Caffe 模型所在路径。
#  - coco_path: 训练好的 COCO Caffe 模型所在路径。
# 对于 'voc_2007_test' 和 'coco_2014_minival'，将直接输出 mAP 结果。
# 对于 'voc_2012_test' 和 'coco_2015_test-dev'，会保存检测结果，您需要将其提交到评估服务器以获取 mAP 结果。
python test/refinedet_test.py

模型

我们提供了从不同数据集训练得到的模型。为了帮助复现 表 1、表 2、表 4 中的结果，大多数模型都包含一个预训练的 .caffemodel 文件、多个 .prototxt 文件以及 Python 脚本。

1. PASCAL VOC 模型（VGG-16）：

   • 07+12：RefineDet320，RefineDet512
   • 07++12：RefineDet320，RefineDet512
   • COCO：RefineDet320，RefineDet512
   • 07+12+COCO：RefineDet320，RefineDet512
   • 07++12+COCO：RefineDet320，RefineDet512

2. COCO 模型：

   • trainval35k（VGG-16）：RefineDet320，RefineDet512
   • trainval35k（ResNet101）：RefineDet320，RefineDet512

注意：如果您无法通过上述链接下载预训练模型，可以通过 百度网盘 下载。

RefineDet 快速上手指南

RefineDet 是一种新型的单阶段目标检测器，兼具两阶段方法的高精度和单阶段方法的高效性。本指南将帮助开发者快速完成环境搭建、模型训练与评估。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 14.04/16.04)
• 深度学习框架: Caffe (必须支持 Python 接口)
• 依赖库:
  • Python 2.7 或 3.x
  • CUDA & cuDNN (用于 GPU 加速)
  • Cython, NumPy, Matplotlib
  • LevelDB, LMDB, OpenCV
• 硬件: 建议配备 NVIDIA GPU (如 Titan X)，显存越大越有利于训练大分辨率模型。

注意：本项目基于 Caffe 框架开发，请务必先按照 Caffe 官方安装指南 完成 Caffe 及其所有依赖的安装。

2. 安装步骤

2.1 获取代码

克隆仓库到本地，我们将该目录称为 $RefineDet_ROOT。

git clone https://github.com/sfzhang15/RefineDet.git
cd RefineDet

国内加速：如果 GitHub 克隆速度慢，可使用 Gitee 镜像（如有）或配置代理。

2.2 编译代码

进入项目根目录，配置并编译 Caffe 代码。

# 复制配置文件示例
cp Makefile.config.example Makefile.config

# 【重要】编辑 Makefile.config
# 1. 根据您的 Caffe 安装路径修改 INCLUDE_DIRS 和 LIBRARY_DIRS
# 2. 确保开启 Python 层支持 (WITH_PYTHON_LAYER := 1)
# 3. 将 $RefineDet_ROOT/python 添加到您的 PYTHONPATH 环境变量中
export PYTHONPATH=$RefineDet_ROOT/python:$PYTHONPATH

# 编译所有模块及 Python 接口
make all -j && make py

2.3 准备预训练模型与数据

您需要下载骨干网络预训练模型和数据集。

1. 下载骨干网络模型：

   • VGGNet (FCN reduced) -> 存放至 $RefineDet_ROOT/models/VGGNet/
   • ResNet-101 -> 存放至 $RefineDet_ROOT/models/ResNet/

   国内加速：上述模型通常可在百度网盘找到备份，或在国内 AI 社区（如 PaddlePaddle Model Zoo、ModelScope 等）搜索对应权重的 Caffe 版本。

2. 准备数据集： 按照 data/ 目录下各子文件夹的 README.md 指示，下载 VOC2007/2012 或 MS COCO 数据集，并转换为 LMDB 格式。

   • VOC 数据集说明：data/VOC0712/README.md
   • COCO 数据集说明：data/coco/README.md

3. 基本使用

3.1 训练模型

以在 PASCAL VOC 数据集上训练 VGG16 backbone 的 RefineDet320 模型为例：

# 运行训练脚本
# 该脚本会自动生成模型定义文件，并将快照保存在 models/ 目录，日志保存在 jobs/ 目录
python examples/refinedet/VGG16_VOC2007_320.py

若需在 COCO 数据集上训练（例如 ResNet101 backbone）：

python examples/refinedet/ResNet101_COCO_320.py

3.2 模型评估与演示

在进行评估前，需先编译测试所需的 Cython 模块：

cd $RefineDet_ROOT/test/lib
make -j
cd $RefineDet_ROOT

运行演示 (Detection Demo)

使用预训练模型对图片进行目标检测并可视化结果：

# GPU 用户
python test/refinedet_demo.py

# CPU 用户
python test/refinedet_demo.py --gpu_id -1

提示：使用前请检查 test/refinedet_demo.py 中的模型路径和图片路径配置。

计算 mAP (Evaluation)

使用测试脚本评估模型性能：

python test/refinedet_test.py

注意：运行前需修改 test/lib/datasets/pascal_voc.py 和 test/lib/datasets/coco.py 中的 _devkit_path 和 _data_path 为您本地的数据集路径。

3.3 使用预训练模型

作者提供了在 VOC 和 COCO 上训练的多种模型（VGG16/ResNet101, 320/512 输入分辨率）。

• 下载地址：参考原文 "Models" 章节提供的 Google Drive 链接。
• 国内下载：如果无法访问 Google Drive，请使用文中提供的百度网盘链接 (提取码通常在原仓库 Issue 或百度盘分享页中)。
• 使用方法：将下载的 .caffemodel 文件放入对应的 models/ 目录，然后直接运行上述评估或演示命令。