DSOD：从头开始学习深度监督目标检测器

更新（2019年2月26日）

我们观察到，如果在训练BN层时，将每张GPU上的批量大小（bs）从4（Titan X）简单地增加到12（P40），我们的DSOD300无需任何其他修改就能获得更好的性能（见下文对比）。我们认为，如果能有更好的方法来调整BN层的参数，例如在有限批量大小下从头训练检测器时使用同步BN [1]或组归一化 [2]，那么精度可能会更高。这一点也与文献[3]一致。

我们还在扩展版论文（v2）[4]中提供了一些初步结果，探讨了从头训练两阶段检测器的影响因素。

PASCAL VOC测试集上的新结果：

方法	VOC 2007测试集 mAP	参数量	模型
DSOD300 (07+12) 每张GPU上bs=4	77.7	14.8M	下载（59.2M）
DSOD300 (07+12) 每张GPU上bs=12	78.9	14.8M	下载（59.2M）

[1] Chao Peng, Tete Xiao, Zeming Li, Yuning Jiang, Xiangyu Zhang, Kai Jia, Gang Yu, and Jian Sun. “Megdet：一种大规模小批量目标检测器。”载于IEEE计算机视觉与模式识别会议论文集，第6181–6189页，2018年。

[2] Yuxin Wu 和 Kaiming He. “组归一化。”载于欧洲计算机视觉会议（ECCV）论文集，第3–19页，2018年。

[3] Kaiming He、Ross Girshick 和 Piotr Dollár. “重新思考ImageNet预训练。”载于IEEE国际计算机视觉会议论文集，第4918–4927页，2019年。

[4] Zhiqiang Shen、Zhuang Liu、Jianguo Li、Yu-Gang Jiang、Yurong Chen 和 Xiangyang Xue. “基于深度监督的从零开始目标检测。”IEEE模式分析与机器智能汇刊（2019年）。

---

本仓库包含以下论文的代码：

DSOD：从头开始学习深度监督目标检测器（ICCV 2017）。

Zhiqiang Shen*, Zhuang Liu*, Jianguo Li、Yu-Gang Jiang、Yurong Chen、Xiangyang Xue。（*同等贡献）

代码基于SSD框架。

其他实现： [Pytorch]由Yun Chen实现，[Pytorch]由uoip实现，[Pytorch]由qqadssp实现，[Pytorch]由Ellinier实现，[Mxnet]由Leo Cheng实现，[Mxnet]由eureka7mt实现，[Tensorflow]由Windaway实现。

如果您觉得这有助于您的研究，请引用：

@inproceedings{Shen2017DSOD,
	title = {DSOD：从头开始学习深度监督目标检测器},
	author = {Shen, Zhiqiang 和 Liu, Zhuang 以及 Li, Jianguo 和 Jiang, Yu-Gang 和 Chen, Yurong 和 Xue, Xiangyang},
	booktitle = {ICCV},
	year = {2017}
}

 @article{shen2018object,
       title={基于深度监督的从零开始目标检测},
       author={Shen, Zhiqiang 和 Liu, Zhuang 以及 Li, Jianguo 和 Jiang, Yu-Gang 和 Chen, Yurong 和 Xue, Xiangyang},
       journal={arXiv预印本 arXiv:1809.09294},
       year={2018}
    }

引言

DSOD专注于从头训练目标检测器的问题（即不使用ImageNet上的预训练模型）。据我们所知，这是首篇以最先进水平从头训练神经网络目标检测器的工作。在这项工作中，我们提出了一套为此目的设计的原则。其中一个关键发现是，通过密集层间连接实现的深度监督结构，在学习良好的检测模型方面起着至关重要的作用。更多细节请参阅我们的论文。

可视化

0. 网络结构可视化（工具来自ethereon，请忽略警告信息）：
   • [DSOD300]（http://ethereon.github.io/netscope/#/gist/b17d01f3131e2a60f9057b5d3eb9e04d）

结果与模型

下表展示了在PASCAL VOC 2007、2012以及MS COCO数据集上的结果。

PASCAL VOC测试结果：

方法	VOC 2007测试集 mAP	帧率（Titan X）	参数量	模型
DSOD300_smallest (07+12)	73.6	-	5.9M	下载（23.5M）
DSOD300_lite (07+12)	76.7	25.8	10.4M	下载（41.8M）
DSOD300 (07+12)	77.7	17.4	14.8M	下载（59.2M）
DSOD300 (07+12+COCO)	81.7	17.4	14.8M	下载（59.2M）

方法	VOC 2012测试集 mAP	帧率	参数量	模型
DSOD300 (07++12)	76.3	17.4	14.8M	下载（59.2M）
DSOD300 (07++12+COCO)	79.3	17.4	14.8M	下载（59.2M）

COCO test-dev 2015结果（COCO的数据类别比VOC多，因此模型规模略大）：

方法	COCO test-dev 2015 mAP（IoU 0.5–0.95）	模型
DSOD300 (COCO trainval)	29.3	下载（87.2M）

准备工作

0. 按照 SSD 的官方文档（https://github.com/weiliu89/caffe/tree/ssd）中的说明安装 SSD，包括：(1) 安装 SSD 版本的 Caffe；(2) 下载 PASCAL VOC 2007 和 2012 数据集；以及 (3) 创建 LMDB 文件。请确保安装完成后能够正常运行且无任何错误。

我们的 PASCAL VOC LMDB 文件：

方法	LMDB 文件
在 VOC07+12 上训练，在 VOC07 上测试	下载
在 VOC07++12 上训练，在 VOC12（Comp4）上测试	下载
在 VOC12 上训练，在 VOC12（Comp3）上测试	下载

1. 在 example/ 目录下创建子文件夹 dsod，并将文件 DSOD300_pascal.py、DSOD300_pascal++.py、DSOD300_coco.py、score_DSOD300_pascal.py 和 DSOD300_detection_demo.py 添加到 example/dsod/ 文件夹中。
2. 在 example/ 目录下创建子文件夹 grp_dsod，并将文件 GRP_DSOD320_pascal.py 和 score_GRP_DSOD320_pascal.py 添加到 example/grp_dsod/ 文件夹中。
3. 将 python/caffe/ 文件夹中的 model_libs.py 文件替换为我们的版本。

训练与测试

• 在 VOC 07+12 数据集上训练 DSOD 模型：

  python examples/dsod/DSOD300_pascal.py
  

• 在 VOC 07++12 数据集上训练 DSOD 模型：

  python examples/dsod/DSOD300_pascal++.py
  

• 在 COCO trainval 数据集上训练 DSOD 模型：

  python examples/dsod/DSOD300_coco.py
  

• 评估 DSOD 模型：

  python examples/dsod/score_DSOD300_pascal.py
  

• 运行 DSOD 模型的演示：

  python examples/dsod/DSOD300_detection_demo.py
  

• 在 VOC 07+12 数据集上训练 GRP_DSOD 模型：

  python examples/grp_dsod/GRP_DSOD320_pascal.py
  

• 评估 GRP_DSOD 模型：

  python examples/dsod/score_GRP_DSOD320_pascal.py
  

注意：您可以修改 model_lib.py 文件，根据自己的需求设计网络结构。

示例

联系方式

沈志强（zhiqiangshen0214 at gmail.com）

刘壮（liuzhuangthu at gmail.com）

欢迎提出任何意见或建议！

DSOD 快速上手指南

DSOD (Learning Deeply Supervised Object Detectors from Scratch) 是一个无需 ImageNet 预训练模型，直接从零开始训练的高性能目标检测框架。本项目基于 Caffe SSD 框架实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 14.04/16.04)
• 核心框架: Caffe (必须集成 SSD 分支)
• 硬件要求: NVIDIA GPU (支持 CUDA)，显存建议 8GB 以上以获得更佳效果（原文指出增大 Batch Size 可显著提升性能）
• 依赖库: Python 2.7/3.x, OpenCV, LMDB, LevelDB, HDF5

注意：DSOD 官方代码基于 weiliu89/caffe 的 SSD 分支。如果您尚未安装，需先完成 Caffe 及 SSD 分支的编译与配置。

安装步骤

1. 安装基础 Caffe-SSD 框架

请严格按照 SSD 官方仓库 的说明进行安装，包括：

1. 编译安装 Caffe-SSD。
2. 下载 PASCAL VOC 2007 和 2012 数据集。
3. 创建 LMDB 数据文件。 确保基础 SSD 示例能正常运行无误后，再进行下一步。

2. 部署 DSOD 代码

将 DSOD 的核心文件复制到您的 Caffe-SSD 目录结构中：

# 假设当前位于 caffe-root 目录
# 创建 dsod 示例文件夹并复制相关文件
mkdir -p examples/dsod
cp DSOD300_pascal.py DSOD300_pascal++.py DSOD300_coco.py score_DSOD300_pascal.py DSOD300_detection_demo.py examples/dsod/

# 创建 grp_dsod 示例文件夹（可选）
mkdir -p examples/grp_dsod
cp GRP_DSOD320_pascal.py score_GRP_DSOD320_pascal.py examples/grp_dsod/

3. 替换核心库文件

这是最关键的一步，必须用 DSOD 提供的版本替换原有的 model_libs.py，以支持深度监督结构：

# 备份原文件（可选）
cp python/caffe/model_libs.py python/caffe/model_libs.py.bak

# 替换为 DSOD 版本
cp model_libs.py python/caffe/

基本使用

以下命令均在 Caffe 根目录下执行。

1. 训练模型

使用 PASCAL VOC 07+12 数据集训练标准的 DSOD300 模型：

python examples/dsod/DSOD300_pascal.py

提示：若使用 VOC 07++12 数据集，请运行 python examples/dsod/DSOD300_pascal++.py。

2. 评估模型

训练完成后，使用测试集评估模型的 mAP：

python examples/dsod/score_DSOD300_pascal.py

3. 运行演示

使用预训练模型或您训练的模型对单张图片进行检测演示：

python examples/dsod/DSOD300_detection_demo.py

4. 自定义网络

如需修改网络结构（如调整 Dense Block 连接方式），可直接编辑 python/caffe/model_libs.py 文件中的相关定义函数。