SSD：Keras中的单次多框检测器实现

---

目录

1. 概述
2. 性能
3. 示例
4. 依赖项
5. 使用方法
6. 下载卷积化的VGG-16权重
7. 下载原始训练好的模型权重
8. 如何在自己的数据集上微调其中一个训练好的模型
9. 待办事项
10. 重要说明
11. 术语

概述

这是Wei Liu等人在论文SSD：单次多框检测器中提出的SSD模型架构的Keras移植版本。

以下提供了所有原始模型的训练权重的移植版本。该实现是准确的，也就是说，无论是移植后的权重还是从头训练的模型，其mAP值都与原始Caffe实现的相应模型完全一致（详见下文的性能部分）。

本项目的首要目标是为那些希望对模型进行底层理解的人提供一个文档详尽的SSD实现。所提供的教程、文档和详细注释，希望能使深入研究代码以及基于此模型进行改编或扩展，比大多数其他实现（无论是否基于Keras）更容易一些——因为那些实现往往几乎没有任何文档和注释。

目前该仓库提供了以下几种网络架构：

• SSD300：keras_ssd300.py
• SSD512：keras_ssd512.py
• SSD7：keras_ssd7.py——这是一个较小的7层版本，即使在中端GPU上也能相对快速地从头训练，同时对于较简单的目标检测任务和测试也足够胜任。当然，用它不可能获得最先进的结果，但它的速度很快。

如果您想使用提供的其中一个训练好的模型进行迁移学习（即在自己的数据集上微调其中一个训练好的模型），有一个Jupyter笔记本教程，可以帮助您对训练好的权重进行子采样，使其与您的数据集兼容，详情见下文。

如果您想使用自己的基础网络架构构建SSD，可以将keras_ssd7.py作为模板，其中提供了文档和注释以帮助您。

性能

以下是移植权重的mAP评估结果，下方则是使用本实现从头训练的模型的评估结果。所有模型均使用官方Pascal VOC测试服务器（针对2012年的test）或官方Pascal VOC Matlab评估脚本（针对2007年的test）进行评估。在所有情况下，结果都与原始Caffe模型一致（或略胜一筹）。所有移植权重的下载链接见下文。

	平均精度均值
评估对象	VOC2007 test		VOC2012 test
训练时 IoU规则	07+12 0.5	07+12+COCO 0.5	07++12+COCO 0.5
SSD300	77.5	81.2	79.4
SSD512	79.8	83.2	82.3

在Pascal VOC 2007 trainval和2012 trainval上从头训练SSD300直至收敛，在Pascal VOC 2007 test上的mAP与原始Caffe SSD300“07+12”模型相同。您可以在这里找到训练总结这里。

	平均精度均值
	原始Caffe模型	移植权重	从头训练
SSD300 “07+12”	0.772	0.775	0.771

这些模型在NVIDIA GeForce GTX 1070移动版（即笔记本电脑版本）和cuDNN v6环境下，在Pascal VOC上的平均每秒帧数（FPS）如下。这里需要注意两点。首先，原始Caffe实现的基准预测速度是在TitanX GPU和cuDNN v4环境下测得的。其次，论文中提到他们是在批量大小为8的情况下测量预测速度，我认为这种测量方式并不具有实际意义。衡量检测模型速度的真正目的，是了解模型每秒能够处理多少张单独的连续图像，因此如果只以整批图像为单位来测量预测速度，再推算出每张图像所花费的时间，就违背了这一初衷。为了便于比较，下面列出了原始Caffe SSD实现的预测速度，以及本实现在此相同条件下的预测速度，即批量大小为8时的情况。此外，还列出了本实现批量大小为1时的预测速度，我认为这才是更有意义的数值。

	每秒帧数
	原始Caffe实现	本实现
批量大小	8	8	1
SSD300	46	49	39
SSD512	19	25	20
SSD7		216	127

示例

以下是经过完整训练的原始 SSD300 “07+12” 模型的一些预测示例（即在 Pascal VOC2007 的 trainval 数据集和 VOC2012 的 trainval 数据集上进行训练）。这些预测是在 Pascal VOC2007 的 test 数据集上生成的。

以下是一些 SSD7（即小型的 7 层版本）的预测示例，该模型部分地在由 Udacity 发布的两个道路交通数据集上进行了训练，这两个数据集共计约 2 万张图像，包含 5 类目标（更多信息请参见 ssd7_training.ipynb）。下面展示的预测是在以批量大小 32 进行 1 万次训练后生成的。诚然，汽车是比较容易检测的目标，我挑选了其中几个较好的例子，但即便如此，这样一个小型模型仅经过 1 万次训练迭代就能取得这样的效果，仍然令人印象深刻。

依赖项

• Python 3.x
• Numpy
• TensorFlow 1.x
• Keras 2.x
• OpenCV
• Beautiful Soup 4.x

目前尚不支持 Theano 和 CNTK 后端。

Python 2 兼容性：本实现似乎可以在 Python 2.7 上运行，但我并不提供任何相关支持。如今已是 2018 年，已经没有人应该再使用 Python 2 了。

如何使用

本仓库提供了 Jupyter Notebook 教程，用于讲解模型的训练、推理与评估；后续章节中也包含大量补充说明，以配合这些笔记本。

如何使用已训练好的模型进行推理：

• ssd300_inference.ipynb
• ssd512_inference.ipynb

如何训练模型：

• ssd300_training.ipynb
• ssd7_training.ipynb

如何将提供的已训练模型之一用于在您自己的数据集上进行迁移学习：

• 请参阅下文（#如何在您自己的数据集上微调已训练模型之一）

如何评估已训练好的模型：

• 一般情况：ssd300_evaluation.ipynb
• 在 MS COCO 数据集上：ssd300_evaluation_COCO.ipynb

如何使用数据生成器：

• 此处使用的数据生成器拥有独立的仓库，并附有详细教程 此处

训练细节

通用的训练设置已在 ssd7_training.ipynb 和 ssd300_training.ipynb 中进行了阐述与说明。两份笔记本中的设置与解释在大部分情况下相似，因此无论查看哪一份都能理解通用的训练设置；不过，[ssd300_training.ipynb](ssd300_training.ipynb) 中的参数预设为复制原始 Caffe 实现用于在 Pascal VOC 上训练的设置，而 ssd7_training.ipynb 中的参数则预设为在 Udacity 交通数据集 上进行训练。

要对原始 SSD300 模型在 Pascal VOC 上进行训练：

1. 下载数据集：

   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   

2. 下载卷积化 VGG-16 的权重，或下载下方提供的其中一个已训练的原始模型的权重。
3. 在 ssd300_training.ipynb 中相应地设置数据集与模型权重的文件路径，并执行各单元格。

当然，SSD512 的训练流程也完全相同。如果尝试从零开始训练 SSD300 或 SSD512，务必加载预训练的 VGG-16 权重，否则训练很可能会失败。以下是 SSD300 “07+12” 模型完整训练的总结，供您与自己的训练结果对比参考：

• SSD300 Pascal VOC “07+12” 训练总结

箱体的编码与解码

ssd_encoder_decoder 子包包含了所有与箱体编码和解码相关的函数与类。所谓“编码箱体”，是指将真实标签转换为损失函数在训练时所需的输出格式。正是在这个编码过程中，会发生真实框与锚框的匹配——论文中称其为“默认框”，而在原始 C++ 代码中则称为“先验框”——其实指的都是同一回事。所谓“解码箱体”，则是将模型的原始输出转换回输入标签的格式，这涉及多种转换与过滤操作，例如非极大值抑制（NMS）。

为了训练模型，您需要创建一个 SSDInputEncoder 的实例，并将其传递给数据生成器。其余工作由数据生成器完成，因此通常无需手动调用 SSDInputEncoder 的任何方法。

模型可以以“训练”或“推理”模式创建。在“训练”模式下，模型会输出原始预测张量，该张量仍需经过坐标转换、置信度阈值筛选、非极大值抑制等后处理。decode_detections() 和 decode_detections_fast() 这两个函数负责完成这些后处理。前者遵循原始 Caffe 实现，即按对象类别分别执行 NMS；后者则在整个对象类别范围内全局执行 NMS，因此效率更高，但行为也略有不同。有关这两个函数的详细信息，请参阅文档。如果模型以“推理”模式创建，则其最后一层为 DecodeDetections 层，该层会在 TensorFlow 中完成 decode_detections() 所做的全部后处理，这意味着模型的输出已经是经过后处理的结果。因此，若要使模型可训练，必须以“训练”模式创建；随后，可将已训练的权重加载到以“推理”模式创建的模型中。

关于模型内部使用的锚框偏移坐标的一点说明：这可能并不显而易见，但重要的是要明白，模型无法直接预测所预测边界框的绝对坐标。若要能够预测绝对框坐标，负责定位的卷积层就必须针对同一目标实例，在输入图像的不同位置产生不同的输出值。然而，这显然是不可能的：对于卷积层滤波器的某一特定输入，由于权重共享，无论滤波器在图像中的空间位置如何，都会产生相同的输出。这就是为什么模型预测的是锚框的偏移值，而非绝对坐标；同时，这也是为什么在训练过程中，绝对的真实坐标会在编码阶段被转换为锚框偏移值。而模型之所以预测锚框偏移值，反过来又导致模型中包含专门用于输出锚框坐标的锚框层，以便模型的输出张量能够包含这些信息。如果模型的输出张量不包含锚框坐标，那么将预测的偏移值转换回绝对坐标的必要信息就会缺失于模型输出之中。

使用不同的基础网络架构

如果您希望构建不同的基础网络架构，可以将 keras_ssd7.py 作为模板。该文件提供了文档与注释，帮助您将其改造成不同的基础网络。根据您的需求搭建好基础网络，并在每个您希望进行预测的网络层之上添加一个预测头。为每个预测头创建两个子预测分支：一个用于定位，另一个用于分类。为每个预测头都创建一个锚框层，并将相应定位头的输出作为锚框层的输入。所有张量重塑与拼接操作的结构保持不变，您只需确保包含所有的预测层与锚框层即可。

下载卷积化的 VGG-16 权重

为了从零开始训练 SSD300 或 SSD512，您可以在此处下载在 ImageNet 分类任务上训练至收敛的全卷积化 VGG-16 模型的权重：

VGG_ILSVRC_16_layers_fc_reduced.h5。

与下方所有其他权重文件一样，此文件是原始 Caffe 实现仓库中提供的相应 .caffemodel 文件的直接移植版本。

下载原始训练好的模型权重

以下是所有原始训练模型的移植权重。文件名与其对应的 .caffemodel 文件相对应。星号和脚注参考了 原始 Caffe 实现 的 README 中的相关说明。

1. PASCAL VOC 模型：

   • 07+12：SSD300*，SSD512*
   • 07++12：SSD300*，SSD512*
   • COCO[1]：SSD300*，SSD512*
   • 07+12+COCO：SSD300*，SSD512*
   • 07++12+COCO：SSD300*，SSD512*

2. COCO 模型：

   • trainval35k：SSD300*，SSD512*

3. ILSVRC 模型：

   • trainval1：SSD300*，SSD500

如何在自己的数据集上微调其中一个训练好的模型

如果您想在自己的数据集上微调其中一个提供的训练好的模型，那么您的数据集很可能与该训练模型所使用的类别数量不同。以下教程将解释如何解决这个问题：

weight_sampling_tutorial.ipynb

待办事项

以下事项按优先级排序，列在待办事项清单上。欢迎贡献，但请先阅读 贡献指南。

1. 为基于其他基础网络（如 MobileNet、InceptionResNetV2 或 DenseNet）的 SSD 添加模型定义和训练好的权重。
2. 添加对 Theano 和 CNTK 后端的支持。这需要将自定义层和损失函数从 TensorFlow 移植到抽象的 Keras 后端。

目前正在开发的内容：

• 一种新的 Focal Loss 损失函数。

重要说明

• 所有在 MS COCO 上训练的模型均使用所有 Jupyter 笔记本中提供的较小锚框缩放因子。特别是，“07+12+COCO”和“07++12+COCO”模型使用的是较小的缩放因子。

术语

• “锚框”：论文中称其为“默认框”，在原始 C++ 代码中称为“先验框”或“先验”，而 Faster R-CNN 论文中则称之为“锚框”。这些术语指的都是同一事物，但我更倾向于使用“锚框”这一名称，因为它最能准确描述这一概念。在 keras_ssd300.py 和 keras_ssd512.py 中，我仍沿用“先验框”或“先验”的称呼，以保持与原始 Caffe 实现的一致性；但在其他地方，我一律使用“锚框”或“锚点”这一名称。
• “标签”：就本项目而言，数据集由“图像”和“标签”组成。属于某张图像标注的所有内容都称为该图像的“标签”：不仅包括目标类别标签，还包括边界框坐标。“标签”只是“标注”的简称。此外，在整个文档中，我也基本可以互换使用“标签”和“目标”这两个术语，尽管在训练语境下，“目标”特指标签。
• “预测层”：所谓“预测层”或“预测器”，是指网络中的所有最后一层卷积层，即所有不向后续卷积层提供输入的卷积层。

ssd_keras 快速上手指南

环境准备

系统要求

• 操作系统：支持 Linux、macOS 或 Windows（推荐使用 Linux）
• Python 版本：3.x（不支持 Python 2）

前置依赖

安装以下依赖库：

pip install numpy tensorflow==1.x keras opencv-python beautifulsoup4

注意：TensorFlow 1.x 与 Keras 2.x 需要兼容版本。如果遇到版本冲突，建议使用 tensorflow==1.15 和 keras==2.2.4。

---

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/your-repo/ssd_keras.git
   cd ssd_keras
   

2. 下载预训练模型权重（可选）：

   • 卷积化 VGG-16 权重
   • 原始训练模型权重

3. 准备数据集（如 Pascal VOC）并设置路径（详见 ssd300_training.ipynb 中的说明）。

---

基本使用

示例一：使用预训练模型进行推理

1. 打开 Jupyter Notebook：

   jupyter notebook
   

2. 进入以下文件：

   • 使用 SSD300 模型：ssd300_inference.ipynb
   • 使用 SSD512 模型：ssd512_inference.ipynb

3. 在 Notebook 中加载预训练模型权重，并运行推理代码。

示例二：从零开始训练模型（以 SSD300 为例）

1. 下载 Pascal VOC 数据集：

   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   

2. 解压并设置数据路径（在 ssd300_training.ipynb 中配置）。

3. 加载预训练的 VGG-16 权重（或原始模型权重）。

4. 运行 ssd300_training.ipynb 中的训练流程。

---

国内加速方案（可选）

如需加速下载依赖包或数据集，可以使用国内镜像源：

• pip 安装依赖时使用清华源：

  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy tensorflow==1.x keras opencv-python beautifulsoup4
  

• 下载 Pascal VOC 数据集时，可尝试使用国内镜像站点（如阿里云、清华大学开源镜像站等）。

---

小结

• 该项目提供了多种 SSD 模型实现（SSD300、SSD512、SSD7），适用于不同场景。
• 推荐使用 Jupyter Notebook 进行快速实验和调试。
• 若需自定义模型结构，可参考 keras_ssd7.py 模板进行扩展。