SSD：TensorFlow 中的 Single Shot MultiBox Detector（单次多框检测器）

SSD 是一个用于目标检测的统一框架，仅需单个网络。它最初在这篇研究 文章 中提出。

本仓库包含原始 Caffe 代码 的 TensorFlow 重新实现。目前，它仅实现了基于 VGG 的 SSD 网络（输入尺寸为 300 和 512），但项目架构是模块化的，应该能够轻松实现和训练其他 SSD 变体（例如基于 ResNet 或 Inception 的）。当前的 TensorFlow 检查点（checkpoints）是直接从 SSD Caffe 模型转换而来的。

本项目的组织结构灵感来自 TF-Slim 模型仓库，其中包含流行架构（ResNet、Inception 和 VGG）的实现。因此，它分为三个主要部分：

• datasets：流行数据集（Pascal VOC, COCO, ...）的接口以及将前者转换为 TF-Records 的脚本；
• networks：SSD 网络的定义，以及通用的编码和解码方法（关于此具体主题请参考论文）；
• pre-processing：预处理和数据增强例程，灵感来自原始的 VGG 和 Inception 实现。

SSD 最小示例

SSD Notebook 包含了 SSD TensorFlow 流程的最小示例。简而言之，检测由两个主要步骤组成：在图像上运行 SSD 网络，以及使用通用算法（top-k 过滤和非极大值抑制（Non-Maximum Suppression）算法）对输出进行后处理。

以下是两个成功检测输出的示例：

要运行 notebook，你首先必须解压 ./checkpoint 中的检查点文件

unzip ssd_300_vgg.ckpt.zip

然后通过以下方式启动 jupyter notebook

jupyter notebook notebooks/ssd_notebook.ipynb

数据集

当前版本仅支持 Pascal VOC 数据集（2007 和 2012）。为了用于训练 SSD 模型，需要使用 tf_convert_data.py 脚本将前者转换为 TF-Records：

DATASET_DIR=./VOC2007/test/
OUTPUT_DIR=./tfrecords
python tf_convert_data.py \
    --dataset_name=pascalvoc \
    --dataset_dir=${DATASET_DIR} \
    --output_name=voc_2007_train \
    --output_dir=${OUTPUT_DIR}

注意，上述命令生成了一组 TF-Records 而不是单个文件，以便于在训练期间进行洗牌（shuffling）。

在 Pascal VOC 2007 上的评估

当前的 SSD 模型 TensorFlow 实现具有以下性能：

模型	训练数据	测试数据	mAP (平均精度均值)	FPS (每秒帧数)
基于 VGG 的 SSD-300	VOC07+12 trainval	VOC07 test	0.778	-
基于 VGG 的 SSD-300	VOC07+12+COCO trainval	VOC07 test	0.817	-
基于 VGG 的 SSD-512	VOC07+12+COCO trainval	VOC07 test	0.837	-

我们正在努力复现与原始 Caffe 实现 相同的性能！

下载并解压之前的检查点后，通过运行以下命令应可复现评估指标：

EVAL_DIR=./logs/
CHECKPOINT_PATH=./checkpoints/VGG_VOC0712_SSD_300x300_ft_iter_120000.ckpt
python eval_ssd_network.py \
    --eval_dir=${EVAL_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2007 \
    --dataset_split_name=test \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --batch_size=1

评估脚本提供召回 - 精度曲线（recall-precision curve）的估计，并按照 Pascal VOC 2007 和 2012 指南计算 mAP 指标。

此外，如果想实验/测试不同的 Caffe SSD 检查点，可以按照以下方式将前者转换为 TensorFlow 检查点：

CAFFE_MODEL=./ckpts/SSD_300x300_ft_VOC0712/VGG_VOC0712_SSD_300x300_ft_iter_120000.caffemodel
python caffe_to_tensorflow.py \
    --model_name=ssd_300_vgg \
    --num_classes=21 \
    --caffemodel_path=${CAFFE_MODEL}

训练

脚本 train_ssd_network.py 负责训练网络。类似于 TF-Slim 模型，可以向训练过程传递许多选项（数据集、优化器、超参数、模型等）。特别是，可以提供一个检查点文件，用作微调网络的起点。

微调现有的 SSD 检查点

微调 SSD 模型最简单的方法是使用预训练的 SSD 网络（VGG-300 或 VGG-512）。例如，可以按照以下方式从前者开始微调模型：

DATASET_DIR=./tfrecords
TRAIN_DIR=./logs/
CHECKPOINT_PATH=./checkpoints/ssd_300_vgg.ckpt
python train_ssd_network.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2012 \
    --dataset_split_name=train \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --save_summaries_secs=60 \
    --save_interval_secs=600 \
    --weight_decay=0.0005 \
    --optimizer=adam \
    --learning_rate=0.001 \
    --batch_size=32

注意，除了训练脚本标志外，可能还想在 ssd_vgg_preprocessing.py 中实验数据增强参数（随机裁剪、分辨率等），或/和在 ssd_vgg_300/512.py 中实验网络参数（特征层、锚框（anchors）等）。

此外，训练脚本可以与评估例程结合，以监控保存的检查点在验证数据集上的性能。为此，可以向训练和验证脚本传递 GPU 内存上限，以便两者可以在同一设备上并行运行。如果评估脚本有一些 GPU 内存可用，则可以按以下方式并行运行：

EVAL_DIR=${TRAIN_DIR}/eval
python eval_ssd_network.py \
    --eval_dir=${EVAL_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2007 \
    --dataset_split_name=test \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${TRAIN_DIR} \
    --wait_for_checkpoints=True \
    --batch_size=1 \
    --max_num_batches=500

Fine-tuning (微调) 在 ImageNet 上训练过的网络

也可以尝试基于标准 architecture (架构)（VGG、ResNet、Inception 等）构建一个新的 SSD 模型 (Single Shot MultiBox Detector)，并在其之上设置 multibox 层（带有特定的 anchors (锚框)、ratios (纵横比) 等）。为此，可以通过仅加载原始架构的 weights (权重) 来 fine-tune (微调) 网络，并随机初始化网络的其余部分。例如，对于 VGG-16 架构，可以按照以下方式训练新模型：

DATASET_DIR=./tfrecords
TRAIN_DIR=./log/
CHECKPOINT_PATH=./checkpoints/vgg_16.ckpt
python train_ssd_network.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2007 \
    --dataset_split_name=train \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --checkpoint_model_scope=vgg_16 \
    --checkpoint_exclude_scopes=ssd_300_vgg/conv6,ssd_300_vgg/conv7,ssd_300_vgg/block8,ssd_300_vgg/block9,ssd_300_vgg/block10,ssd_300_vgg/block11,ssd_300_vgg/block4_box,ssd_300_vgg/block7_box,ssd_300_vgg/block8_box,ssd_300_vgg/block9_box,ssd_300_vgg/block10_box,ssd_300_vgg/block11_box \
    --trainable_scopes=ssd_300_vgg/conv6,ssd_300_vgg/conv7,ssd_300_vgg/block8,ssd_300_vgg/block9,ssd_300_vgg/block10,ssd_300_vgg/block11,ssd_300_vgg/block4_box,ssd_300_vgg/block7_box,ssd_300_vgg/block8_box,ssd_300_vgg/block9_box,ssd_300_vgg/block10_box,ssd_300_vgg/block11_box \
    --save_summaries_secs=60 \
    --save_interval_secs=600 \
    --weight_decay=0.0005 \
    --optimizer=adam \
    --learning_rate=0.001 \
    --learning_rate_decay_factor=0.94 \
    --batch_size=32

因此，在前一个命令中，训练脚本会随机初始化属于 checkpoint_exclude_scopes 的 weights (权重)，并从 checkpoint (检查点) 文件 vgg_16.ckpt 加载网络的其余部分。请注意，我们还通过 trainable_scopes 参数指定首先仅训练新的 SSD 组件，而保持 VGG 网络的其余部分不变。一旦网络 converged (收敛) 到一个较好的初步结果（例如约 0.5 mAP (mean Average Precision)），您可以按照以下方式微调整个网络：

DATASET_DIR=./tfrecords
TRAIN_DIR=./log_finetune/
CHECKPOINT_PATH=./log/model.ckpt-N
python train_ssd_network.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2007 \
    --dataset_split_name=train \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --checkpoint_model_scope=vgg_16 \
    --save_summaries_secs=60 \
    --save_interval_secs=600 \
    --weight_decay=0.0005 \
    --optimizer=adam \
    --learning_rate=0.00001 \
    --learning_rate_decay_factor=0.94 \
    --batch_size=32

许多流行 deep architectures (深度架构) 的 pre-trained weights (预训练权重) 可以在 TF-Slim 模型页面 找到。

SSD-Tensorflow 快速上手指南

SSD-Tensorflow 是 SSD（Single Shot MultiBox Detector）目标检测算法的 TensorFlow 复现版本。本指南基于官方 README 整理，帮助开发者快速搭建环境并运行示例。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需自行配置兼容环境）
• Python：建议 Python 3.5+
• 核心依赖：
  • TensorFlow（建议 1.x 版本，兼容 TF-Slim 架构）
  • Jupyter Notebook
  • NumPy, Pillow 等常用科学计算库

安装步骤

1. 获取代码 克隆本仓库到本地：

   git clone https://github.com/balancap/SSD-Tensorflow.git
   cd SSD-Tensorflow
   

2. 安装依赖 使用 pip 安装必要的 Python 包：

   pip install tensorflow jupyter notebook
   

3. 下载并解压模型检查点 从项目提供的链接下载预训练模型 checkpoint 文件，并将其放置在 ./checkpoint 目录下。解压命令如下：

   unzip ssd_300_vgg.ckpt.zip
   

基本使用

1. 运行最小化示例（推理演示）

项目提供了一个 Jupyter Notebook 用于演示完整的 SSD 检测流程（包括网络运行和后处理）。

启动 Notebook：

jupyter notebook notebooks/ssd_notebook.ipynb

在浏览器中打开后，按顺序执行单元格即可看到检测效果。

2. 数据集准备（训练前必做）

当前版本支持 Pascal VOC 数据集（2007 和 2012）。训练前需将数据转换为 TF-Records 格式。

转换命令示例：

DATASET_DIR=./VOC2007/test/
OUTPUT_DIR=./tfrecords
python tf_convert_data.py \
    --dataset_name=pascalvoc \
    --dataset_dir=${DATASET_DIR} \
    --output_name=voc_2007_train \
    --output_dir=${OUTPUT_DIR}

3. 模型训练与微调

使用 train_ssd_network.py 脚本进行训练。您可以基于预训练的 SSD 检查点进行微调：

DATASET_DIR=./tfrecords
TRAIN_DIR=./logs/
CHECKPOINT_PATH=./checkpoints/ssd_300_vgg.ckpt
python train_ssd_network.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2012 \
    --dataset_split_name=train \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --save_summaries_secs=60 \
    --save_interval_secs=600 \
    --weight_decay=0.0005 \
    --optimizer=adam \
    --learning_rate=0.001 \
    --batch_size=32

4. 模型评估

训练完成后，可使用以下命令在 Pascal VOC 2007 测试集上评估模型性能（mAP）：

EVAL_DIR=./logs/
CHECKPOINT_PATH=./checkpoints/VGG_VOC0712_SSD_300x300_ft_iter_120000.ckpt
python eval_ssd_network.py \
    --eval_dir=${EVAL_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=pascalvoc_2007 \
    --dataset_split_name=test \
    --model_name=ssd_300_vgg \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --batch_size=1