TensorFlow 中的 SSD：交通标志检测与分类

概述

在 TensorFlow 中实现了 单次多框检测器 (SSD)，用于检测和分类交通标志。该实现能够在配备 Intel Core i7-6700K 处理器的 GTX 1080 显卡上达到 40–45 帧/秒的运行速度。

请注意，该项目仍在开发中。目前的主要问题是模型过拟合。我正在尝试先在 VOC2012 数据集上进行预训练，然后再将其迁移到交通标志检测任务上。

目前仅检测停止标志和人行横道标志。以下是一些检测示例图像：

该模型是在 LISA 交通标志数据集 上训练的，该数据集包含美国的交通标志。

依赖项

• Python 3.5+
• TensorFlow v0.12.0
• Pickle
• OpenCV-Python
• Matplotlib（可选）

运行方法

将此仓库克隆到某个位置，我们将其称为 $ROOT。

从头开始训练模型：

• 下载 LISA 交通标志数据集，并将其存储在目录 $LISA_DATA 中。
• cd $LISA_DATA
• 按照 LISA 交通标志数据集中的说明创建 mergedAnnotations.csv 文件，确保只包含停止标志和人行横道标志。
• cp $ROOT/data_gathering/create_pickle.py $LISA_DATA
• python create_pickle.py
• cd $ROOT
• ln -s $LISA_DATA/resized_images_* .
• ln -s $LISA_DATA/data_raw_*.p .
• python data_prep.py
  • 此步骤会执行真实框与默认框之间的匹配，并将数据打包成后续流程中使用的格式。
• python train.py
  • 此步骤将训练 SSD 模型。
• python inference.py -m demo
  • 此命令会从 sample_images 目录中读取图像，对其进行标注，并在屏幕上显示结果。
• 若要对自己的图像或视频进行预测，请在 inference.py 中使用 -i 标志（详情请参阅代码）。
  • 请注意，当前模型存在严重的过拟合问题。

与原始 SSD 实现的区别

显然，本实现仅检测特定类型的交通标志，而原始 SSD 实现则可以在 PASCAL VOC 和 MS COCO 数据集中检测更多种类的对象。其他显著差异包括：

• 使用 AlexNet 作为基础网络。
• 输入图像分辨率为 400×260。
• 根据特征图尺寸与原始图像尺寸的比例动态调整缩放因子。

性能

如上所述，该 SSD 实现能够在配备 Intel Core i7 6700K 处理器的 GTX 1080 显卡上达到 40–45 帧/秒的运行速度。

推理时间由神经网络推理时间和非极大值抑制 (NMS) 时间组成。总体而言，神经网络推理时间远小于 NMS 时间，前者通常在 7–8 毫秒之间，而后者则为 15–16 毫秒。此处实现的 NMS 算法尚未优化，且仅在 CPU 上运行，因此未来可以在此方面进一步提升性能。

数据集特征

整个 LISA 交通标志数据集包含 47 种不同的交通标志类别。由于我们只关注其中的一部分类别，因此仅使用了 LISA 数据集的一个子集。此外，我们还忽略了所有无法找到匹配默认框的训练样本，从而进一步缩小了数据集规模。由于这一过程，最终可用于训练的数据量非常有限。

为了改善这一问题，我们可以进行图像数据增强，或者在更大的数据集（例如 VOC2012 或 ILSVRC）上对模型进行预训练。

训练过程

鉴于我们修剪后的数据集规模较小，我选择了 95/5 的训练/验证集划分比例。模型使用 Adadelta 优化器进行训练，参数采用 TensorFlow 的默认设置。训练共进行了 200 个 epoch，批量大小为 32。

改进方向

该项目有多个潜在的改进方向：

• 在 VOC2012 和/或 ILSVRC 数据集上对模型进行预训练。
• 进行图像数据增强。
• 调整超参数。
• 优化 NMS 算法，或使用现有的优化 NMS 算法。
• 实现并报告 mAP 指标。
• 尝试不同的基础网络。
• 扩展到更多种类的交通标志。

SSD TensorFlow 交通标志检测快速上手指南

本项目是基于 TensorFlow 实现的单次多框检测器（SSD），专门用于检测和分类交通标志（目前支持停车标志和人行横道标志）。在 GTX 1080 + i7-6700K 环境下，推理速度可达 40-45 FPS。

注意：本项目仍处于开发阶段，当前模型存在过拟合问题，建议仅作为学习参考或在此基础上进行迁移学习优化。

环境准备

系统要求

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python: 3.5 或更高版本

前置依赖

请确保已安装以下 Python 库：

• tensorflow (推荐版本 v0.12.0，新版可能需要修改代码适配)
• pickle (通常内置)
• opencv-python
• matplotlib (可选，用于可视化)

安装命令：

pip install tensorflow==0.12.0 opencv-python matplotlib

(注：由于 TF 0.12 版本较老，若遇到兼容性问题，建议在新环境中尝试或使用 Docker 容器)

安装与数据准备步骤

1. 克隆项目

将仓库克隆到本地，假设根目录为 $ROOT：

git clone <repository_url>
cd <repository_name>
export ROOT=$(pwd)

2. 下载并处理数据集

本项目使用 LISA Traffic Sign Dataset。 (国内用户若下载缓慢，可尝试寻找国内镜像或学术资源站)

假设数据集下载并解压至 $LISA_DATA 目录：

# 进入数据集目录
cd $LISA_DATA

# 按照 LISA 数据集官方说明，生成 'mergedAnnotations.csv'
# 确保只保留 "stop signs" 和 "pedestrian crossing signs" 两类标签

# 复制数据处理脚本
cp $ROOT/data_gathering/create_pickle.py $LISA_DATA

# 生成 pickle 格式数据
python create_pickle.py

# 返回项目根目录
cd $ROOT

# 创建软链接，将处理后的图像和数据链接到项目目录
ln -s $LISA_DATA/resized_images_* .
ln -s $LISA_DATA/data_raw_*.p .

# 执行数据预处理（进行真值框与默认框的匹配）
python data_prep.py

3. 训练模型

运行训练脚本（从头开始训练）：

python train.py

• 训练配置：默认使用 Adadelta 优化器，Batch Size 为 32，训练 200 个 epoch。
• 数据划分：训练集/验证集比例为 95/5。

基本使用

运行演示推理

使用项目自带的示例图片进行测试并显示结果：

python inference.py -m demo

该命令会读取 sample_images 中的图片，进行标注并在屏幕上显示。

自定义图片/视频推理

对自己的图片或视频进行检测，使用 -i 参数指定输入路径：

# 检测单张图片或文件夹
python inference.py -i /path/to/your/image_or_folder

# 检测视频文件
python inference.py -i /path/to/your/video.mp4

(具体参数细节请参阅 inference.py 源码)

---

性能提示：当前版本的非极大值抑制（NMS）算法仅在 CPU 上运行且未优化，占据了大部分推理时间（约 15-16ms），神经网络前向传播仅需 7-8ms。如需提升速度，可尝试优化 NMS 部分。