自动驾驶中的车辆检测

目标

车辆检测系统的演示：使用单目摄像头进行车辆检测。

【(1) 高速公路行驶（带车道偏离预警）】(点击观看完整视频) https://youtu.be/Brh9-uab7Qs

【(2) 城市道路行驶（仅车辆检测）】(点击观看完整视频) https://youtu.be/2wOxK86LcaM

---

代码与文件

1. 我的项目包含以下文件

• main.py 是演示的主要代码
• svm_pipeline.py 是基于 SVM 的车辆检测流水线
• yolo_pipeline.py 是基于深度神经网络 YOLO（You Only Look Once）的车辆检测流水线
• visualization.py 是用于添加可视化效果的函数

---

其他文件与【车道偏离预警系统】仓库中的内容相同：https://github.com/JunshengFu/autonomous-driving-lane-departure-warning：

• calibration.py 包含校准相机并保存校准结果的脚本
• lane.py 包含车道类
• examples 文件夹中包含示例图像和视频

2. 依赖项与开发环境

我使用 Anaconda 来管理我的【依赖项】(https://github.com/udacity/CarND-Term1-Starter-Kit)。

• 您可以使用提供的 environment-gpu.yml 来安装依赖项。
• OpenCV3、Python3.5、TensorFlow、CUDA8
• 操作系统：Ubuntu 16.04

3. 如何运行代码

(1) 下载 YOLO 的权重文件

您可以从这里下载权重文件，并将其保存到 weights 文件夹中。

(2) 如果您想运行演示，只需执行：

python main.py

4. 版本历史

• 0.1.1

  • 修复了两个小 bug 并更新了文档
  • 日期：2017年4月18日

• 0.1.0

  • 第一个正式版本
  • 日期：2017年3月31日

---

两种方法：线性 SVM 对比神经网络

1. 线性 SVM 方法

svm_pipeline.py 包含 SVM 流水线的代码。

步骤：

• 对带有标签的训练图像集进行方向梯度直方图（HOG）特征提取，并训练一个线性 SVM 分类器。
• 对图像应用颜色变换，将量化后的颜色特征以及颜色直方图附加到 HOG 特征向量中。
• 归一化特征，并随机划分训练集和测试集。
• 实现滑动窗口技术，使用 SVM 分类器在图像中搜索车辆。
• 在视频流上运行流水线，逐帧生成重复检测的热力图，以剔除异常值并跟踪已检测到的车辆。
• 为检测到的车辆估计边界框。

1.1 从训练图像中提取方向梯度直方图（HOG）

此步骤的代码包含在名为 extract_features 的函数中，位于 svm_pipeline.py 的第 464 至 552 行。 如果 SVM 分类器已经存在，则直接加载它。

否则，我首先读取所有“车辆”和“非车辆”图像，每类约 8000 张。这些数据集由 GTI 车辆图像数据库 和 KITTI 视觉基准套件 提供。以下是“车辆”和“非车辆”类别的各一张示例：

随后，我探索了不同的颜色空间以及 skimage.hog() 的不同参数（方向数、每个单元格的像素数和每个块的单元格数）。我从两类中随机选取了一些图像并显示出来，以便了解 skimage.hog() 输出的样子。

以下是一个使用 RGB 颜色空间，且 HOG 参数为 orientations=9、pixels_per_cell=(8, 8) 和 cells_per_block=(2, 2) 的示例：

为了优化 HOG 提取，我仅对整张图像提取一次 HOG 特征，然后将整个 HOG 图像保存下来以供后续处理。（参见 svm_pipeline.py 第 319 至 321 行）

1.2 最终选定的 HOG 参数、空间特征和颜色直方图

我尝试了多种参数组合，并最终选择了如下组合（参见 svm_pipeline.py 第 16 至 27 行）：

• YCrCb 颜色空间
• orient = 9 # HOG 方向数
• pix_per_cell = 8 # 每个单元格的像素数
• cell_per_block = 2 # 每个块的单元格数，可处理阴影等问题
• hog_channel = "ALL" # 可选 0、1、2 或 "ALL"
• spatial_size = (32, 32) # 空间分箱的尺寸
• hist_bins = 32 # 直方图的箱数
• spatial_feat = True # 是否启用空间特征
• hist_feat = True # 是否启用颜色直方图特征
• hog_feat = True # 是否启用 HOG 特征

所有特征均在 svm_pipeline.py 第 511 至 513 行进行归一化处理，这是至关重要的一步。否则，分类器可能会对权重较高的特征产生偏差。

1.3 如何训练分类器

我随机选择 20% 的图像作为测试集，其余用于训练，并使用线性 SVM 作为分类器（参见 svm_pipeline.py 第 520 至 531 行）。

1.4 滑动窗口搜索

对于这种基于 SVM 的方法，我使用两种尺度的搜索窗口（64x64 和 128x128，参见第 41 行），并且只在 y 轴的 [400, 656] 范围内进行搜索（参见 svm_pipeline.py 第 32 行）。我为每个尺度的搜索窗口设置了 75% 的重叠率（参见 svm_pipeline.py 第 314 行）。

对于每一个窗口，使用 SVM 分类器预测其中是否包含车辆。如果是，则保存该窗口（参见 svm_pipeline.py 第 361 至 366 行）。最终，我们得到一个包含检测到的车辆窗口的列表。

1.5 创建检测到的车辆热力图

在获得可能包含车辆的窗口列表后，使用名为 generate_heatmap 的函数（位于 svm_pipeline.py 第 565 行）生成热力图，然后通过阈值过滤掉误报。

1.6 图像与视频实现

对于图像，我们可以直接利用过滤后的热力图结果来绘制检测到的车辆的边界框。

对于视频，我们还可以进一步利用相邻帧来过滤误报，并平滑边界框的位置。

• 累积前 N 帧的热力图。
• 为前 N 帧赋予权重：较早的帧权重较小（参见 svm_pipeline.py 第 398 至 399 行）。
• 然后应用阈值，并使用 scipy.ndimage.measurements.label() 来识别热力图中的各个斑块。
• 假设每个斑块对应一辆车，构建边界框以覆盖每个检测到的斑块区域。

测试图像示例

---

2. 神经网络方法（YOLO）

yolo_pipeline.py 包含 YOLO 流水线的代码。

YOLO 是一种基于神经网络的目标检测流水线。与以往使用分类器进行目标检测的工作不同，YOLO 将目标检测视为一个回归问题，直接预测空间分离的边界框及其对应的类别概率。单个神经网络可以在一次推理中直接从完整图像中预测边界框和类别概率。由于整个检测流水线是一个单一的网络，因此可以针对检测性能进行端到端优化。

使用 YOLO 进行检测的步骤：

• 将输入图像调整为 448x448 大小。
• 对图像运行单个卷积神经网络。
• 根据模型的置信度阈值筛选检测结果。

yolo_pipeline.py 是基于这个 YOLO 的 TensorFlow 实现 修改和集成的。由于 YOLO 已知“车辆”这一类别，我直接使用预计算的权重，并将其应用于整个输入帧。

测试图像示例

---

讨论

对于基于支持向量机的方法，准确率不错，但速度较慢（2帧/秒），这是由于滑动窗口策略本身较为耗时所致。我们可以通过图像下采样、多线程处理或使用GPU加速来提升速度。不过，要实现实时运行，可能还需要进行大量的工程化工作。此外，在这个应用场景中，我限制了垂直方向的搜索范围，以控制搜索窗口的数量，并避免一些误检（例如将树上的车辆误判为目标）。

对于基于YOLO的方法，它能够达到实时性，且准确率也相当令人满意。不过，在某些情况下，可能会漏检远处的小型车缩略图。我的直觉是，原始输入图像的分辨率为1280×720，而模型需要将其缩放到448×448，因此远处的车辆在缩放后的图像中会变得非常小，并且可能出现较大的形变。为了更准确地识别远处的车辆，我们可以考虑对图像进行裁剪而非直接下采样，或者重新训练网络。

Vehicle Detection 快速上手指南

本指南旨在帮助开发者快速部署并运行基于单目摄像头的车辆检测系统。该项目提供了两种检测方案：传统的线性 SVM（滑动窗口）和基于深度学习的 YOLO 神经网络。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Ubuntu 16.04 (推荐) 或其他 Linux 发行版
• 编程语言: Python 3.5+
• 核心依赖:
  • OpenCV 3
  • TensorFlow
  • CUDA 8 (如需 GPU 加速)
• 包管理工具: Anaconda (强烈推荐使用 Conda 管理依赖)

注意：本项目依赖较多，建议使用项目提供的 environment-gpu.yml 文件来构建隔离环境，以避免版本冲突。

安装步骤

1. 克隆项目

首先获取源代码：

git clone <repository_url>
cd vehicle-detection

2. 创建 Conda 环境

使用项目提供的配置文件安装所有必要的依赖包。如果你拥有支持 CUDA 的 GPU，请使用 GPU 版本配置：

conda env create -f environment-gpu.yml

激活环境：

conda activate carnd-term1
# 或者根据 yml 文件中定义的实际名称激活

3. 下载 YOLO 权重文件

若需使用 YOLO 神经网络方案，必须预先下载训练好的权重文件。

• 下载地址: Google Drive Link
• 存放路径: 将下载的文件放入项目根目录下的 weights 文件夹中。

国内加速提示: 如果无法访问 Google Drive，可尝试使用国内镜像站或第三方加速工具下载该文件。

基本使用

项目包含两个主要的检测流水线脚本：

• svm_pipeline.py: 基于 HOG 特征和线性 SVM 的传统检测方法。
• yolo_pipeline.py: 基于 YOLO 深度神经网络的实时检测方法。

运行演示 Demo

最简单的运行方式是执行主程序 main.py，它将加载默认配置并运行演示视频。

python main.py

自定义运行

如果你想单独测试某种算法或处理特定视频，可以直接调用对应的管道脚本。例如，仅运行 YOLO 检测：

python yolo_pipeline.py

或者运行 SVM 检测流程：

python svm_pipeline.py

输出说明

程序运行后，将在控制台输出检测日志，并生成带有车辆标注框（Bounding Box）的视频文件或图像序列。

• SVM 方案: 速度较慢（约 2 FPS），适合离线分析或对实时性要求不高的场景。
• YOLO 方案: 可实现实时检测，精度较高，但在远距离小目标检测上可能受限于输入分辨率缩放。