简介

这个小项目的目的是在 YOLOv2 的基础上加入目标跟踪功能，实现多目标的实时跟踪。

目前的架构仅支持跟踪单一类别的目标，但很容易扩展到对所有类别目标的跟踪。

当前主要支持人体跟踪（因为提供的 deep_sort 权重是基于人体跟踪训练的）。

依赖项

python
numpy
opencv 3
tensorflow 1.0
Cython。
sklean。

使用 SORT 时需要：

scikit-learn

scikit-image

FilterPy

设置

1 - 克隆本仓库：git clone https://github.com/bendidi/Tracking-with-darkflow.git

2 - 初始化所有子模块：git submodule update --init --recursive

3 - 进入 darkflow 目录并进行原地编译：python3 setup.py build_ext --inplace

开始使用

下载权重文件：

关于 YOLO（在 Darknet 中）的更多信息及权重文件可在此处下载 这里。如果无法找到权重文件，thtrieu 已经上传了一些权重 这里，其中包括 v1.0 的 yolo-full 和 yolo-tiny、v1.1 的 tiny-yolo-v1.1，以及 v2 的 yolo 和 tiny-yolo-voc。

我在该项目中使用和测试的架构是 cfg/yolo.cfg，对应的权重文件为 bin/yolo.weights。

接下来你需要从 这里 下载 deep_sort 的权重文件（networks 文件夹），这些权重由 nwojke 提供

nwojke 提供的 deep_sort 权重已被取消。你可以改从 这里 获取（感谢 @louxy126）。

解压文件夹后将其复制到 deep_sort/resources 目录下。

根据你的配置编辑 run.py 中的参数：

• demo：要使用的视频文件路径；如果你想使用摄像头，则设置为 "camera"。

• model：用于 YOLO 的模型配置文件，更多信息和 .cfg 文件可在 这里 查找（请将它们放入 darkflow/cfg/ 目录）。

• load：与所选模型对应的权重文件（请将其放入 darkflow/bin/ 目录）。更多详情请参阅 这里。

• threshold：YOLO 检测的置信度阈值。

• gpu：使用的 GPU 数量，0 表示使用 CPU。

• track：是否启用跟踪功能。

• trackObj：要跟踪的目标列表（请注意，deep_sort 的编码器仅针对人体进行了训练，因此你需要自己训练编码器，更多信息请参阅 这里)。

• saveVideo：是否保存输出视频。

• BK_MOG：添加 OpenCV 的 MOG 背景减除模块，仅在 YOLO 无法检测视频中的人体时有用（例如视频质量较低等情况），可用于检测运动物体周围的框。

• tracker：使用的跟踪算法：“deep_sort” 或 “sort”。

        **注意**：“deep_sort” 目前仅支持人体跟踪，因为它只经过人体跟踪的训练（其训练代码尚未公开）。
  
        **待办事项**：增加对 GOTURN 跟踪器（TensorFlow 实现）的支持。
  
        **待办事项**：增加对 OpenCV 跟踪器（MIL、KCF、TLD、MEDIANFLOW）的支持。
  

• skip：跳过帧以提高 FPS，但可能会降低跟踪精度！

• csv：以 (frame_id, object_id, x, y, w, h) 格式保存检测结果的 CSV 文件。

• display：处理过程中是否显示视频。

接下来只需运行 python run.py，即可享受成果！

一些数据：

使用 yolo.cfg 的速度：

YOLO 未启用跟踪功能：30 fps

YOLO 启用跟踪功能（deep_sort）：14 fps

YOLO 启用跟踪和背景减除功能：10.5 fps

测试在分辨率为 (1024, 1280, 3) 的视频上进行，硬件为 Nvidia GTX 1080。

跳过最多 3 帧可以在保持跟踪精度的同时进一步提升速度。

免责声明：

本项目使用了以下项目的代码分支：

thtrieu/darkflow：用于实时目标检测和分类。

nwojke/deep_sort：用于基于深度关联度量的简单在线实时跟踪。

请访问上述链接以了解每个项目的详细功能。

引用

YOLOv2：

@article{redmon2016yolo9000,
  title={YOLO9000: Better, Faster, Stronger},
  author={Redmon, Joseph and Farhadi, Ali},
  journal={arXiv preprint arXiv:1612.08242},
  year={2016}
}

deep_sort：

@article{Wojke2017simple,
  title={Simple Online and Realtime Tracking with a Deep Association Metric},
  author={Wojke, Nicolai and Bewley, Alex and Paulus, Dietrich},
  journal={arXiv preprint arXiv:1703.07402},
  year={2017}
}

SORT：

@inproceedings{Bewley2016_sort,
  author={Bewley, Alex and Ge, Zongyuan and Ott, Lionel and Ramos, Fabio and Upcroft, Ben},
  booktitle={2016 IEEE International Conference on Image Processing (ICIP)},
  title={Simple online and realtime tracking},
  year={2016},
  pages={3464-3468},
  keywords={Benchmark testing;Complexity theory;Detectors;Kalman filters;Target tracking;Visualization;Computer Vision;Data Association;Detection;Multiple Object Tracking},
  doi={10.1109/ICIP.2016.7533003}
}

Tracking-with-darkflow 快速上手指南

本指南旨在帮助开发者快速部署基于 YOLOv2 和 Deep SORT 的实时多目标跟踪项目。目前该架构主要针对行人跟踪进行了优化（因预训练权重仅针对行人训练）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需额外配置编译环境)
• Python: Python 3.x
• GPU: 推荐使用 NVIDIA GPU (需安装 CUDA)，若使用 CPU 请将 gpu 参数设为 0。

前置依赖

请通过 pip 安装以下核心依赖库：

pip install numpy opencv-python tensorflow==1.0 Cython scikit-learn scikit-image FilterPy

注意: 本项目基于 TensorFlow 1.0 开发，高版本 TF 可能存在兼容性问题。建议使用虚拟环境隔离。

安装步骤

1. 克隆仓库并初始化子模块

该项目依赖 darkflow 和 deep_sort 子模块，务必递归初始化。

git clone https://github.com/bendidi/Tracking-with-darkflow.git
cd Tracking-with-darkflow
git submodule update --init --recursive

2. 编译 Darkflow

进入 darkflow 目录进行原地构建：

cd darkflow
python3 setup.py build_ext --inplace
cd ..

3. 下载模型权重

本项目需要两类权重文件：YOLO 检测权重 和 Deep SORT 特征提取权重。

A. YOLO 权重

下载 yolo.weights 和对应的配置文件 yolo.cfg。

• 官方源: YOLO Weights
• 备用源 (Google Drive): thtrieu weights

将 .cfg 文件放入 darkflow/cfg/ 目录，将 .weights 文件放入 darkflow/bin/ 目录。 本指南测试使用的架构为：cfg/yolo.cfg 配合 bin/yolo.weights。

B. Deep SORT 权重

由于原链接失效，请使用以下 Google Drive 链接下载预处理好的权重：

• 下载地址: Deep Sort Weights

下载后解压，将整个文件夹复制到项目的 deep_sort/resources 目录下。

基本使用

配置运行参数

编辑根目录下的 run.py 文件，根据您的硬件和需求修改以下标志位（Flags）：

参数	说明	推荐设置
demo	视频路径，设为 "camera" 使用摄像头	"camera" 或视频文件路径
model	YOLO 配置文件名 (位于 darkflow/cfg/)	"yolo.cfg"
load	YOLO 权重文件名 (位于 darkflow/bin/)	"yolo.weights"
threshold	YOLO 检测置信度阈值	0.5
gpu	GPU 使用比例，0 表示使用 CPU	1.0 (若有 GPU)
track	是否开启跟踪功能	True
trackObj	要跟踪的对象列表	['person'] (仅支持行人)
tracker	跟踪算法选择	"deep_sort"
display	是否实时显示画面	True

重要提示: deep_sort 默认仅支持跟踪行人 (person)。若需跟踪其他物体，需重新训练 Deep SORT 的特征编码器。

运行程序

完成上述配置后，在项目根目录执行：

python run.py

程序启动后将读取视频流或摄像头画面，实时框选并追踪行人。

性能参考

在 Nvidia GTX 1080 + 1024x1280 分辨率下：

• 仅 YOLO 检测：约 30 FPS
• YOLO + Deep SORT 跟踪：约 14 FPS
• 开启背景减除 (MOG)：约 10.5 FPS

可通过设置 skip 参数跳帧以提升速度，但可能会轻微降低跟踪精度。