介绍

本项目受到以下项目的启发：

• https://github.com/nwojke/deep_sort
• https://github.com/Ma-Dan/keras-yolo4
• https://github.com/Qidian213/deep_sort_yolov3

我将 YOLO v3 替换为 YOLO v4，并添加了异步处理选项，这显著提高了帧率。然而，在使用异步处理时，由于监控结果不准确，帧率监控功能会被禁用。

此外，我还从这篇 论文 中采用了相关算法，并将其实现到 deep_sort/track.py 文件中。原先的轨迹确认方法仅基于目标被检测到的次数，而未考虑检测置信度，这导致在出现不可靠检测（即低置信度的真正目标或高置信度的误检）时，跟踪误报率较高。通过在确认轨迹之前计算一定数量检测的平均置信度，该轨迹过滤算法可以显著降低这一问题。

请参阅下方的对比视频。

低置信度轨迹过滤

请导航至相应文件夹以使用低置信度轨迹过滤功能。上述视频展示了两者的差异。

有关参数说明，请参阅设置部分。

带 Deep SORT 的 YOLO v3 和 YOLO v4 对比视频

使用异步处理

如 GIF 所示，异步处理虽然帧率更高，但会导致画面卡顿。

此代码仅检测和跟踪人员，但可通过修改 yolo.py 文件第 103 行来检测其他对象。例如，若要同时检测人和汽车，可将

if predicted_class != 'person':
    continue

改为

if predicted_class not in ('person', 'car'):
    continue

性能

实时帧率（含视频写入）：

• 使用 YOLO v3 时约为 4.3fps
• 使用 YOLO v4 时约为 10.6fps

关闭跟踪功能后，使用 YOLO v4 可达到约 12.5fps。

YOLO v4 的运行速度明显快于 YOLO v3，且表现更为稳定。所有测试均在 Nvidia GTX 1070 8GB 显卡和 i7-8700k 处理器上进行。

快速入门

下载 Darknet YOLO v4 模型，并通过相应修改 convert.py 将其转换为 Keras 模型，然后运行：

python convert.py

接着运行 demo.py：

python demo.py

设置

普通 Deep SORT

默认情况下，跟踪和视频写入功能已开启，异步处理功能则处于关闭状态。这些设置可在 demo.py 中通过更改以下内容进行调整：

tracking = True
writeVideo_flag = True
asyncVideo_flag = False

若需更改 demo.py 中的目标文件路径：

file_path = 'video.webm'

若需更改输出设置：

out = cv2.VideoWriter('output_yolov4.avi', fourcc, 30, (w, h))

带低置信度轨迹过滤的 Deep SORT

此版本提供了隐藏目标检测而不进行跟踪的选项。demo.py 中的相关设置如下：

show_detections = True
writeVideo_flag = True
asyncVideo_flag = False

将 show_detections = False 设置后，目标检测将被隐藏，取而代之的是显示每条轨迹的平均检测置信度以及最常检测到的类别。

若需调整平均检测阈值，请前往 deep_sort/tracker.py，修改第 40 行的 adc_threshold 参数。您还可以通过更改此处的 n_init 来调整用于计算平均置信度的检测次数。

训练自定义模型

YOLO v4

详情请参阅 https://github.com/Ma-Dan/keras-yolo4。

Deep SORT

请注意，此处使用的跟踪模型仅针对人员训练，因此若需跟踪其他对象，您需要自行训练相应的模型。

更多关于训练自定义跟踪模型的信息，请参阅 https://github.com/nwojke/cosine_metric_learning。

对于希望训练 车辆 跟踪模型的用户，我开发了一款工具，可将 DETRAC 数据集转换为适用于余弦度量学习的可训练格式，该工具位于我的多摄像头实时目标跟踪仓库中：这里。该工具以先前提到的 论文 为参考，并采用相同的参数。

依赖项

• Tensorflow GPU 1.14
• Keras 2.3.1
• opencv-python 4.2.0
• imutils 0.5.3
• numpy 1.18.2
• sklearn

使用 Tensorflow 1.14 与 2.0 运行

请导航至相应文件夹并运行 Python 脚本。

用于 Tensorflow 2.0 的 Conda 环境

（见 requirements.txt）

• imutils 0.5.3
• keras 2.3.1
• matplotlib 3.2.1
• numpy 1.18.4
• opencv-python 4.2.0.34
• pillow 7.1.2
• python 3.6.10
• scikit-learn 0.23.1
• scipy 1.4.1
• sklearn 0.19
• tensorboard 2.2.1
• tensorflow 2.0.0
• tensorflow-estimator 2.1.0
• tensorflow-gpu 2.2.0

Deep-SORT-YOLOv4 快速上手指南

Deep-SORT-YOLOv4 是一个高效的多目标跟踪工具，结合了 YOLOv4 检测器与改进版的 Deep SORT 算法。相比原版，它支持异步处理以提升帧率（FPS），并引入了基于平均置信度的轨迹过滤机制，有效降低了误检率。默认配置主要针对行人跟踪，但可轻松扩展至其他物体（如车辆）。

环境准备

系统要求

• 操作系统：Linux / Windows / macOS
• GPU：推荐 Nvidia GPU（测试环境为 GTX 1070 8GB）
• CPU：多核处理器（测试环境为 i7-8700k）

前置依赖

本项目主要依赖 TensorFlow 和 Keras。根据原文提供的 requirements.txt，推荐环境配置如下：

• Python 3.6+
• TensorFlow GPU 2.0.0 或 2.2.0 (兼容 1.14)
• Keras 2.3.1
• OpenCV-python 4.2.0+
• scikit-learn, numpy, imutils, scipy 等

国内加速建议： 在安装 Python 依赖时，建议使用清华源或阿里源以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone <项目仓库地址>
   cd Deep-SORT-YOLOv4
   

2. 安装 Python 依赖 确保已安装上述依赖库。若未创建虚拟环境，可直接运行：

   pip install tensorflow-gpu==2.2.0 keras==2.3.1 opencv-python==4.2.0.34 imutils==0.5.3 numpy==1.18.4 scikit-learn==0.23.1 scipy==1.4.1
   

   (注：具体版本号可根据实际环境调整，建议使用国内镜像源)

3. 下载并转换模型权重 从 Google Drive 下载 Darknet 格式的 YOLOv4 权重文件： 下载链接

   将下载的权重文件放入项目目录，然后修改 convert.py 以指向该权重文件路径，运行以下命令将其转换为 Keras 模型：

   python convert.py
   

基本使用

1. 运行演示脚本

转换完成后，直接运行 demo.py 即可开始对默认视频进行行人检测和跟踪：

python demo.py

2. 自定义配置

所有核心参数均在 demo.py 中配置，常用修改如下：

• 切换输入视频： 修改 file_path 变量：

  file_path = 'your_video.mp4'
  

• 开启/关闭功能： 控制跟踪、视频写入及异步处理：

  tracking = True          # 是否启用跟踪
  writeVideo_flag = True   # 是否保存输出视频
  asyncVideo_flag = False  # 是否启用异步处理（提升 FPS 但可能导致画面卡顿）
  

• 更改检测目标类别： 默认仅检测行人。若要检测其他物体（如同时检测行人和汽车），需修改 yolo.py 第 103 行附近的逻辑：

  原代码：

  if predicted_class != 'person':
      continue
  

  修改为：

  if predicted_class not in ('person', 'car'):
      continue
  

• 低置信度轨迹过滤： 若需使用改进的抗误检算法（隐藏低置信度检测框，显示平均置信度），在 demo.py 中设置：

  show_detections = False
  

  如需调整平均置信度阈值或步数，请编辑 deep_sort/tracker.py 中的 adc_threshold 和 n_init 参数。

3. 输出结果

程序运行结束后，将在当前目录生成名为 output_yolov4.avi 的跟踪结果视频（若 writeVideo_flag 设为 True）。