多摄像头实时目标跟踪

这个仓库包含了我关于目标检测与跟踪的一些项目。所有这些项目都可以部署在云服务器上。

你也可以利用自己的IP摄像头，并借助ImageZMQ实现异步处理。我写了一篇博客，介绍了如何使用ImageZMQ通过自己的智能手机进行视频流传输，点击这里查看。

Deep SORT与YOLO v4

请查看我的Deep SORT仓库，其中包含了我所使用的跟踪算法，支持TensorFlow 2.0、异步视频处理以及低置信度轨迹过滤等功能。

---

交通流量计数（链接）

该项目是目标计数应用的扩展版本。

（完整视频这里）

功能特点

• 使用来自DETRAC数据集生成的共计244,617张图像进行训练。我编写的转换代码可以在这里找到。
  • 我参考了这篇论文，作为数据准备和训练的指导。
• 每个跟踪ID只计数一次。
• 通过检测被跟踪物体的运动轨迹与计数线的交点来统计数量。
  • 因此，即使暂时丢失跟踪但随后以相同ID重新跟踪到的物体仍会被计入。
• 跟踪过程中采用了来自同一论文的低置信度轨迹过滤技术。
  • 这种方法显著降低了误报率。
  • 显示的跟踪对象会标注平均检测置信度。
  • 跟踪到的类别由出现频率最高的检测类别决定。
• 可选择是否显示检测结果（但会隐藏平均检测置信度）。
• 支持连接多个IP摄像头。
• 可通过模拟IP摄像头进行视频流传输。
• 可根据角度配置不同方向的计数。
• 按设定的时间间隔记录每小时的计数结果。
  • 总计数。
  • 按类别计数。
• 记录每个被计数对象的交点详情。
  • 交点发生时间。
  • 交点坐标。
  • 交点角度。
• 可部署在云服务器上。

需要注意的是，由于DETRAC数据集中不包含摩托车，因此摩托车将被忽略。此外，DETRAC数据集仅包含中国地区的交通图像，所以在其他国家可能难以正确检测某些车辆，因为缺乏相应的训练数据。例如，它可能会经常把两厢车误判为SUV，或者因颜色方案不同而无法识别出租车。

---

目标计数（链接）

该项目最初设计用于通过我自己的智能手机统计多个房间内当前的人数，服务器则远程托管。下图展示了对人和汽车的检测、跟踪及计数过程。

功能特点

• 统计当前视野内的对象数量。
• 跟踪功能可选。
• 支持连接多个IP摄像头。
• 按设定的时间间隔记录当前计数。
  • 当前总人数。
  • 按类别统计的人数。
• 可部署在云服务器上。

---

使用自己的智能手机作为IP摄像头

---

训练属于你自己的车辆跟踪模型（链接）

我使用带有v3标注的DETRAC训练数据集，训练了一个YOLO v4和Deep SORT模型。我提供了脚本，可以将DETRAC的训练图像和v3标注转换成适合YOLO v4模型以及Deep SORT跟踪模型训练的格式。

我先用Darknet框架训练了YOLO v4模型，然后使用Keras-to-YOLOv4仓库中的convert.py将其转换为Keras格式。Deep SORT模型则是基于余弦度量学习进行训练的。

如果你不想自己训练模型，这个仓库已经包含了来自原版Deep SORT仓库的预训练Deep SORT模型（mars-small128.pb）。你可以按照Keras-to-YOLOv4仓库中的说明，下载并转换一个已训练好的Darknet YOLO v4模型至Keras格式。另外，你也可以在我的Deep SORT与YOLOv4仓库中找到这些模型。

请注意，如果你选择不自己训练模型，那么车辆跟踪性能很可能会比你自己在DETRAC或其他交通数据集上训练的效果差。这主要是因为原版Deep SORT模型（mars-small128.pb）是针对人员跟踪训练的，而非车辆。不过，如果你的目标只是用这个应用来统计人数，那这应该不会成为大问题。

Deep SORT转换参数

DETRAC图像被转换为Market 1501训练格式。

• 遮挡阈值：忽略遮挡比例过高的车辆序列。
• 截断阈值：忽略截断比例过高的车辆序列。
• 出现次数：对于过于短暂的车辆序列（即图像数量不足），在考虑遮挡和截断比例后将被丢弃。

YOLO转换参数

DETRAC图像被转换为Darknet YOLO训练格式。

• 遮挡阈值：忽略遮挡比例过高的车辆序列。
• 截断阈值：忽略截断比例过高的车辆序列。

这两个模型均在DETRAC训练集上进行了训练和评估，但由于缺乏v3标注，目前尚未在测试集上进行评估，而且我也没有用于Deep SORT评估软件的MATLAB。不过，就我目前的使用场景而言，这样的效果已经足够好了。

---

使用的硬件

• Nvidia GTX 1070显卡
• i7-8700K处理器

简单来说，我可以同时运行两条大约10fps的交通流量计数流（如交通流量计数gif所示）。当然，这很大程度上取决于视频流的分辨率以及用于检测和跟踪的帧数。

YOLO v3 与 YOLO v4

我在刚开始进行目标计数项目时使用的是 YOLO v3，当时在开启跟踪功能的情况下只能达到约 10 FPS 的帧率，因此难以同时处理多个视频流。而改用 YOLO v4 后，不仅能够更轻松地以更高分辨率同时运行两个视频流，检测精度也有所提升。

---

依赖项

• Tensorflow-GPU 1.14
• Keras 2.3.1
• opencv-python 4.2.0
• ImageZMQ
• numpy 1.18.2
• Flask 1.1.1
• pillow

本项目是在 Python 3.6 环境下构建并测试的。您可以使用 conda 环境文件来一次性安装所有依赖项。 如果 environment.yml 文件无法正常工作，请在 Windows 系统上尝试使用 environment_windows.yml 文件。

---

致谢

• https://github.com/miguelgrinberg/flask-video-streaming
• https://github.com/Ma-Dan/keras-yolo4
• https://github.com/nwojke/deep_sort
• https://github.com/Qidian213/deep_sort_yolov3
• https://github.com/yehengchen/Object-Detection-and-Tracking

Multi-Camera-Live-Object-Tracking 快速上手指南

本指南帮助开发者快速部署基于 YOLO v4 和 Deep SORT 的多摄像头实时目标跟踪与计数系统。该项目支持云端部署，并可通过 ImageZMQ 利用智能手机作为 IP 摄像头进行异步视频流处理。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 Windows
• Python 版本: 3.6 (项目构建与测试版本)
• 硬件建议:
  • GPU: Nvidia GTX 1070 或更高 (用于加速推理)
  • CPU: i7-8700K 或同等性能
  • 注：在 GTX 1070 上可同时运行两路约 10fps 的交通计数流，具体帧率取决于分辨率和处理帧数。

前置依赖

项目主要依赖以下库：

• Tensorflow-GPU 1.14
• Keras 2.3.1
• opencv-python 4.2.0
• ImageZMQ
• numpy 1.18.2
• Flask 1.1.1
• pillow

注意：本项目使用较旧版本的 TensorFlow (1.x) 和 Keras。若在中国大陆地区安装，建议配置国内镜像源以加速下载：

• Pip 镜像：https://pypi.tuna.tsinghua.edu.cn/simple
• Conda 镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

安装步骤

推荐使用 Conda 管理环境，以确保依赖版本兼容。

1. 克隆仓库

   git clone https://github.com/LeonLok/Multi-Camera-Live-Object-Tracking.git
   cd Multi-Camera-Live-Object-Tracking
   

2. 创建并激活 Conda 环境

   Linux/Mac 用户:

   conda env create -f environment.yml
   conda activate multi-camera-tracking
   

   Windows 用户 (若上述文件失效):

   conda env create -f environment_windows.yml
   conda activate multi-camera-tracking
   

   手动安装 (若 conda 文件不可用):

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.14 keras==2.3.1 opencv-python==4.2.0 imagezmq numpy==1.18.2 flask==1.1.1 pillow
   

3. 模型准备

   • Deep SORT 模型: 仓库已包含预训练模型 mars-small128.pb (源自原始 Deep SORT 仓库，主要针对行人优化)。
   • YOLO v4 模型:
     • 方案 A (推荐): 自行使用 DETRAC 数据集训练车辆检测模型以获得最佳效果（脚本位于 detrac_tools 目录）。
     • 方案 B (快速开始): 下载预训练的 Darknet YOLO v4 权重，并使用 keras-yolo4 仓库中的 convert.py 转换为 Keras 格式。
     • 注意: 若不针对交通数据微调，直接使用通用预训练模型可能导致车辆分类不准（如将掀背车误判为 SUV），但用于人数统计影响较小。

基本使用

本项目包含两个主要应用场景：交通计数 (Traffic Counting) 和 通用目标计数 (Object Counting)。

1. 启动交通计数服务

该模块专门用于统计通过特定线的车辆数量，支持方向判定和每小时记录。

cd traffic_counting
python main.py

功能特点:

• 基于轨迹与计数线的交点进行去重计数。
• 支持低置信度过滤以降低误报。
• 记录相交时间、坐标及角度。
• 局限: 由于训练数据 (DETRAC) 仅包含中国交通场景且无摩托车数据，摩托车将被忽略，部分国外车型可能识别不准。

2. 启动通用目标计数服务

该模块用于统计视野内的当前目标数量（如房间内的人数），支持多房间监控。

cd object_counting
python main.py

功能特点:

• 实时显示视野内目标总数及各类别数量。
• 跟踪功能可选。
• 按小时区间记录当前存量数据。

3. 使用智能手机作为 IP 摄像头

利用 ImageZMQ 将手机摄像头画面异步传输至服务器。

• 手机端: 安装支持 ZMQ 推流的 App 或使用作者提供的脚本（参考作者博客关于使用手机推流的教程）。
• 服务端: 确保 main.py 中配置了正确的 ZMQ 连接地址，即可接收多路手机视频流进行处理。

4. 云端部署

所有模块均可部署在云端服务器。启动后，通过 Flask 提供的 Web 接口访问视频流和统计数据。确保服务器防火墙开放相应端口。