Python中的多目标跟踪器

易于使用的多种多目标跟踪算法实现。

YOLOv3 + CentroidTracker	TF-MobileNetSSD + CentroidTracker
视频来源：链接	视频来源：链接

可用的多目标跟踪器

• CentroidTracker
• IOUTracker
• CentroidKF_Tracker
• SORT

可用的基于OpenCV的对象检测器：

• detector.TF_SSDMobileNetV2
• detector.Caffe_SSDMobileNet
• detector.YOLOv3

安装

适用于OpenCV（版本3.4.3或更高）的pip安装包可在此处获取：https://pypi.org/project/opencv-python/，安装命令如下：

pip install motrackers

此外，您也可以通过GitHub安装该软件包：

git clone https://github.com/adipandas/multi-object-tracker
cd multi-object-tracker
pip install [-e] .

注意——关于使用GPU运行神经网络模型
若要在此仓库中使用基于OpenCV dnn的对象检测模块并利用GPU加速，您可能需要从源代码编译一个支持CUDA的OpenCV版本。

• 如需从源代码构建OpenCV，请参考以下链接： [链接-1], [链接-2]

如何使用？示例

每个跟踪器的接口都很简单且相似。请参阅下面的示例模板。

from motrackers import CentroidTracker # 或IOUTracker、CentroidKF_Tracker、SORT
input_data = ...
detector = ...
tracker = CentroidTracker(...) # 或IOUTracker(...), CentroidKF_Tracker(...), SORT(...)
while True:
    done, image = <读取(input_data)>
    if done:
        break
    detection_bboxes, detection_confidences, detection_class_ids = detector.detect(image)
    # 注意：
    # * `detection_bboxes` 是形状为(n, 4)的numpy.ndarray，每行包含(bb_left, bb_top, bb_width, bb_height)
    # * `detection_confidences` 是形状为(n,)的numpy.ndarray；
    # * `detection_class_ids` 是形状为(n,)的numpy.ndarray。
    output_tracks = tracker.update(detection_bboxes, detection_confidences, detection_class_ids)
    # `output_tracks` 是一个列表，其中每个元素包含元组
    # (<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <x>, <y>, <z>)
    for track in output_tracks:
        frame, id, bb_left, bb_top, bb_width, bb_height, confidence, x, y, z = track
        assert len(track) == 10
        print(track)

有关更多详细信息，请参阅此仓库的examples文件夹。您可以克隆并运行这些示例。

预训练的对象检测模型

您需要下载这些神经网络模型的预训练权重。用于下载这些权重的Shell脚本已提供在此处的相应文件夹中。更多详情请参阅DOWNLOAD_WEIGHTS.md。

备注

• 与SORT和IoU Tracker论文中所描述的实现相比，这里存在一些差异。
• 如果您发现算法中存在任何错误，我将非常乐意接受您的拉取请求，或者您也可以创建一个问题来指出这些问题。

参考文献、致谢与贡献

请参阅REFERENCES.md和CONTRIBUTING.md。

引用

如果您在工作中使用了本仓库，请考虑以如下方式引用：

@misc{multiobjtracker_amd2018,
  author = {Deshpande, Aditya M.},
  title = {Python中的多目标跟踪器},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/adipandas/multi-object-tracker}},
}

multi-object-tracker 快速上手指南

multi-object-tracker 是一个易于使用的 Python 多目标跟踪算法库，集成了多种主流跟踪器（如 CentroidTracker, SORT, IOUTracker 等）和基于 OpenCV 的目标检测器（YOLOv3, SSD 等）。

1. 环境准备

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 建议 Python 3.6+
• 核心依赖:
  • opencv-python: 版本需为 3.4.3 或更高。
  • numpy: 用于处理检测框数据。
• GPU 加速 (可选):
  • 若需使用 GPU 运行神经网络检测模型，需从源码编译支持 CUDA 的 OpenCV 版本。请参考 OpenCV 官方教程 或相关指南进行编译。

2. 安装步骤

方式一：通过 PyPI 安装（推荐）

直接使用 pip 安装最新稳定版：

pip install motrackers

国内用户提示：如遇下载速度慢，可使用国内镜像源加速：

pip install motrackers -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从 GitHub 源码安装

如需获取最新功能或修改源码，可克隆仓库安装：

git clone https://github.com/adipandas/multi-object-tracker
cd multi-object-tracker
pip install [-e] .

3. 基本使用

以下是最简化的使用流程，演示如何结合检测器与跟踪器处理视频流。

代码示例

from motrackers import CentroidTracker # 也可替换为 IOUTracker, CentroidKF_Tracker, SORT
input_data = ... # 你的视频源或图像序列
detector = ...   # 初始化的检测器对象 (如 detector.YOLOv3)

# 初始化跟踪器
tracker = CentroidTracker(...) 

while True:
    done, image = <read(input_data)> # 读取下一帧
    if done:
        break
    
    # 执行目标检测
    # 返回：边界框数组 (n, 4), 置信度数组 (n,), 类别 ID 数组 (n,)
    detection_bboxes, detection_confidences, detection_class_ids = detector.detect(image)
    
    # 注意：
    # * detection_bboxes: numpy.ndarray, 形状 (n, 4), 每行格式为 (bb_left, bb_top, bb_width, bb_height)
    # * detection_confidences: numpy.ndarray, 形状 (n,)
    # * detection_class_ids: numpy.ndarray, 形状 (n,)

    # 更新跟踪状态
    output_tracks = tracker.update(detection_bboxes, detection_confidences, detection_class_ids)
    
    # output_tracks 是一个列表，每个元素包含元组:
    # (<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <x>, <y>, <z>)
    for track in output_tracks:
        frame, id, bb_left, bb_top, bb_width, bb_height, confidence, x, y, z = track
        assert len(track) == 10
        print(f"Track ID: {id}, Box: [{bb_left}, {bb_top}, {bb_width}, {bb_height}]")

前置模型下载

上述代码中的 detector 需要预训练的神经网络权重文件。请前往仓库的 examples/pretrained_models 目录，运行相应的 Shell 脚本下载模型，或参考 DOWNLOAD_WEIGHTS.md 获取详细说明。

更多完整示例代码请查看仓库中的 examples 文件夹。