FastMOT

最新动态

• (2021.8.17) 支持多类别跟踪
• (2021.7.4) 支持yolov4-p5和yolov4-p6
• (2021.2.13) 支持缩放版YOLOv4（即yolov4-csp/yolov4x-mish/yolov4-csp-swish）
• (2021.1.3) 添加DIoU-NMS后处理
• (2020.11.28) 提供适用于x86 Ubuntu的Docker容器

说明

FastMOT是一款自定义的多目标跟踪器，实现了以下功能：

• YOLO检测器
• SSD检测器
• Deep SORT + OSNet ReID
• KLT跟踪器
• 相机运动补偿

像Deep SORT这样的两阶段跟踪器依次运行检测和特征提取，这往往成为性能瓶颈。FastMOT大幅提升了整个系统的运行速度，即使在Jetson上也能实现实时运行。运动补偿则改善了相机移动场景下的跟踪效果，而Deep SORT和FairMOT在此类场景中表现不佳。

为了实现更快的处理速度，FastMOT仅每隔N帧运行一次检测器和特征提取器，而KLT则高效地填补空缺。FastMOT还会重新识别那些移出画面的目标，以保持它们的ID不变。

YOLOv4是在CrowdHuman数据集上训练的（mAP@0.5为82%），SSD使用的是TensorFlow预训练的COCO模型。检测和特征提取均采用TensorRT后端，并进行异步推理。此外，包括KLT、卡尔曼滤波器和数据关联在内的大部分算法都通过Numba进行了优化。

性能

在MOT20训练集上的结果

检测器跳帧	MOTA	IDF1	HOTA	MOTP	MT	ML
N = 1	66.8%	56.4%	45.0%	79.3%	912	274
N = 5	65.1%	57.1%	44.3%	77.9%	860	317

在MOT17序列上的FPS

序列	密度	FPS
MOT17-13	5 - 30	42
MOT17-04	30 - 50	26
MOT17-03	50 - 80	18

性能评估使用了YOLOv4，并基于TrackEval工具。需要注意的是，YOLOv4和OSNet均未在MOT20数据集上进行训练或微调，因此训练集上的结果具有良好的泛化能力。FPS结果是在Jetson Xavier NX上获得的（20W双核模式）。

FastMOT的MOTA得分接近MOT Challenge中的最先进跟踪器。增加N对MOTA的影响较小。跟踪速度最高可达42 FPS，具体取决于目标数量。对于像Jetson Nano这样资源受限的设备，建议使用更轻量级的模型（例如YOLOv4-tiny）。在桌面CPU/GPU上，FPS预计在50 - 150之间。

要求

• CUDA >= 10
• cuDNN >= 7
• TensorRT >= 7
• OpenCV >= 3.3
• Numpy >= 1.17
• Scipy >= 1.5
• Numba == 0.48
• CuPy == 9.2
• TensorFlow < 2.0（用于支持SSD）

x86 Ubuntu安装步骤

确保已安装nvidia-docker。镜像要求Ubuntu 18.04的NVIDIA驱动版本>=450，Ubuntu 20.04的驱动版本>=465.19.01。构建并运行Docker镜像：

# 对于Ubuntu 20.04，添加--build-arg TRT_IMAGE_VERSION=21.05
# 添加--build-arg CUPY_NVCC_GENERATE_CODE=...以加速针对你的GPU的构建，例如“arch=compute_75,code=sm_75”
docker build -t fastmot:latest .

# 如果无法在容器内可视化，请先运行xhost local:root
docker run --gpus all --rm -it -v $(pwd):/usr/src/app/FastMOT -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=unix$DISPLAY -e TZ=$(cat /etc/timezone) fastmot:latest

Jetson Nano/TX2/Xavier NX/Xavier安装步骤

确保已安装JetPack >= 4.4，并运行脚本：

./scripts/install_jetson.sh

下载模型

包含预训练的OSNet、SSD以及我的YOLOv4 ONNX模型。

./scripts/download_models.sh

构建YOLOv4 TensorRT插件

cd fastmot/plugins
make

下载VOC数据集用于INT8校准

仅适用于SSD（不支持Ubuntu 20.04）

./scripts/download_data.sh

使用方法

  python3 app.py --input-uri ... --mot

• 图片序列：--input-uri %06d.jpg
• 视频文件：--input-uri file.mp4
• USB网络摄像头：--input-uri /dev/video0
• MIPI CSI摄像头：--input-uri csi://0
• RTSP流：--input-uri rtsp://<user>:<password>@<ip>:<port>/<path>
• HTTP流：--input-uri http://<user>:<password>@<ip>:<port>/<path>

使用--show可视化，--output-uri保存输出，--txt生成符合MOT标准的结果。

查看所有选项的帮助信息：

  python3 app.py -h

注意，首次运行会因Numba编译而较慢。若要在x86上使用FFMPEG后端，请将此处的WITH_GSTREAMER设为False。

更多选项可在cfg/mot.json中配置

• 设置与源数据或相机配置相对应的resolution和frame_rate（可选）。这些参数对于图片序列、相机源和保存txt结果是必需的。列出USB/CSI摄像头的所有配置：

  v4l2-ctl -d /dev/video0 --list-formats-ext
  

• 若需切换网络，修改检测器下的model。例如，你可以从SSDInceptionV2、SSDMobileNetV1或SSDMobileNetV2中选择SSD。
• 如果追求更高的精度且FPS不是问题，可以降低detector_frame_skip。同样，提高detector_frame_skip以提升跟踪速度，但会牺牲一些精度。你还可以调整max_age，使max_age × detector_frame_skip ≈ 30。
• 修改visualizer_cfg以切换绘图选项。
• 所有参数都在API中详细说明。

跟踪自定义类别

FastMOT可以轻松扩展到自定义类别（例如车辆）。你需要分别对YOLO和ReID网络进行该对象类别的训练。关于YOLO训练，请参考Darknet，ReID训练请参考fast-reid。训练完成后，将权重转换为ONNX格式。从tensorrt_demos改编的TensorRT插件仅兼容Darknet。

FastMOT还支持多类别跟踪。建议为每个类别单独训练ReID网络，以便分别提取特征。

将YOLO转换为ONNX

1. 安装ONNX 1.4.1版本（而非最新版本）

   pip3 install onnx==1.4.1
   

2. 使用您的自定义cfg和权重进行转换

   ./scripts/yolo2onnx.py --config yolov4.cfg --weights yolov4.weights
   

添加自定义YOLOv3/v4

1. 继承fastmot.models.YOLO类，方法参考这里：https://github.com/GeekAlexis/FastMOT/blob/32c217a7d289f15a3bb0c1820982df947c82a650/fastmot/models/yolo.py#L100-L109

   ENGINE_PATH : Path
       TensorRT引擎的路径。
       如果未找到，则会在运行时从ONNX模型转换TensorRT引擎，并缓存以备后续使用。
   MODEL_PATH : Path
       ONNX模型的路径。
   NUM_CLASSES : int
       训练过的总类别数。
   LETTERBOX : bool
       调整大小时保持宽高比。
   NEW_COORDS : bool
       每个YOLO层的new_coords Darknet参数。
   INPUT_SHAPE : tuple
       输入尺寸，格式为`(channel, height, width)`。
   LAYER_FACTORS : List[int]
       每个YOLO层相对于输入尺寸的缩放因子。
   SCALES : List[float]
       每个YOLO层的scale_x_y Darknet参数。
   ANCHORS : List[List[int]]
       按每个YOLO层分组的锚点。
   

   注意：锚点顺序可能与Darknet cfg文件中的顺序不一致。您需要根据Darknet cfg中的mask索引，为每个YOLO层屏蔽掉不需要的锚点。 与YOLOv4不同，YOLOv3和YOLOv3/v4-tiny的锚点通常采用反序排列。
2. 使用fastmot.models.set_label_map设置类标签为您的目标类别。
3. 修改cfg/mot.json：将yolo_detector_cfg中的model设置为添加的Python类名，并设置感兴趣的class_ids。您可能需要根据模型表现调整conf_thresh。

添加自定义ReID

1. 继承fastmot.models.ReID类，方法参考这里：https://github.com/GeekAlexis/FastMOT/blob/32c217a7d289f15a3bb0c1820982df947c82a650/fastmot/models/reid.py#L50-L55

   ENGINE_PATH : Path
       TensorRT引擎的路径。
       如果未找到，则会在运行时从ONNX模型转换TensorRT引擎，并缓存以备后续使用。
   MODEL_PATH : Path
       ONNX模型的路径。
   INPUT_SHAPE : tuple
       输入尺寸，格式为`(channel, height, width)`。
   OUTPUT_LAYOUT : int
       模型输出的特征维度。
   METRIC : {'euclidean', 'cosine'}
       用于匹配特征的距离度量。
   

2. 修改cfg/mot.json：将feature_extractor_cfgs中的model设置为添加的Python类名。如果有多于一个类，需在列表feature_extractor_cfgs中添加更多特征提取器配置。您可能需要根据模型表现调整max_assoc_cost和max_reid_cost。

引用

如果您在项目或研究中觉得本仓库有用，请点赞并考虑引用：

@software{yukai_yang_2020_4294717,
  author       = {Yukai Yang},
  title        = {{FastMOT: 高性能基于Deep SORT和KLT的多目标跟踪}},
  month        = nov,
  year         = 2020,
  publisher    = {Zenodo},
  version      = {v1.0.0},
  doi          = {10.5281/zenodo.4294717},
  url          = {https://doi.org/10.5281/zenodo.4294717}
}

FastMOT 快速上手指南

环境准备

系统要求

• CUDA ≥ 10
• cuDNN ≥ 7
• TensorRT ≥ 7
• OpenCV ≥ 3.3
• Python 3.6+

前置依赖

pip3 install numpy>=1.17 scipy>=1.5 numba==0.48 cupy==9.2
# SSD 支持需 TensorFlow < 2.0
pip3 install tensorflow<2.0

Jetson 用户：请确保已安装 JetPack ≥ 4.4

安装步骤

1. 克隆仓库

git clone https://github.com/GeekAlexis/FastMOT.git
cd FastMOT

2. 下载预训练模型

./scripts/download_models.sh

3. 构建 YOLOv4 TensorRT 插件

cd fastmot/plugins
make
cd ..

4. （可选）下载 VOC 数据集（仅 SSD 需要）

./scripts/download_data.sh

5. Jetson 设备一键安装（推荐）

./scripts/install_jetson.sh

x86 用户：如需使用 Docker，推荐使用国内镜像加速构建：

docker build --build-arg TRT_IMAGE_VERSION=21.05 -t fastmot:latest .

基本使用

最简运行命令（视频文件跟踪）

python3 app.py --input-uri file.mp4 --mot --show

支持的输入源

类型	示例
视频文件	--input-uri file.mp4
图像序列	--input-uri %06d.jpg
USB 摄像头	--input-uri /dev/video0
RTSP 流	--input-uri rtsp://<user>:<password>@<ip>:<port>/<path>

保存结果

python3 app.py --input-uri file.mp4 --mot --show --output-uri output.mp4 --txt

首次运行会编译 Numba，耗时较长，后续运行将显著加速。
所有参数配置可修改 cfg/mot.json 文件调整。