摘要

多目标跟踪（MOT）的目标是在场景中检测并跟踪所有目标对象，同时为每个目标保持唯一的标识符。在本文中，我们提出了一种新的、性能先进的鲁棒跟踪器，它能够结合运动和外观信息的优势，并加入相机运动补偿以及更精确的卡尔曼滤波状态向量。我们的新跟踪器 BoT-SORT 和 BoT-SORT-ReID 在 MOTChallenge 数据集 [29, 11] 的 MOT17 和 MOT20 测试集上，在所有主要的 MOT 指标——MOTA、IDF1 和 HOTA——方面均排名第一。对于 MOT17 数据集，我们取得了 80.5 的 MOTA、80.2 的 IDF1 和 65.0 的 HOTA。

MOT 挑战赛测试集上的可视化结果

https://user-images.githubusercontent.com/57259165/177045531-947d3146-4d07-4549-a095-3d2daa4692be.mp4

https://user-images.githubusercontent.com/57259165/177048139-05dcb382-010e-41a6-b607-bb2b76afc7db.mp4

https://user-images.githubusercontent.com/57259165/180818066-f67d1f78-515e-4ee2-810f-abfed5a0afcb.mp4

跟踪性能

MOT17 挑战赛测试集的结果

MOT20 挑战赛测试集的结果

安装

该代码已在 Ubuntu 20.04 上测试通过。

BoT-SORT 代码基于 ByteTrack 和 FastReID。
请访问它们的安装指南以获取更多设置选项。

使用 Anaconda 进行设置

步骤 1. 创建 Conda 环境并安装 PyTorch。

conda create -n botsort_env python=3.7
conda activate botsort_env

步骤 2. 从 pytorch.org 安装匹配的 PyTorch 和 torchvision。
代码使用 torch 1.11.0+cu113 和 torchvision==0.12.0 进行了测试。

步骤 3. 安装 BoT-SORT。

git clone https://github.com/NirAharon/BoT-SORT.git
cd BoT-SORT
pip3 install -r requirements.txt
python3 setup.py develop

步骤 4. 安装 pycocotools。

pip3 install cython; pip3 install 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

步骤 5. 其他

# Cython-bbox
pip3 install cython_bbox

# faiss cpu / gpu
pip3 install faiss-cpu
pip3 install faiss-gpu

数据准备

从 MOT17 和 MOT20 的官方网站下载数据，并将其放置在以下结构中：

<dataets_dir>
      │
      ├── MOT17
      │      ├── train
      │      └── test    
      │
      └── MOT20
             ├── train
             └── test

为了训练 ReID，必须按如下方式生成检测补丁：

cd <BoT-SORT_dir>

# 对于 MOT17 
python3 fast_reid/datasets/generate_mot_patches.py --data_path <dataets_dir> --mot 17

# 对于 MOT20
 python3 fast_reid/datasets/generate_mot_patches.py --data_path <dataets_dir> --mot 20

将数据集链接到 FastReID export FASTREID_DATASETS=<BoT-SORT_dir>/fast_reid/datasets. 如果未设置，则默认为 fast_reid/datasets

模型库

下载并存储训练好的模型到 'pretrained' 文件夹中，如下所示：

<BoT-SORT_dir>/pretrained

• 我们使用了公开可用的 ByteTrack 模型库，该库在 MOT17、MOT20 以及 YOLOX 目标检测的消融实验上进行了训练。

• 我们的训练好的 ReID 模型可以从 MOT17-SBS-S50 和 MOT20-SBS-S50 下载。

• 对于多类别的 MOT 应用，可以使用在 COCO 数据集（或任何自定义权重）上训练的 YOLOX 或 YOLOv7。

训练

训练 ReID 模块

在按照“数据准备”部分所述生成 MOT ReID 数据集之后。

cd <BoT-SORT_dir>

# 用于训练 MOT17
python3 fast_reid/tools/train_net.py --config-file ./fast_reid/configs/MOT17/sbs_S50.yml MODEL.DEVICE "cuda:0"

# 用于训练 MOT20
python3 fast_reid/tools/train_net.py --config-file ./fast_reid/configs/MOT20/sbs_S50.yml MODEL.DEVICE "cuda:0"

有关更多说明和选项，请参阅 FastReID 仓库。

跟踪

只需将本部分生成的 txt 文件提交至 MOTChallenge 网站，即可获得与论文中相同的结果。
仔细调整跟踪参数可能会带来更高的性能。在论文中，我们采用了 ByteTrack 的校准方法。

• 在 MOT17 上测试

cd <BoT-SORT_dir>
python3 tools/track.py <dataets_dir/MOT17> --default-parameters --with-reid --benchmark "MOT17" --eval "test" --fp16 --fuse
python3 tools/interpolation.py --txt_path <path_to_track_result>

• 在 MOT20 上测试

cd <BoT-SORT_dir>
python3 tools/track.py <dataets_dir/MOT20> --default-parameters --with-reid --benchmark "MOT20" --eval "test" --fp16 --fuse
python3 tools/interpolation.py --txt_path <path_to_track_result>

• 在 MOT17 验证集上评估（训练集的后半部分）

cd <BoT-SORT_dir>

# BoT-SORT
python3 tools/track.py <dataets_dir/MOT17> --default-parameters --benchmark "MOT17" --eval "val" --fp16 --fuse

# BoT-SORT-ReID
python3 tools/track.py <dataets_dir/MOT17> --default-parameters --with-reid --benchmark "MOT17" --eval "val" --fp16 --fuse

• 其他实验

可以使用其他参数，__无需__传递 --default-parameters 标志。
对于训练集和验证集的评估，我们建议使用来自 TrackEval 的官方 MOTChallenge 评估代码。

# 如需查看所有可用的跟踪参数，请运行：
python3 tools/track.py -h 

• 使用 YOLOv7 的实验

可以使用其他参数，__无需__传递 --default-parameters 标志。
对于训练集和验证集的评估，我们建议使用来自 TrackEval 的官方 MOTChallenge 评估代码。

# 如需查看所有可用的跟踪参数，请运行：
python3 tools/track_yolov7.py -h 

演示

基于 BoT-SORT(-ReID) 的 YOLOX 多类别演示。

cd <BoT-SORT_dir>

# 原始示例
python3 tools/demo.py video --path <视频路径> -f yolox/exps/example/mot/yolox_x_mix_det.py -c pretrained/bytetrack_x_mot17.pth.tar --with-reid --fuse-score --fp16 --fuse --save_result

# 多类别示例
python3 tools/mc_demo.py video --path <视频路径> -f yolox/exps/example/mot/yolox_x_mix_det.py -c pretrained/bytetrack_x_mot17.pth.tar --with-reid --fuse-score --fp16 --fuse --save_result

基于 BoT-SORT(-ReID) 的 YOLOv7 多类别演示。

cd <BoT-SORT_dir>
python3 tools/mc_demo_yolov7.py --weights pretrained/yolov7-d6.pt --source <视频/图片路径> --fuse-score --agnostic-nms (--with-reid)

注意事项

我们的相机运动补偿模块基于 OpenCV contrib C++ 版本的 VideoStab 全局运动估计，目前尚无 Python 版本。
可在 GMC 文件夹中的名为 'VideoCameraCorrection' 的 C++ 项目中生成运动文件。
生成的文件可供跟踪器使用。

此外，也有基于 Python 的运动估计技术可供选择，可通过向 demo.py 或 track.py 传递
'--cmc-method' <files | orb | ecc> 来指定。

引用

@article{aharon2022bot,
  title={BoT-SORT: Robust Associations Multi-Pedestrian Tracking},
  author={Aharon, Nir and Orfaig, Roy and Bobrovsky, Ben-Zion},
  journal={arXiv preprint arXiv:2206.14651},
  year={2022}
}

致谢

大量代码、思路和成果均借鉴自 ByteTrack、 StrongSORT、 FastReID、 YOLOX 和 YOLOv7。
感谢他们的杰出工作！

BoT-SORT 是一个鲁棒的多行人跟踪器，结合了运动信息、外观特征（ReID）以及相机运动补偿（GMC），在 MOT17 和 MOT20 数据集上取得了 SOTA 成绩。支持 YOLOX 和 YOLOv7 检测器，并支持多类别跟踪。

环境准备

• 操作系统: 推荐 Ubuntu 20.04
• Python: 3.7
• PyTorch: 1.11.0+ (配套 torchvision 0.12.0)
• CUDA: 11.3 (根据实际显卡驱动调整)
• 前置依赖: Git, Conda (推荐)

提示：国内用户建议使用清华或阿里镜像源加速 pip 和 conda 安装。

安装步骤

1. 创建 Conda 环境并安装 PyTorch

conda create -n botsort_env python=3.7
conda activate botsort_env

访问 pytorch.org 获取适合你环境的安装命令，或使用以下命令安装测试通过的版本：

# 使用 pip 安装 (国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)
pip install torch==1.11.0+cu113 torchvision==0.12.0 -f https://download.pytorch.org/whl/cu113/torch_stable.html

2. 克隆代码并安装依赖

git clone https://github.com/NirAharon/BoT-SORT.git
cd BoT-SORT
pip install -r requirements.txt
python setup.py develop

3. 安装额外依赖 (COCO API & Faiss)

# 安装 pycocotools
pip install cython
pip install 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

# 安装 Cython-bbox
pip install cython_bbox

# 安装 Faiss (根据需求选择 CPU 或 GPU 版本)
pip install faiss-cpu
# 或者
# pip install faiss-gpu

基本使用

1. 准备预训练模型

将下载好的检测模型和 ReID 模型放入 pretrained 文件夹。

• 检测模型: 可使用 ByteTrack 提供的 YOLOX 模型 (如 bytetrack_x_mot17.pth.tar) 或 YOLOv7 权重。
• ReID 模型: 从项目提供的链接下载 MOT17/MOT20 对应的 SBS-S50 模型。

目录结构示例：

<BoT-SORT_dir>/pretrained
      ├── bytetrack_x_mot17.pth.tar
      └── mot17_sbs_S50.pth (假设文件名)

2. 运行视频演示 (Demo)

以下命令展示如何使用基于 YOLOX 的 BoT-SORT-ReID 对本地视频进行跟踪，并保存结果。

cd <BoT-SORT_dir>

# 单类行人跟踪示例
python3 tools/demo.py video \
  --path <path_to_video> \
  -f yolox/exps/example/mot/yolox_x_mix_det.py \
  -c pretrained/bytetrack_x_mot17.pth.tar \
  --with-reid \
  --fuse-score \
  --fp16 \
  --fuse \
  --save_result

参数说明：

• --path: 输入视频路径或图片文件夹路径。
• -f: YOLOX 配置文件路径。
• -c: 预训练检测模型权重路径。
• --with-reid: 启用重识别模块（提升遮挡下的跟踪效果）。
• --fuse: 启用分数融合策略。
• --save_result: 保存带有跟踪框的视频结果。

3. 多类别跟踪示例 (Multi-class)

如果你使用的是在 COCO 数据集上训练的通用模型（如 YOLOX 或 YOLOv7），可以运行多类别跟踪：

# 基于 YOLOX 的多类别演示
python3 tools/mc_demo.py video \
  --path <path_to_video> \
  -f yolox/exps/example/mot/yolox_x_mix_det.py \
  -c pretrained/bytetrack_x_mot17.pth.tar \
  --with-reid \
  --fuse-score \
  --fp16 \
  --fuse \
  --save_result

# 基于 YOLOv7 的多类别演示
python3 tools/mc_demo_yolov7.py \
  --weights pretrained/yolov7-d6.pt \
  --source <path_to_video> \
  --fuse-score \
  --agnostic-nms \
  --with-reid

注意：相机运动补偿（GMC）默认依赖 C++ 生成的运动文件。若未生成，可通过添加 --cmc-method orb 或 --cmc-method ecc 参数使用纯 Python 实现的运动估计方法。