AB3DMOT

3D多目标跟踪：基准方法与新评估指标（IROS 2020，ECCVW 2020）

本仓库包含我们在IROS 2020发表的完整论文“3D多目标跟踪：基准方法与新评估指标”（链接）以及在ECCVW 2020发表的短文“AB3DMOT：3D多目标跟踪基准方法与新评估指标”（链接）的官方Python实现。我们的项目主页和视频演示请见这里。如果您觉得我们的论文或代码有用，请引用以下文献：

@article{Weng2020_AB3DMOT, 
author = {Weng, Xinshuo and Wang, Jianren and Held, David and Kitani, Kris}, 
journal = {IROS}, 
title = {{3D多目标跟踪：基准方法与新评估指标}}, 
year = {2020} 
}

@article{Weng2020_AB3DMOT_eccvw, 
author = {Weng, Xinshuo and Wang, Jianren and Held, David and Kitani, Kris}, 
journal = {ECCVW}, 
title = {{AB3DMOT：3D多目标跟踪基准方法与新评估指标}}, 
year = {2020} 
}

概述

• 新闻
• 简介
• 安装
• KITTI数据集快速演示
• 基准测试
• 致谢

新闻

• 2022年2月27日：新增对nuScenes数据集的支持，并更新了README文件。
• 2022年2月26日：重构代码库，显著提升了在KITTI 3D MOT上的性能。
• 2020年8月6日：摘要扩展（口头报告）被两个ECCV研讨会接受：WiCV、PAD。
• 2020年7月5日：发布了KITTI数据集所有三个类别的2D MOT结果。
• 2020年7月4日：代码模块化，并修复了KITTI评估中针对DontCare对象的一个小bug。
• 2020年6月30日：论文被IROS 2020接收。
• 2020年1月10日：新增sAMOTA指标并更新了结果。
• 2019年8月21日：支持Python 3。
• 2019年8月21日：发布了KITTI数据集“Pedestrian”和“Cyclist”类别的3D MOT结果。
• 2019年8月19日：修复了一个方向校正的小bug。
• 2019年7月9日：发布了代码及KITTI数据集“Car”类别的3D MOT结果，仅支持Python 2。

简介

3D多目标跟踪（MOT）是许多实时应用（如自动驾驶或辅助机器人技术）中的关键组件技术。然而，近年来关于3D MOT的研究往往更注重系统精度，而忽视了计算成本和系统复杂度。与此相反，本研究提出了一种简单却精确的实时3D MOT基准系统。我们使用现成的3D目标检测器从LiDAR点云中获取定向3D边界框，然后结合3D卡尔曼滤波器和匈牙利算法进行状态估计和数据关联。尽管我们的基准系统只是标准方法的简单组合，却取得了当前最先进的结果。为了评估该基准系统，我们提出了一个基于官方KITTI 2D MOT评估的3D MOT扩展方案，并引入了两个新指标。我们的3D MOT基准方法在KITTI数据集上实现了新的SOTA性能，将3D MOTA从先前工作的72.23提升至76.47。令人惊讶的是，通过将3D跟踪结果投影到2D图像平面并与已发布的2D MOT方法进行比较，我们的系统在官方KITTI排行榜上位列第二。此外，我们的3D MOT方法运行速度可达214.7 FPS，比当前最先进的2D MOT系统快65倍。

安装

请仔细遵循我们提供的安装说明，以避免运行代码时出现错误。

KITTI数据集快速演示

为了快速了解我们在KITTI数据集上的方法性能，您可以在安装代码后运行以下命令。此步骤无需下载任何数据集（本代码仓库已包含一小部分数据）。

python3 main.py --dataset KITTI --split val --det_name pointrcnn
python3 scripts/post_processing/trk_conf_threshold.py --dataset KITTI --result_sha pointrcnn_val_H1
python3 scripts/post_processing/visualization.py --result_sha pointrcnn_val_H1_thres --split val

基准测试

我们提供了用于复现我们在各种支持数据集（KITTI、nuScenes）上方法性能的说明（推理、评估和可视化），以供基准测试之用。

ROS中的实时跟踪

特别感谢Pardis开发的在ROS中运行的实时版本。代码可在这里找到。

致谢

本方法的灵感来源于“SORT”。

AB3DMOT 快速上手指南

AB3DMOT 是一个简单且高效的 3D 多目标跟踪（3D MOT）基线系统，基于 3D 卡尔曼滤波和匈牙利算法，在 KITTI 和 nuScenes 数据集上实现了领先的实时性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python 版本: Python 3.6+ (已不再支持 Python 2)
• 核心依赖:
  • numpy
  • scipy
  • opencv-python
  • pyquaternion (nuScenes 数据集必需)
  • nuscenes-devkit (nuScenes 数据集必需)
• 硬件建议: 虽然推理速度极快，但运行 3D 检测器（如 PointRCNN）通常需要 NVIDIA GPU 及对应的 CUDA 环境。

提示：建议使用 conda 创建虚拟环境以避免依赖冲突。国内用户可使用清华源或阿里源加速包安装：

conda create -n ab3dmot python=3.8
conda activate ab3dmot
pip install numpy scipy opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/xinshuoweng/AB3DMOT.git
   cd AB3DMOT
   

2. 安装项目依赖 请严格参照官方提供的详细安装文档以避免错误，主要步骤通常包括安装必要的 Python 库。对于仅需运行基准测试或演示的用户，基础依赖如下：

   pip install -r requirements.txt
   

   (注：若仓库根目录无 requirements.txt，请手动安装上述“环境准备”中列出的核心依赖)

3. 配置数据集（可选）

   • 快速演示：无需下载额外数据，代码库已内置少量 KITTI 样本数据。
   • 完整评测：如需在完整 KITTI 或 nuScenes 数据集上复现结果，请参考 docs/KITTI.md 或 docs/nuScenes.md 下载数据并放置于指定目录。

基本使用

以下命令展示了如何在 KITTI 数据集 上进行快速演示。该流程包含三个步骤：运行跟踪、后处理（置信度阈值过滤）以及结果可视化。

注意：以下命令直接使用仓库内置的小样本数据，无需预先下载大型数据集。

1. 运行 3D 跟踪 使用 PointRCNN 检测器在验证集上运行跟踪算法：

   python3 main.py --dataset KITTI --split val --det_name pointrcnn
   

2. 后处理（置信度过滤） 对生成的跟踪结果进行置信度阈值过滤，优化输出质量：

   python3 scripts/post_processing/trk_conf_threshold.py --dataset KITTI --result_sha pointrcnn_val_H1
   

3. 可视化结果 生成可视化的跟踪视频以直观查看效果：

   python3 scripts/post_processing/visualization.py --result_sha pointrcnn_val_H1_thres --split val
   

执行完毕后，可视化结果通常保存在 results 或 visualizations 相关目录下（具体路径视脚本输出日志而定）。如需在 nuScenes 数据集上运行，请将 --dataset 参数改为 nuscenes 并确保已正确配置 nuScenes 数据路径。