如果您的问题长时间未得到回复，请通过电子邮件 lue.fan@ia.ac.cn 联系作者。

🔥 我们发布了CTRL的代码，这是首个开源的基于LiDAR的自动标注系统。详情请参阅 ctrl_instruction。

🔥 我们发布了FSDv2。性能更优，使用更便捷！支持Waymo、nuScenes和Argoverse 2数据集。详情请参阅 fsdv2_instruction。

---

本仓库包含我们一系列基于LiDAR的3D目标检测工作的官方实现：

• 拥抱单步长稀疏Transformer的3D目标检测器（CVPR 2022）。
• 全稀疏3D目标检测（NeurIPS 2022）。
• 超稀疏3D目标检测（TPAMI 2023）。
• 一旦检测到，永不丢失：在离线LiDAR 3D目标检测中超越人类表现（ICCV 2023，口头报告）。
• FSD V2：利用虚拟体素改进全稀疏3D目标检测。

用户可以按照docs中的说明来使用本仓库。

新闻

• [23-08-08] FSDv2的代码已合并到本仓库。
• [23-07-14] CTRL已被ICCV 2023接收。
• [23-06-21] FSD++（TPAMI版本的FSD）的代码已发布。
• [23-06-19] CTRL的代码已发布。
• [23-03-21] FSD的Argoverse 2模型已发布。详情请参阅 instructions。
• [22-09-19] FSD的代码在此发布。
• [22-09-15] FSD已被NeurIPS 2022接收。
• [22-03-02] SST已被CVPR 2022接收。
• [21-12-10] SST的代码已发布。

引用

如果我们的工作对您有所帮助，请考虑按以下方式引用。

由于FSD++（TPAMI版本）意外地未出现在Google Scholar的搜索结果中，如有可能，请使用以下BibTeX格式。

@inproceedings{fan2022embracing,
  title={{Embracing Single Stride 3D Object Detector with Sparse Transformer}},
  author={Fan, Lue and Pang, Ziqi and Zhang, Tianyuan and Wang, Yu-Xiong and Zhao, Hang and Wang, Feng and Wang, Naiyan and Zhang, Zhaoxiang},
  booktitle={CVPR},
  year={2022}
}

@inproceedings{fan2022fully,
  title={{Fully Sparse 3D Object Detection}},
  author={Fan, Lue and Wang, Feng and Wang, Naiyan and Zhang, Zhaoxiang},
  booktitle={NeurIPS},
  year={2022}
}

@article{fan2023super,
  title={Super Sparse 3D Object Detection},
  author={Fan, Lue and Yang, Yuxue and Wang, Feng and Wang, Naiyan and Zhang, Zhaoxiang},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  year={2023}
}

@inproceedings{fan2023once,
  title={Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR based 3D Object Detection},
  author={Fan, Lue and Yang, Yuxue and Mao, Yiming and Wang, Feng and Chen, Yuntao and Wang, Naiyan and Zhang, Zhaoxiang},
  booktitle={ICCV},
  year={2023}
}

@article{fan2023fsdv2,
  title={FSD V2: Improving Fully Sparse 3D Object Detection with Virtual Voxels},
  author={Fan, Lue and Wang, Feng and Wang, Naiyan and Zhang, Zhaoxiang},
  journal={arXiv preprint arXiv:2308.03755},
  year={2023}
}

致谢

本项目基于以下代码库。

• MMDetection3D
• LiDAR-RCNN

感谢CenterPoint的作者提供了他们的详细结果。

SST 快速上手指南

SST (Single-stride Sparse Transformer) 及其后续系列（FSD, FSDv2, Super Sparse）是图森未来（TuSimple）开源的基于 LiDAR 的高性能 3D 目标检测框架。本指南将帮助你快速搭建环境并运行基础模型。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• GPU: NVIDIA GPU (建议显存 >= 11GB)，已安装 CUDA (推荐 11.1+) 和 cuDNN
• Python: 3.7 或更高版本
• PyTorch: 1.8.0 或更高版本

前置依赖安装： 建议先安装 PyTorch 和 MMCV。国内用户推荐使用清华源或阿里源加速安装。

# 示例：安装 PyTorch (请根据实际 CUDA 版本调整，此处以 CUDA 11.1 为例)
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html

# 安装 MMCV (SST 基于 MMDetection3D，需匹配对应版本)
pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html

2. 安装步骤

克隆仓库并安装 SST 及其依赖。

# 1. 克隆代码库
git clone https://github.com/tusen-ai/SST.git
cd SST

# 2. 安装 MMDetection3D 依赖 (SST 基于此框架)
# 注意：具体版本请参考 docs 中的详细说明，此处为通用安装逻辑
pip install -r requirements.txt

# 3. 安装 SST 包
pip install -e .

提示：该项目深度依赖 MMDetection3D。如果遇到编译错误，请确保已正确安装 mmcv-full 且版本与 PyTorch/CUDA 严格匹配。详细的环境配置说明请参阅项目根目录下的 docs 文件夹。

3. 基本使用

SST 系列模型支持多种数据集（Waymo, nuScenes, Argoverse 2 等）。以下以 Waymo 数据集 上的 SST (CVPR 2022) 模型为例，展示推理流程。

3.1 数据准备

请下载 Waymo Open Dataset 并按照 data/waymo 目录结构整理数据。你需要运行数据预处理脚本生成 .pkl 信息文件（具体命令参考 tools/create_data.py）。

3.2 模型推理

使用预训练权重对数据进行测试。

# 单卡测试示例
# --config: 配置文件路径
# --checkpoint: 预训练权重路径 (.pth)
# --out: 输出结果路径
# --eval: 评估指标 (如 waymo_criterion)

python tools/test.py \
    configs/sst/sst_waymo_dbinf_1x.py \
    checkpoints/sst_waymo.pth \
    --out results.pkl \
    --eval waymo_criterion

3.3 训练模型

如果你需要从头训练或使用新数据微调：

# 单卡训练示例
python tools/train.py configs/sst/sst_waymo_dbinf_1x.py --work-dir work_dirs/sst_waymo

# 多卡训练示例 (例如使用 8 张 GPU)
./tools/dist_train.sh configs/sst/sst_waymo_dbinf_1x.py 8 --work-dir work_dirs/sst_waymo

进阶提示：

• FSDv2 / CTRL: 项目最新发布的 FSDv2（支持虚拟体素）和 CTRL（自动标注系统）拥有更优的性能和易用性。具体配置文件和使用指令请查阅 docs/fsdv2_instructions.md 和 docs/CTRL_instructions.md。
• 配置文件: 所有模型的配置文件均位于 configs/ 目录下，按数据集和模型名称分类。