Det3D

一个基于 PyTorch 的通用 3D 目标检测代码库。

1. 简介

Det3D 是首个提供开箱即用的 3D 目标检测工具箱，内置了 PointPillars、SECOND、PIXOR 等多种 3D 目标检测算法的实现，并在 KITTI(ViP) 和 nuScenes(CBGS) 等主流基准上取得了最先进的性能。Det3D 的主要特性包括以下几个方面：

• 多数据集支持：KITTI、nuScenes、Lyft
• 基于点和基于体素的模型库
• 最先进的性能
• DDP 和 SyncBN 支持

2. 安装

请参考 INSTALATION.md。

3. 快速入门

请参考 GETTING_STARTED.md。

4. 模型库

4.1 nuScenes

	mAP	mATE	mASE	mAOE	mAVE	mAAE	NDS	检查点
CBGS	49.9	0.335	0.256	0.323	0.251	0.197	61.3	链接
PointPillar	41.8	0.363	0.264	0.377	0.288	0.198	56.0	链接

原始模型和预测文件可在 CBGS README 中找到。

4.2 KITTI

Second 在 KITTI(val) 数据集上的表现

car  AP @0.70, 0.70,  0.70:
bbox AP:90.54, 89.35, 88.43
bev  AP:89.89, 87.75, 86.81
3d   AP:87.96, 78.28, 76.99
aos  AP:90.34, 88.81, 87.66

PointPillars 在 KITTI(val) 数据集上的表现

car  AP@0.70,  0.70,  0.70:
bbox AP:90.63, 88.86, 87.35
bev  AP:89.75, 86.15, 83.00
3d   AP:85.75, 75.68, 68.93
aos  AP:90.48, 88.36, 86.58

4.3 Lyft

• Lyft 配置

4.4 Waymo

5. 功能特性

• 模型
  • VoxelNet
  • SECOND
  • PointPillars
• 特性
  • 多任务学习
  • 分布式训练与验证
  • SyncBN
  • 灵活的锚框尺寸
  • TensorboardX
  • 检查点保存与断点续训
  • 自包含的可视化功能
  • 微调
  • 多尺度训练与验证
  • 旋转 RoI Align

6. 待办事项

• 即将发布

  • CGBS 在 Lyft(val) 数据集上的表现

• 模型

  • PointRCNN
  • PIXOR

7. 欢迎贡献

• 支持 Waymo 数据集。
• 添加其他 3D 检测/分割模型，如 VoteNet、STD 等。

8. 开发者

Benjin Zhu , Bingqi Ma

9. 许可证

Det3D 采用 Apache 许可证 发布。

10. 引用

Det3D 是 CBGS 的衍生代码库。如果您在研究中使用了本项目，请考虑引用：

@article{zhu2019class,
  title={Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection},
  author={Zhu, Benjin and Jiang, Zhengkai and Zhou, Xiangxin and Li, Zeming and Yu, Gang},
  journal={arXiv preprint arXiv:1908.09492},
  year={2019}
}

11. 致谢

• mmdetection
• mmcv
• second.pytorch
• maskrcnn_benchmark

Det3D 快速上手指南

Det3D 是一个基于 PyTorch 的通用 3D 目标检测代码库，支持 KITTI、nuScenes、Lyft 等主流数据集，内置 PointPillars、SECOND、CBGS 等先进算法。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04/18.04)
• Python: Python 3.6+
• PyTorch: 1.1+ (建议与 CUDA 版本匹配)
• CUDA: 9.0+
• 其他依赖: spconv, numba, tensorboardX 等

注意：由于涉及底层 CUDA 算子编译，建议使用 Conda 管理虚拟环境以避免依赖冲突。

2. 安装步骤

请参考官方提供的详细安装文档 INSTALLATION.md。通常包含以下核心步骤：

1. 克隆仓库

   git clone https://github.com/poodarchu/Det3D.git
   cd Det3D
   

2. 安装依赖 创建 Conda 环境并安装基础 Python 包：

   conda create -n det3d python=3.7
   conda activate det3d
   pip install -r requirements.txt
   

3. 编译 SpConv 及自定义算子 Det3D 依赖 spconv 和自定义 CUDA 扩展。请根据 INSTALLATION.md 中的指引，确保正确编译 spconv 和项目内的 C++/CUDA 扩展模块。

   提示：若编译遇到权限或路径问题，请检查 CUDA 环境变量 (CUDA_HOME) 是否配置正确。

3. 基本使用

详细的训练和测试流程请参阅 GETTING_STARTED.md。以下是基于 nuScenes 数据集使用 CBGS 模型的基本示例。

3.1 数据准备

请下载 nuScenes 数据集并按照标准格式组织目录结构。

3.2 模型训练

使用分布式数据并行 (DDP) 进行训练。以下命令以 nuScenes 全类别 CBGS 配置为例：

python -m torch.distributed.launch --nproc_per_node=8 ./tools/train.py examples/cbgs/configs/nusc_all_vfev3_spmiddleresnetfhd_rpn2_mghead_syncbn.py

• --nproc_per_node=8: 指定使用的 GPU 数量，请根据实际硬件调整。
• 配置文件路径可根据需求替换为 examples/point_pillars/ 或其他模型配置。

3.3 模型评估

训练完成后，使用以下命令在验证集上评估模型性能：

python ./tools/dist_test.py examples/cbgs/configs/nusc_all_vfev3_spmiddleresnetfhd_rpn2_mghead_syncbn.py --work_dir path/to/work_dir --checkpoint path/to/checkpoint.pth

3.4 推理与可视化

Det3D 支持内置可视化工具。您可以加载预训练权重对单帧点云进行推理并查看结果。具体脚本参考 tools/ 目录下的相关演示代码。

---

预训练模型参考：

• nuScenes (CBGS): mAP 49.9, NDS 61.3 - 下载链接
• KITTI (Second): Car 3D AP ~87.96 - 配置文件见 examples/second/configs/