3D目标检测精选资源

一份精心整理的3D目标检测研究列表（基于激光雷达的方法）。

欢迎通过 Pull Request 更新此列表。:smiley:

数据集

• KITTI 数据集

  • 3,712 个训练样本
  • 3,769 个验证样本
  • 7,518 个测试样本

• nuScenes 数据集

  • 28,000 个训练样本
  • 6,000 个验证样本
  • 6,000 个测试样本

• Lyft 数据集

• Waymo 开放数据集

  • 798 个训练序列，约包含 158,361 个激光雷达样本
  • 202 个验证序列，包含 40,077 个激光雷达样本。

顶级会议与研讨会

会议

• 计算机视觉与模式识别会议 (CVPR)
• 国际计算机视觉会议 (ICCV)
• 欧洲计算机视觉会议 (ECCV)

研讨会

• CVPR 2019 自动驾驶研讨会（nuScenes 3D 检测）(http://cvpr2019.wad.vision/)

• CVPR 2020 自动驾驶研讨会（BDD1k 3D 跟踪）(http://cvpr2020.wad.vision/)

• CVPR 2021 自动驾驶研讨会（Waymo 3D 检测）(http://cvpr2021.wad.vision/)

• CVPR 2022 自动驾驶研讨会（Waymo 3D 检测）(http://cvpr2022.wad.vision/)

• CVPR 2021 3D 视觉与机器人研讨会

• CVPR 2021 3D 场景理解研讨会：面向视觉、图形学和机器人领域

• ICCV 2019 自动驾驶研讨会

• ICCV 2021 自动驾驶视觉研讨会 (AVVision)，注释

• ICCV 2021 SSLAD Track 2 - 3D 目标检测

• ECCV 2020 自动驾驶指令研讨会

• ECCV 2020 自动驾驶感知研讨会

论文（基于激光雷达的方法）

• 基于激光雷达点云的3D目标检测端到端多视角融合 论文
• 使用全卷积网络从3D激光雷达中进行车辆检测（百度） 论文
• VoxelNet：基于点云的3D目标检测端到端学习 论文
• 使用深度卷积网络在占用栅格地图中进行目标检测与分类 论文
• RT3D：用于自动驾驶的激光雷达点云中的实时3D车辆检测 论文
• BirdNet：一种基于激光雷达信息的3D目标检测框架 论文
• LMNet：使用3D激光雷达在CPU上实现的实时多类目标检测 论文
• HDNET：利用高清地图进行3D目标检测 论文
• PointNet：面向3D分类与分割的点集深度学习 论文
• PointNet++：度量空间中点集的深度层次特征学习 论文
• IPOD：基于密集点的点云目标检测器 论文
• PIXOR：从点云中进行实时3D目标检测 论文
• DepthCN：利用3D-LIDAR和ConvNet进行车辆检测 论文
• Voxel-FPN：点云3D目标检测中的多尺度体素特征聚合 论文
• STD：点云的稀疏到稠密3D目标检测器 论文
• Fast Point R-CNN 论文
• StarNet：针对点云目标检测的定向计算 论文
• 面向点云3D目标检测的类别平衡分组与采样 论文
• LaserNet：一种高效的概率型3D目标检测器，适用于自动驾驶 论文
• FVNet：用于实时点云目标检测的3D前视提案生成 论文
• Part-A^2 Net：面向点云目标检测的3D部件感知与聚合神经网络 论文
• PointRCNN：点云中的3D目标提案生成与检测 论文
• Complex-YOLO：点云上的实时3D目标检测 论文
• YOLO4D：一种基于ST方法的激光雷达点云实时多目标检测与分类 论文
• YOLO3D：端到端实时激光雷达点云中的3D定向目标边界框检测 论文
• 基于伪激光雷达点云的单目3D目标检测 论文
• 用于自动驾驶的柱状体目标检测（ECCV2020） 论文
• EPNet：通过图像语义增强点特征以进行3D目标检测（ECCV2020） 论文
• 多回波激光雷达用于3D目标检测（ICCV2021） 论文
• LIGA-Stereo：学习基于立体视觉的3D检测器的激光雷达几何感知表示（ICCV2021） 论文
• SPG：通过语义点生成实现3D目标检测的无监督领域自适应（ICCV2021） 论文
• 结构感知的单阶段点云3D目标检测（CVPR2020） 论文 代码
• MLCVNet：用于3D目标检测的多级上下文VoteNet（CVPR2020） 论文 代码
• 3DSSD：基于点的3D单阶段目标检测器（CVPR2020） 论文 代码
• 基于激光雷达的在线3D视频目标检测，结合图消息传递和时空Transformer注意力（CVPR2020） 论文 代码
• PV-RCNN：用于3D目标检测的点-体素特征集合抽象（CVPR2020） 论文 代码
• Point-GNN：用于点云中3D目标检测的图神经网络（CVPR2020） 论文 代码
• MLCVNet：用于3D目标检测的多级上下文VoteNet（CVPR2020） 论文
• 基于密度聚类的点云3D目标检测（CVPR2020） 论文
• 看到的就是得到的：利用可见性进行3D目标检测（CVPR2020） 论文
• PointPainting：用于3D目标检测的序列融合（CVPR2020） 论文
• HVNet：基于混合体素的激光雷达3D目标检测网络（CVPR2020） 论文
• 激光雷达R-CNN：一种高效通用的3D目标检测器（CVPR2021） 论文
• 基于中心的3D目标检测与跟踪（CVPR2021） 论文
• 3DIoUMatch：利用IoU预测进行半监督3D目标检测（CVPR2021） 论文
• 接受单步3D目标检测器与稀疏Transformer相结合（CVPR2022） 论文，代码
• 面向激光雷达3D目标检测的点密度感知体素（CVPR2022） 论文，代码
• 面向点云理解的统一查询范式（CVPR2022） 论文
• 超越3D暹罗跟踪：面向点云中单个目标跟踪的运动中心范式（CVPR2022） 论文, 代码
• 并非所有点都平等：学习高度高效的基于点的3D激光雷达点云检测器（CVPR2022） 论文，代码
• 回归现实：利用形状引导的标签增强进行弱监督3D目标检测（CVPR2022） 论文，代码
• 体素集合Transformer：一种集合到集合的方法，用于从点云中进行3D目标检测（CVPR2022） 论文，代码
• BoxeR：面向2D和3D Transformer的框注意力（CVPR2022） 论文，代码，中文介绍
• 规范投票：迈向3D场景中鲁棒的定向边界框检测（CVPR2022） 论文，代码
• DeepFusion：用于多模态3D目标检测的激光雷达-相机深度融合（CVPR2022） 论文，代码
• TransFusion：利用Transformer实现3D目标检测的鲁棒激光雷达-相机融合。（CVPR2022） 论文，代码
• Point2Seq：将3D目标视为序列进行检测。（CVPR2022） 论文，代码
• CAT-Det：用于多模态3D目标检测的对比增强Transformer（CVPR2022） 论文
• 激光雷达降雪模拟用于鲁棒3D目标检测（CVPR2022） 论文，代码
• 统一Transformer跟踪器用于目标跟踪（CVPR2022） 论文，代码
• 稀疏融合稠密：通过深度补全实现高质量3D检测（CVPR2022） 论文
• M^2BEV：多摄像头联合3D检测与分割，采用统一鸟瞰图表示（CVPR2022） 论文
• RBGNet：基于射线的分组用于3D目标检测（CVPR2022） 论文，代码
• 快速点Transformer（CVPR2022） 论文
• 用于3D目标检测的焦距稀疏卷积网络（CVPR2022） 论文，代码
• FUTR3D：一个用于3D检测的统一传感器融合框架（CVPR2022） 论文
• VISTA：通过双交叉视图空间注意力提升3D目标检测性能（CVPR2022） 论文，代码
• OccAM的激光：基于遮挡的归因图，用于激光雷达数据上的3D目标检测器（CVPR2022） 论文
• 用于3D目标检测的体素场融合（CVPR2022） 论文，代码
• FSD V2：通过虚拟体素改进完全稀疏的3D目标检测
• LinK：用于激光雷达3D感知的线性核（CVPR2023） 论文，代码
• DSVT：带有旋转集合的动态稀疏体素Transformer（CVPR2023） 论文，代码
• VoxelNeXt：用于3D目标检测与跟踪的完全稀疏体素网（CVPR2023） 论文，代码
• LargeKernel3D：在3D稀疏CNN中扩大卷积核尺寸（CVPR2023） 论文，代码
• FocalFormer3D：专注于困难实例的3D目标检测（ICCV2023） 论文，代码
• CTRL：一旦检测到，永不丢失：超越人类水平的离线激光雷达3D目标检测（ICCV2023） 论文，代码
• Real-Aug：用于3D目标检测中激光雷达增强的真实场景合成（arxiv2023） 论文，代码

竞赛解决方案

• 第六届AI自动驾驶奥运会，ICRA 2021
• 第五届AI自动驾驶奥运会，NeurIPS 2020
• ICRA 2020自动驾驶基准测试进展研讨会
• CVPR 2019自动驾驶研讨会

工程实现

• Pointpillars-ONNX 代码
• Centerpoint-ONNX 代码
• BEVFormer-TensorRT 代码

综述

• 2021年4月 基于点云的自动驾驶3D目标检测与分类方法：综述与分类 论文
• 2021年7月 自动驾驶中的3D目标检测：综述 论文
• 2021年7月 自动驾驶中的多模态3D目标检测：综述 论文
• 2021年10月 基于激光雷达的深度学习自动驾驶3D目标检测方法综合综述 论文
• 2021年12月 面向3D点云的深度学习：综述 论文

书籍

• 基于激光雷达和摄像头的3D目标检测算法：设计与仿真 书籍

视频

• Aivia在线研讨会：3D目标检测与跟踪 视频
• 3D Object Retrieval 2021研讨会 视频
• UCSD SU实验室的3D深度学习教程 视频
• 讲座：自动驾驶汽车（图宾根大学安德烈亚斯·盖格教授） 视频
• 当前点云目标检测方法及未来方向（2021年4月） 视频
• 在CPU上以30+ FPS实现最新3D目标检测——MediaPipe与OpenCV Python（2021年5月） 视频
• MIT自动驾驶研讨会（2019年11月） 视频
• 商汤科技研讨会1 视频
• 商汤科技研讨会2 幻灯片

课程

• 多伦多大学，csc2541
• 图宾根大学，自动驾驶汽车 (强烈推荐)
• 百度-Udacity
• 百度-Apollo
• 多伦多大学，coursera

博客

• Waymo博客
• Apollo介绍之Perception模块
• Apollo笔记（Apollo学习笔记）——面向初学者的Apollo学习笔记。
• PointNet系列论文解读
• Deep3dBox：利用深度学习与几何学进行3D边界框估计
• SECOND算法解析
• PointRCNN深度解读
• Fast PointRCNN论文解读
• PointPillars论文和代码解析
• VoxelNet论文和代码解析
• CenterPoint源码分析
• PV-RCNN：3D目标检测Waymo挑战赛+KITTI榜单单模态第一算法
• LiDAR R-CNN：一种快速、通用的二阶段3D检测器
• 混合体素网络（HVNet)
• 自动驾驶感知| Range Image论文分享
• SST：单步长稀疏Transformer 3D物体检测器

著名研究组/学者

• 王乃彦@Tusimple
• 李洪生@香港中文大学
• Oncel Tuzel@苹果公司
• 奥斯卡·贝伊博姆@nuTonomy
• 拉奎尔·乌尔塔孙@多伦多大学
• 菲利普·克雷亨布尔@UT奥斯汀
• 德瓦·拉马南@卡内基梅隆大学
• 贾亚·贾@香港中文大学
• 托马斯·芬克豪瑟@普林斯顿大学
• 莱昂尼达斯·吉巴斯@斯坦福大学
• 史蒂文·瓦斯兰德@多伦多大学
• 瓦伊斯·阿尔沙里夫@Google Brain
• 蔡宇宁（前）@waymo
• 郭玉兰@国防科技大学
• 张磊@香港理工大学
• 李鸿洋@商汤科技
• 卢克·范·古尔@ETH
• 桑雅·菲德勒@NVIDIA
• 艾伦·L·尤伊尔@约翰霍普金斯大学
• OpenDriveLab

著名代码库

• 点云库（PCL）
• Torchsparse
• Spconv
• Det3D
• mmdetection3d
• OpenPCDet
• Centerpoint
• Apollo Auto - 百度开源自动驾驶平台
• AutoWare - 东京大学自动驾驶平台
• Openpilot - 一个旨在改进当前大多数新车中现有驾驶辅助系统的开源软件
• DeepVision3D
• MinkowskiEngine

著名工具包

• ZED Box

致谢

机器学习系统大全

3D目标检测精选项目

Awesome-3D-Object-Detection 快速上手指南

项目简介： Awesome-3D-Object-Detection 并非一个可直接运行的单一软件包，而是一个精选的基于 LiDAR 的 3D 目标检测研究资源列表。它汇集了主流数据集、顶级会议论文及对应的开源代码实现。本指南将指导开发者如何利用该列表中的资源，快速搭建环境并运行经典的 3D 检测模型（以列表中高频出现的 PointRCNN 或 PV-RCNN 为例）。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求。由于 3D 点云处理对计算性能要求较高，强烈建议使用配备 NVIDIA GPU 的 Linux 环境。

• 操作系统：Ubuntu 18.04 / 20.04 (推荐)
• 硬件要求：
  • GPU: NVIDIA 显卡 (显存建议 ≥ 8GB，支持 CUDA 10.2 或 11.x)
  • CPU: 多核处理器
• 前置依赖：
  • Python >= 3.7
  • CUDA Toolkit & cuDNN (需与 PyTorch 版本匹配)
  • Git
  • C++ 编译器 (g++)

推荐国内加速方案： 配置 pip 使用清华或阿里镜像源，以加快依赖包下载速度。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

由于该仓库是论文列表，您需要选择其中具体的某个算法项目进行安装。以下以列表中经典的 OpenPCDet 框架（支持 PV-RCNN, PointRCNN, SECOND 等多种算法）为例进行安装，这是复现列表中大多数 SOTA 模型的首选通用框架。

2.1 克隆代码库

git clone https://github.com/open-mmlab/OpenPCDet.git
cd OpenPCDet

2.2 创建虚拟环境并安装 PyTorch

建议使用 Conda 管理环境。以下命令安装与 CUDA 11.3 兼容的 PyTorch（请根据实际显卡驱动调整版本）：

conda create -n pcdet python=3.8 -y
conda activate pcdet

# 使用清华镜像安装 PyTorch
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge

2.3 安装项目依赖

安装 requirements.txt 中的基础依赖：

pip install -r requirements.txt

2.4 编译扩展模块

3D 检测算法通常包含自定义的 CUDA 算子（如点云采样、体素化等），需要编译安装：

python setup.py develop

注：若编译报错，请检查 gcc 和 nvcc 版本是否匹配。

3. 基本使用

安装完成后，您需要准备数据并运行预训练模型进行推理或训练。

3.1 数据集准备

列表中提到的 KITTI 是最常用的入门数据集。

1. 从 KITTI 官网 下载数据。
2. 按照 OpenPCDet/data/kitti 目录下的结构整理数据。
3. 生成信息文件（Info Files）：

   python -m pcdet.datasets.kitti.kitti_dataset create_kitti_infos tools/cfgs/dataset_configs/kitti_dataset.yaml
   

3.2 运行推理示例

假设您已下载了 PointRCNN 的预训练权重（可在原论文链接或 OpenPCDet 提供的模型库中找到），执行以下命令对 KITTI 验证集进行推理：

python demo.py --cfg_file tools/cfgs/kitti_models/pointrcnn.yaml \
               --ckpt checkpoint/pointrcnn.pth \
               --data_path data/kitti/training/velodyne/000008.bin \
               --ext .bin

3.3 启动训练

若要复现列表中的 PV-RCNN 算法，使用以下命令启动训练（支持多卡）：

python train.py --cfg_file tools/cfgs/kitti_models/pv_rcnn.yaml \
                --batch_size 4 \
                --epochs 80 \
                --workers 4

提示：

• 对于列表中其他特定论文（如 VoxelNet, Complex-YOLO），请访问其对应的 GitHub 链接（通常在 README 的 Paper 部分提供），遵循该项目独立的 README.md 进行安装，因为不同早期项目的依赖环境可能存在差异。
• 推荐优先尝试集成在 OpenPCDet 或 MMDetection3D 中的现代算法，以获得更好的维护性和兼容性。