3D-Point-Clouds

3D点云SOTA方法,代码,论文,数据集(点云目标检测&分割)

• 如有疑问，微信：shuangyu_ai
• 更多自动驾驶相关交流群，欢迎扫码加入：自动驾驶感知(PCL/ROS+DL)：技术交流群汇总(新版)

应同学建议，创建了星球 【自动驾驶感知(PCL/ROS+DL)】 专注于自动驾驶感知领域，包括传统方法(PCL点云库,ROS)和深度学习（目标检测+语义分割）方法。同时涉及Apollo，Autoware(基于ros2)，BEV感知，三维重建，SLAM(视觉+激光雷达) ，模型压缩（蒸馏+剪枝+量化等），自动驾驶模拟仿真，自动驾驶数据集标注&数据闭环等自动驾驶全栈技术，欢迎扫码二维码加入，一起登顶自动驾驶的高峰！

点云处理方法上主要包括两类方法：

• 深度学习方法 [python]
  • 目标检测&语义分割&多目标跟踪（MOT）
  • 【202212done】目标检测最新论文实时更新
  • 【202304done】语义分割最新论文实时更新
• 传统上基于规则的方法 [c++]
  • PCL:https://github.com/HuangCongQing/pcl-learning
  • ROS: https://github.com/HuangCongQing/ROS
  • Apollo笔记：https://github.com/HuangCongQing/apollo_note

@双愚 , 若fork或star请注明来源

TODO

• 【202212done】目标检测最新论文实时更新
• 【202304done】语义分割最新论文实时更新
• 【202209done】目标检测框架(pcdet+mmdetection3d+det3d+paddle3d)文章撰写
• 【202208done】数据集调研总结
• 【202406done】3D语义分割框架综述(mmdetection3d|OpenPCSeg|Pointcept)
• 数据集详细剖析：kitti&waymo&nuScenes
• Apollo学习https://github.com/HuangCongQing/apollo_note

目录

0 目标检测框架(pcdet+mmdetection3d+det3d+paddle3d)

【202209done】目标检测框架(pcdet+mmdetection3d+det3d+paddle3d)文章撰写

代码注解笔记：

1. pcdet:https://github.com/HuangCongQing/pcdet-note
2. mmdetection3d:https://github.com/HuangCongQing/mmdetection3d-note
3. det3d: TODO
4. paddle3d: TODO

1 paper(code)

• paperswithcode: https://paperswithcode.com/

2 Datasets

自动驾驶相关数据集调研总结【附下载地址】(更新ing)

数据集基本处理: 数据集标注文件处理

部分数据下载脚本：https://github.com/HuangCongQing/download_3D_dataset

3 点云可视化

点云可视化笔记和代码：https://github.com/HuangCongQing/Point-Clouds-Visualization

3D点云可视化的库有很多，你的选择可能是：

• pcl 点云可视化 [c++]
• ROS topic可视化 [c++] [python]
• open3D [python]
• mayavi[python]
• matplolib [python]

4 点云数据标注

数据标注工具总结：https://github.com/HuangCongQing/data-labeling-tools

paper(code)

3D_Object_Detection

• >>>目标检测最新论文实时更新

• One-stage
• Two-stage

One-stage

Voxel-Net、SECOND、PointPillars、HVNet、DOPS、Point-GNN、SA-SSD、3D-VID、3DSSD

• Voxel-Net
• SECOND
• PointPillars
• HVNet
• DOPS
• Point-GNN
• SA-SSD
• 3D-VID
• 3DSSD

Two-stage

F-pointNet、F-ConvNet、Point-RCNN、Part-A^2、PV-RCNN、Fast Point RCNN、TANet

• F-pointNet
• F-ConvNet
• Point-RCNN
• Part-A^2
• PV-RCNN
• Fast Point RCNN
• TANet

3D_Semantic_Segmentation

• >>>语义分割最新论文实时更新

PointNet is proposed to learn per-point features using shared MLPs and global features using symmetrical pooling functions. Based on PointNet, a series of point-based networks have been proposed

Point-based Methods: these methods can be roughly divided into pointwise MLP methods, point convolution methods, RNN-based methods, and graph-based methods

1 pointwise MLP methods

PointNet++，PointSIFT，PointWeb，ShellNet，RandLA-Net

PointNet++ PointSIFT PointWeb ShellNet RandLA-Net

2 point convolution methods

PointCNN PCCN A-CNN ConvPoint pointconv KPConv DPC InterpCNN

• PointCNN
• PCCN
• A-CNN
• ConvPoint
• pointconv
• KPConv
• DPC
• InterpCNN

3 RNN-based methods

G+RCU RSNet 3P-RNN DAR-Net

• G+RCU
• RSNet
• 3P-RNN
• DAR-Net

4 graph-based methods

DGCNN SPG SSP+SPG PyramNet GACNet PAG HDGCN HPEIN SPH3D-GCN DPAM

• DGCNN
• SPG
• SSP+SPG
• PyramNet
• GACNet
• PAG
• HDGCN
• HPEIN
• SPH3D-GCN
• DPAM

3D_Instance Segmentation

Datasets

数据集下载

• shell脚本下载方式: https://github.com/HuangCongQing/download_3D_dataset

• https://hyper.ai/datasets
• https://www.graviti.cn/open-datasets

Graviti 收录了 400 多个高质量 CV 类数据集，覆盖无人驾驶、智慧零售、机器人等多种 AI 应用领域。举两个例子： 文章> https://bbs.cvmart.net/topics/3346

• Google数据集搜索：https://toolbox.google.com/datasetsearch
• Datahub，分享高质量数据集平台：https://datahub.io/
• 用于上传和查找数据集的机器学习数据集存储库：https://www.webdoctx.com/www.mldata.org
• datafountain收集数据集：https://www.datafountain.cn/dataSets
• tinymind收集数据集：https://www.tinymind.cn/sites#group_22 看到的一篇文章,里面有介绍很多数据集的：世界上最有价值的不是石油而是数据(附数据资源下载链接)
• https://www.graviti.cn/open-datasets

Datasets数据集汇总

https://github.com/Yochengliu/awesome-point-cloud-analysis#---datasets

• [KITTI] KITTI 视觉基准测试套件。[seg.]**常用
• [ModelNet] 普林斯顿 ModelNet 数据集。[cls.]
• [ShapeNet] 普林斯顿大学、斯坦福大学和 TTIC 研究人员合作构建的数据集。[seg.]
• [PartNet] PartNet 数据集提供了 ShapeNetCore 中物体的细粒度部件标注。[seg.]
• [PartNet] 来自南京大学和国防科技大学的 PartNet 基准数据集。[seg.]
• [S3DIS**] 斯坦福大规模室内三维空间数据集。[seg.]**常用
• [ScanNet] 丰富标注的室内场景三维重建数据集。[cls. seg.]
• [Stanford 3D] 斯坦福三维扫描资源库。[reg.]
• [UWA 数据集] 。[cls. seg. reg.]
• [普林斯顿形状基准测试] 普林斯顿形状基准测试。
• [SYDNEY URBAN OBJECTS DATASET] 该数据集包含使用 Velodyne HDL-64E 激光雷达扫描的多种常见城市道路物体，采集于澳大利亚悉尼市中心商务区。共包含 631 个独立扫描，涵盖车辆、行人、标志和树木等类别。[cls. match.]
• [ASL 数据集仓库(ETH)] 该网站致力于为机器人社区提供数据集，旨在促进结果评估和比较。[cls. match. reg. det]
• [大型点云分类基准(ETH)] 该基准填补了空白，提供了一个包含超过 40 亿个点的自然场景大型标注三维点云数据集。[cls.]
• [机器人三维扫描资源库] 加拿大行星模拟地形三维测绘数据集是一系列在加拿大两个独特的行星模拟探测车测试设施中收集的三维激光扫描数据。
• [Radish] 机器人数据集仓库（简称 Radish）提供了一系列标准机器人数据集。
• [IQmulus & TerraMobilita 比赛] 该数据库包含来自法国巴黎密集城市环境的 3D MLS 数据，由 3 亿个点组成。数据采集于 2013 年 1 月。[cls. seg. det.]
• [Oakland 三维点云数据集] 该存储库包含从移动平台上在城市环境中收集的带标签的三维点云激光数据。
• [机器人三维扫描资源库] 该资源库提供来自机器人实验的三维点云、机器人运行日志以及面向机器人社区的标准三维数据集。
• [福特校园视觉与激光雷达数据集] 该数据集由一辆基于改装福特 F-250 皮卡的自主地面车辆试验平台收集。
• [斯坦福轨迹集合] 该数据集包含约 14,000 条由 Velodyne HDL-64E S2 激光雷达在自然街道场景中观测到的物体轨迹标注。
• [PASCAL3D+] 超越 PASCAL：野外三维目标检测基准。[pos. det.]
• [3D MNIST] 该数据集旨在为 3D 计算机视觉问题（如 3D 形状识别）提供一个简单的入门途径。[cls.]
• [WAD] [ApolloScape] 这些数据集由百度公司提供。[tra. seg. det.]
• [nuScenes] nuScenes 数据集是一个大规模的自动驾驶数据集。用过
• [PreSIL] 包含深度信息、语义分割（图像）、逐点分割（点云）、地面点标签（点云）以及所有车辆和人员的详细标注。[paper] [det. aut.]
• [3D Match] 关键点匹配基准、几何配准基准、RGB-D 重建数据集。[reg. rec. oth.]
• [BLVD] (a) 三维检测，(b) 四维跟踪，(c) 五维交互事件识别，(d) 五维意图预测。[ICRA 2019 论文] [det. tra. aut. oth.]
• [PedX] 行人三维姿态估计，超过 5,000 对高分辨率（12MP）立体图像和激光雷达数据，并提供行人的 2D 和 3D 标注。[ICRA 2019 论文] [pos. aut.]
• [H3D] 全环绕三维多目标检测与跟踪数据集。[ICRA 2019 论文] [det. tra. aut.]
• [Argoverse BY ARGO AI] 两个公开数据集（三维跟踪和运动预测），辅以高度详细的地图，用于测试、实验和训练自动驾驶车辆理解周围世界的能力。[CVPR 2019 论文][tra. aut.]
• [Matterport3D] RGB-D：由 194,400 张 RGB-D 图像生成的 10,800 张全景视图。标注包括表面重建、相机位姿以及 2D 和 3D 语义分割。还涉及关键点匹配、视图重叠预测、基于颜色的法线预测、语义分割和场景分类。[3DV 2017 论文] [code] [blog]
• [SynthCity] SynthCity 是一个包含 3.679 亿个点的合成全彩色移动激光扫描点云，涵盖九个类别。[seg. aut.]
• [Lyft Level 5] 包括高质量的人工标注交通参与者三维边界框，以及底层高清空间语义地图。[det. seg. aut.]
• [SemanticKITTI**] 顺序语义分割，28 个类别，用于自动驾驶。KITTI 测距的所有序列均已标注。[ICCV 2019 论文] [seg. oth. aut.]**常用
• [NPM3D] 巴黎-里尔-3D 数据由移动激光系统（MLS）在法国两个不同城市（巴黎和里尔）采集而成。[seg.]
• [Waymo 开放数据集] Waymo 开放数据集由 Waymo 自动驾驶汽车在各种条件下收集的高分辨率传感器数据组成。[det.]
• [A*3D: 挑战性环境下自动驾驶数据集] A*3D: 挑战性环境下自动驾驶数据集。[det.]
• [PointDA-10 数据集] 面向点云的领域适应。
• [牛津 Robotcar] 该数据集记录了多种不同的天气、交通和行人组合。[cls. det. rec.]

常用分割数据集

• [S3DIS**] 斯坦福大规模室内空间三维数据集。[seg.] [常用]
• [SemanticKITTI] 用于自动驾驶的序列语义分割数据集，包含28个类别。KITTI里程计的所有序列均已标注。[ICCV 2019论文**] [seg. oth. aut.] [常用]
• Semantic3d

常用分类数据集

待办

常用目标检测数据集

• [KITTI] KITTI视觉基准测试套件。[det.]**常用
• [nuScenes] nuScenes数据集是一个大规模的自动驾驶数据集。用过
• [Waymo开放数据集] Waymo开放数据集由Waymo自动驾驶汽车在各种条件下采集的高分辨率传感器数据组成。[det.]

参考文献

• https://github.com/timzhang642/3D-Machine-Learning
• https://github.com/victorphd/autonomous-vahicles-learning-resource
• https://github.com/Yochengliu/awesome-point-cloud-analysis
• https://github.com/NUAAXQ/awesome-point-cloud-analysis-2021
• https://github.com/QingyongHu/SoTA-Point-Cloud
• https://arxiv.org/abs/1912.12033：面向3D点云的深度学习综述
• https://github.com/zhulf0804/3D-PointCloud

许可证

版权所有 © 双愚。保留所有权利。

根据 MIT 许可证授权。

---

微信公众号：【双愚】（huang_chongqing） 聊科研技术,谈人生思考,欢迎关注~

往期推荐：

1. 本文不提供职业建议，却能助你一生
2. 聊聊我们大学生面试
3. 清华大学刘知远：好的研究方法从哪来

本人创建星球 【自动驾驶感知(PCL/ROS+DL)】 专注于自动驾驶感知领域，包括传统方法(PCL点云库,ROS)和深度学习（目标检测+语义分割）方法。同时涉及Apollo，Autoware(基于ros2)，BEV感知，三维重建，SLAM(视觉+激光雷达) ，模型压缩（蒸馏+剪枝+量化等），自动驾驶模拟仿真，自动驾驶数据集标注&数据闭环等自动驾驶全栈技术，欢迎扫码二维码加入，一起登顶自动驾驶的高峰！

3D-Point-Clouds 快速上手指南

本指南旨在帮助开发者快速进入 3D 点云处理领域，涵盖从环境准备、框架安装到基础使用的全流程。本项目主要聚合了自动驾驶感知领域的 SOTA 方法（目标检测与语义分割），包括深度学习（Python）与传统方法（C++/PCL/ROS）。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• 硬件要求:
  • GPU: 推荐使用 NVIDIA GPU (显存 >= 8GB)，用于加速深度学习模型训练与推理。
  • CPU: 多核处理器，用于数据预处理及传统 PCL 算法运行。
• 前置依赖:
  • Python: 3.7 - 3.9 (深度学习框架兼容性最佳版本)
  • CUDA & cuDNN: 根据显卡驱动版本安装对应的 CUDA Toolkit (通常建议 CUDA 11.x)。
  • C++ 编译器: g++, cmake (用于编译 PCL 或部分算子)。
  • 基础库: git, wget, curl。

提示：国内开发者建议使用清华源或阿里源配置 pip 和 apt，以加速依赖下载。

2. 安装步骤

本项目是一个资源汇总仓库，核心功能依赖于具体的深度学习框架（如 OpenPCDet, MMDetection3D）或传统库（PCL）。以下提供两种主流路径的安装命令。

路径 A：深度学习框架安装 (推荐)

以目前社区最活跃的 OpenPCDet 为例（支持 VoxelNet, PointPillars, PV-RCNN 等）：

# 1. 创建虚拟环境 (推荐 conda)
conda create -n pcdet python=3.8
conda activate pcdet

# 2. 安装 PyTorch (根据 CUDA 版本选择，此处以 CUDA 11.3 为例)
# 国内加速镜像推荐：使用清华源
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

# 3. 安装基础依赖
pip install numpy scipy scikit-image tensorboardX easydict pyyaml opencv-python mayavi

# 4. 克隆并安装 OpenPCDet
git clone https://github.com/open-mmlab/OpenPCDet.git
cd OpenPCDet

# 5. 编译安装 (包含 CUDA 扩展)
pip install -r requirements.txt
python setup.py develop

若需使用 MMDetection3D：

# 安装 MMEngine 和 MMCV
pip install -U openmim
mim install mmengine
mim install "mmcv>=2.0.0"

# 安装 MMDetection3D
mim install mmdet3d

路径 B：传统方法环境 (PCL & ROS)

适用于基于规则的方法及点云预处理：

# Ubuntu 下安装 PCL 和 ROS (以 Noetic 为例)
sudo apt update
sudo apt install libpcl-dev ros-noetic-pcl-ros ros-noetic-rviz

# 验证 PCL 安装
pkg-config --modversion pcl_common

数据集准备 (可选)

项目提供了脚本用于下载常用自动驾驶数据集（KITTI, nuScenes, Waymo 等）：

# 克隆数据集下载脚本仓库
git clone https://github.com/HuangCongQing/download_3D_dataset.git
cd download_3D_dataset

# 执行下载脚本 (需根据具体数据集修改脚本内链接或参数)
# 示例：下载 KITTI 数据集相关脚本
bash download_kitti.sh 

3. 基本使用

安装完成后，您可以进行点云可视化或运行预训练模型进行目标检测。

3.1 点云可视化

使用 Python 库（如 Open3D 或 Mayavi）快速查看 .pcd 或 .bin 文件。

import open3d as o3d
import numpy as np

# 读取二进制点云文件 (以 KITTI 格式为例)
def load_bin_point_cloud(file_path):
    point_cloud = np.fromfile(file_path, dtype=np.float32).reshape(-1, 4)
    return point_cloud[:, :3]  # 只取 x, y, z

# 加载数据
points = load_bin_point_cloud('sample.bin')

# 创建点云对象
pcd = o3d.geometry.PointCloud()
pcd.points = o3d.utility.Vector3dVector(points)

# 可视化
o3d.visualization.draw_geometries([pcd], window_name="3D Point Cloud Viewer")

3.2 运行目标检测模型 (基于 OpenPCDet)

使用预训练模型对单帧点云进行推理：

# 进入 OpenPCDet 目录
cd OpenPCDet

# 运行测试脚本
# --cfg_file: 配置文件路径
# --ckpt: 预训练权重路径
# --data_path: 待测试的点云文件路径
python demo.py --cfg_file configs/kitti_models/pv_rcnn.yaml \
               --ckpt checkpoint/pv_rcnn_8369.pth \
               --data_path data/kitti/training/velodyne/000000.bin

运行成功后，程序将生成带有 3D 检测框的可视化结果图片，并在终端输出检测到的物体类别及坐标。

3.3 传统方法处理 (PCL C++ 示例)

若使用 C++ 进行滤波处理：

#include <pcl/io/pcd_io.h>
#include <pcl/filters/voxel_grid.h>

int main () {
  pcl::PointCloud<pcl::PointXYZ>::Ptr cloud (new pcl::PointCloud<pcl::PointXYZ>);
  pcl::PointCloud<pcl::PointXYZ>::Ptr filtered_cloud (new pcl::PointCloud<pcl::PointXYZ>);

  // 读取点云
  if (pcl::io::loadPCDFile<pcl::PointXYZ> ("input.pcd", *cloud) == -1) {
    PCL_ERROR ("Couldn't read file input.pcd \n");
    return (-1);
  }

  // 体素网格下采样
  pcl::VoxelGrid<pcl::PointXYZ> sor;
  sor.setInputCloud (cloud);
  sor.setLeafSize (0.1f, 0.1f, 0.1f);
  sor.filter (*filtered_cloud);

  // 保存结果
  pcl::io::savePCDFileASCII ("output_filtered.pcd", *filtered_cloud);
  return (0);
}

---

更多详细论文解读、框架对比及进阶教程，请参考项目原文档中的知乎专栏链接或加入技术交流群获取最新资源。