PointNet：用于3D分类与分割的点云深度学习

由斯坦福大学的 Charles R. Qi、Hao Su、Kaichun Mo 以及 Leonidas J. Guibas 共同创建。

简介

本工作基于我们的 arXiv 技术报告，该报告即将发表于 CVPR 2017。我们提出了一种新颖的深度网络架构，直接处理点云（作为无序点集）。您也可以访问我们的 项目主页 以获取更深入的介绍。

点云是一种重要的几何数据结构。由于其不规则的格式，大多数研究者会将这类数据转换为规则的3D体素网格或图像集合。然而，这种做法不仅使数据变得冗余庞大，还会引发诸多问题。在本文中，我们设计了一种新型神经网络，可以直接处理点云，同时很好地保持输入点的排列不变性。我们的网络名为 PointNet，提供了一个统一的架构，适用于从物体分类、部件分割到场景语义解析等多种应用。尽管结构简单，PointNet 却高效且效果显著。

在本仓库中，我们发布了用于训练 PointNet 分类网络的代码和数据，这些数据来自从3D形状中采样的点云；同时也提供了用于在 ShapeNet Part 数据集上训练部件分割网络的代码和数据。

引用

如果您在研究中使用了我们的工作，请考虑引用以下文献：

@article{qi2016pointnet,
  title={PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation},
  author={Qi, Charles R and Su, Hao and Mo, Kaichun and Guibas, Leonidas J},
  journal={arXiv preprint arXiv:1612.00593},
  year={2016}
}

安装

请安装 TensorFlow。您可能还需要安装 h5py。该代码已在 Ubuntu 14.04 上使用 Python 2.7、TensorFlow 1.0.1、CUDA 8.0 和 cuDNN 5.1 进行测试。

如果您使用 PyTorch，可以在此处找到第三方的 PyTorch 实现：点这里。

安装 Python 的 h5py：

sudo apt-get install libhdf5-dev
sudo pip install h5py

使用方法

要训练一个用于分类从3D形状中采样点云的模型：

python train.py

日志文件和网络参数将默认保存到 log 文件夹中。来自 ModelNet40 模型的点云将以 HDF5 文件格式自动下载（416MB）至 data 文件夹。每个点云包含从形状表面均匀采样的 2048 个点。每个点云均经过零均值处理并归一化至单位球面。此外，在 data/modelnet40_ply_hdf5_2048 中还包含文本文件，用于指定 h5 文件中各形状的 ID。

查看训练脚本的帮助信息：

python train.py -h

我们可以使用 TensorBoard 查看网络架构并监控训练进度。

tensorboard --logdir log

完成上述训练后，我们可以评估模型，并输出一些错误案例的可视化结果。

python evaluate.py --visu

被错误分类的点云将默认保存到 dump 文件夹中。我们通过渲染成三视图图像来可视化这些点云。

如果您希望准备自己的数据，可以参考 utils/data_prep_util.py 中的一些辅助函数，用于保存和加载 HDF5 文件。

部件分割

要训练一个用于物体部件分割的模型，首先需要下载数据：

cd part_seg
sh download_data.sh

下载脚本将下载 ShapeNetPart 数据集（约1.08GB）以及我们准备好的 HDF5 文件（约346MB）。

随后，您可以在 part_seg 文件夹中运行 train.py 和 test.py 来进行训练和测试（计算 mIoU 作为评估指标）。

许可证

我们的代码采用 MIT 许可证发布（详情请参阅 LICENSE 文件）。

使用 PointNet 的精选项目

• PointNet++：度量空间中点集的深度层次特征学习——Qi 等人著（NIPS 2017）。这是一种针对点云的层次化特征学习框架。PointNet++ 架构将 PointNet 递归地应用于输入点集的嵌套划分上，并提出了用于非均匀密度点云的新层。
• 探索空间上下文以实现点云的3D语义分割——Engelmann 等人著（ICCV 2017 工作坊）。该工作扩展了 PointNet，用于大规模场景分割。
• PCPNET：从原始点云中学习局部形状属性——Guerrero 等人著（arXiv）。该工作将 PointNet 应用于噪声点云中局部几何属性（如法线和曲率）的估计。
• VoxelNet：基于点云的3D目标检测端到端学习——Apple 的 Zhou 等人著（arXiv）。该工作研究使用 LiDAR 点云进行3D目标检测。它将空间划分为体素，利用 PointNet 学习局部体素特征，再使用3D CNN 进行区域建议、目标分类及3D边界框估计。
• Frustum PointNets：基于 RGB-D 数据的3D目标检测——Qi 等人著（arXiv）。这是一种利用 RGB-D 数据进行3D目标检测的新框架。该方法曾在 KITTI 3D 目标检测基准测试中所有类别中均获得第一名（截至2017年11月30日）。

PointNet 快速上手指南

PointNet 是一个直接处理点云数据的深度学习网络架构，适用于 3D 分类和分割任务。本指南基于官方 TensorFlow 实现，帮助开发者快速搭建环境并运行模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Ubuntu 14.04 或更高版本（推荐 Linux 环境）
• Python: 2.7 (官方测试版本)
• 深度学习框架: TensorFlow 1.0.1
• GPU 支持: CUDA 8.0 + cuDNN 5.1
• 其他依赖: h5py, libhdf5-dev

注意：如果您习惯使用 PyTorch，社区有第三方实现版本，但本指南仅针对官方 TensorFlow 版本。

安装步骤

1. 安装系统级依赖

首先安装 HDF5 库开发包：

sudo apt-get install libhdf5-dev

2. 安装 Python 依赖

安装 h5py 模块（建议配置国内 pip 源以加速下载）：

# 使用清华源加速安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h5py

请确保已预先安装好 TensorFlow 1.0.1 及以上版本。

3. 获取代码

克隆官方仓库（如果尚未下载）：

git clone https://github.com/charlesq34/pointnet.git
cd pointnet

基本使用

1. 训练 3D 分类模型

运行以下命令开始训练。脚本会自动下载 ModelNet40 数据集（约 416MB）到 data 文件夹，并开始训练分类网络。

python train.py

• 数据说明：每个点云包含 2048 个均匀采样的点，已进行零均值化和单位球归一化处理。
• 日志保存：训练日志和网络参数默认保存在 log 文件夹中。
• 查看帮助：如需查看训练脚本的参数选项，运行 python train.py -h。

2. 监控训练进度

使用 TensorBoard 可视化网络架构和训练过程：

tensorboard --logdir log

然后在浏览器中访问显示的地址（通常为 http://localhost:6006）。

3. 评估与可视化

训练完成后，运行评估脚本并生成错误案例的可视化结果：

python evaluate.py --visu

• 输出结果：分类错误的点云将保存在 dump 文件夹中。
• 可视化形式：脚本会将点云渲染为三视图图片以便观察。

4. 部件分割任务（可选）

如需训练物体部件分割模型，请进入对应目录并下载 ShapeNetPart 数据集：

cd part_seg
sh download_data.sh

下载完成后，在当前目录下运行 train.py 进行训练，或运行 test.py 进行测试（计算 mIoU）。

自定义数据

如果您希望使用自己的数据集，可以参考 utils/data_prep_util.py 中的辅助函数，学习如何保存和加载 HDF5 格式的点云数据。