PointNet++：度量空间中点集的深度层次特征学习

由斯坦福大学的 Charles R. Qi、Li (Eric) Yi、Hao Su 以及 Leonidas J. Guibas 共同创建。

引用

如果您在研究中使用了我们的工作，请考虑引用：

    @article{qi2017pointnetplusplus,
      title={PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space},
      author={Qi, Charles R and Yi, Li and Su, Hao and Guibas, Leonidas J},
      journal={arXiv preprint arXiv:1706.02413},
      year={2017}
    }

简介

本工作基于我们在 NIPS'17 上发表的论文。您可以在 这里找到该论文的 arXiv 版本，或访问 项目主页以获取快速概览。PointNet++ 是一个后续项目，它建立并扩展了 PointNet。它是 PointNet 架构的 2.0 版本。

PointNet（v1 模型）要么独立地转换单个点的特征，要么处理整个点集的全局特征。然而，在许多情况下，存在明确的距离度量，例如由 3D 传感器采集的 3D 点云中的欧氏距离，或等距形状表面等流形上的测地线距离。在 PointNet++ 中，我们希望尊重这些点集的空间局部性。PointNet++ 学习具有不断增加上下文尺度的层次特征，就像卷积神经网络一样。此外，我们还观察到一个在图像卷积网络中不存在的挑战——自然点云中的非均匀密度。为了应对这些非均匀密度，我们进一步提出了能够智能地从不同尺度聚合信息的特殊层。

在这个仓库中，我们发布了 PointNet++ 分类和分割网络的代码和数据，以及一些用于训练、测试、数据处理和可视化的实用脚本。

安装

安装 TensorFlow。代码已在 Ubuntu 14.04 上的 TF1.2 GPU 版本和 Python 2.7（版本 3 也应适用）下进行了测试。此外，还有一些用于数据处理和可视化的 Python 库依赖，如 cv2、h5py 等。强烈建议您拥有 GPU。

编译自定义 TF 运算符

TF 运算符包含在 tf_ops 目录下，您需要先编译它们（请查看每个运算符子文件夹下的 tf_xxx_compile.sh）。如有必要，请更新 nvcc 和 python 的路径。代码已在 TF1.2.0 下进行测试。如果您使用的是较早版本，可能需要移除 g++ 命令中的 -D_GLIBCXX_USE_CXX11_ABI=0 标志，以便正确编译。

要编译 TF 版本 >=1.4 中的运算符，您需要稍微修改编译脚本。

首先，找到 TensorFlow 的包含路径和库路径。

    TF_INC=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_include())')
    TF_LIB=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_lib())')
    

然后，在 g++ 命令中添加 -I$TF_INC/external/nsync/public -L$TF_LIB -ltensorflow_framework 标志。

使用

形状分类

要训练一个 PointNet++ 模型来对 ModelNet40 形状进行分类（使用带有 XYZ 坐标的点云）：

    python train.py

要查看所有可选的训练参数：

    python train.py -h

如果您的机器上有多个 GPU，也可以运行多 GPU 版本的训练（我们的实现类似于 TensorFlow 的 cifar10 教程）：

    CUDA_VISIBLE_DEVICES=0,1 python train_multi_gpu.py --num_gpus 2

训练完成后，要评估分类准确率（可选多角度投票）：

    python evaluate.py --num_votes 12 

补充说明： 对于我们在论文中报告的 XYZ+法线实验：(1) 使用了 5000 个点，(2) 在训练过程中进一步使用了随机数据丢弃增强（参见 train.py 中 augment_batch_data 后面的注释行），以及 (3) 更新了模型架构，将前两个集合抽象层中的 nsample=128 调整为更适合 5000 点采样中较高点密度的设置。

要使用法线特征进行分类：您可以从 这里（1.6GB）获取我们采样的 ModelNet40 点云数据（XYZ 和来自网格的法线，每种形状 10k 个点）。将解压后的数据文件夹移动到 data/modelnet40_normal_resampled。

对象部件分割

要训练一个模型来对 ShapeNet 模型的部件进行分割：

    cd part_seg
    python train.py

预处理后的 ShapeNetPart 数据集（XYZ、法线和部件标签）可在 这里（674MB）找到。将解压后的数据文件夹移动到 data/shapenetcore_partanno_segmentation_benchmark_v0_normal。

场景语义解析

详情请参阅 scannet/README 和 scannet/train.py。

可视化工具

我们在 utils 目录下提供了一个方便的点云可视化工具。运行 sh compile_render_balls_so.sh 进行编译，然后可以使用 python show3d_balls.py 进行演示。原始代码来自 这里。

准备您自己的数据

您可以参考 这里,了解如何准备用于分类或分割的 HDF5 文件。或者您也可以参考 modelnet_dataset.py，了解如何读取原始数据文件并从中准备小批量数据。更高级的方法是使用 TensorFlow 的数据集 API，有关更多文档，请参阅 这里。

许可证

我们的代码根据 MIT 许可证发布（详情请参阅 LICENSE 文件）。

更新

• 2018年2月23日：增加了对分类任务的多 GPU 训练支持。
• 2018年2月23日：采用了新的数据加载方式。不再需要手动下载数据即可训练分类网络。
• 2018年2月6日：添加了 ScanNet 语义分割的示例训练代码。

相关项目

• PointNet：面向3D分类与分割的点云深度学习，作者为Qi等人（CVPR 2017口头报告）。代码和数据已在GitHub上公开。
• 基于RGB-D数据的3D目标检测——Frustum PointNets，作者为Qi等人（CVPR 2018）。这是一种新颖的RGB-D数据3D目标检测框架。该方法首先利用RGB图像上的2D目标检测器生成2D框，然后将这些2D框对应的深度图扩展为3D空间中的点云，再通过PointNet/PointNet++实现实例分割和3D边界框估计。所提出的方法在KITTI 3D目标检测基准测试的所有类别中均取得第一名（最后核实日期为2017年11月30日）。代码和数据的发布时间待定。

PointNet++ 快速上手指南

PointNet++ 是斯坦福大学提出的深度学习架构，用于在度量空间中的点集上进行分层特征学习。它是 PointNet 的升级版，能够捕捉点云的局部空间结构，并有效处理非均匀密度的点云数据。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: 推荐 Ubuntu 14.04 或更高版本（Linux 环境）。
• 编程语言: Python 2.7（Python 3 通常也可行，但需自行验证兼容性）。
• 深度学习框架: TensorFlow GPU 版本 (代码主要在 TF 1.2 下测试，TF 1.4+ 需调整编译脚本)。
• 硬件要求: 强烈建议使用 NVIDIA GPU 进行训练和推理。
• 依赖库:
  • cv2 (OpenCV)
  • h5py
  • 其他常规科学计算库 (numpy, matplotlib 等)

注意: 本项目基于较早期的 TensorFlow 版本开发。若使用新版 TF (>=1.4)，在编译自定义算子时需额外指定包含路径和库路径（详见安装步骤）。

2. 安装步骤

第一步：安装基础依赖

使用 pip 安装必要的 Python 库：

pip install tensorflow-gpu==1.2.0 h5py opencv-python
# 如果使用较新版本的 TensorFlow，请相应调整版本号

第二步：编译自定义 TensorFlow 算子

PointNet++ 包含位于 tf_ops 目录下的自定义 CUDA/C++ 算子，必须编译后才能运行。

1. 进入项目根目录。

2. 如果您使用的是 TensorFlow 1.2，直接运行各子目录下的编译脚本（例如 tf_xxx_compile.sh）。

3. 如果您使用的是 TensorFlow >= 1.4，需要先获取 TF 的路径并修改编译命令：

   # 获取 TensorFlow 的 include 和 lib 路径
   TF_INC=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_include())')
   TF_LIB=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_lib())')
   

   然后在执行 g++ 编译命令时（通常在 .sh 脚本中），添加以下标志：

   -I$TF_INC/external/nsync/public -L$TF_LIB -ltensorflow_framework
   

   提示：如果在旧版编译器上遇到 ABI 兼容性问题，可能需要移除 -D_GLIBCXX_USE_CXX11_ABI=0 标志。

第三步：准备数据集（以分类任务为例）

对于 ModelNet40 形状分类任务，新版代码支持自动加载数据，无需手动下载。如需使用带法向量的高级实验，可手动下载预处理数据：

• ModelNet40 (含法向量): 下载链接 (1.6GB)
• 解压后将文件夹移至 data/modelnet40_normal_resampled 目录。

3. 基本使用

以下是最简单的形状分类 (Shape Classification) 工作流示例。

训练模型

使用默认参数在 ModelNet40 数据集上训练 PointNet++ 模型：

python train.py

查看可用的训练参数选项：

python train.py -h

多 GPU 训练（如果您的机器有多张显卡）：

CUDA_VISIBLE_DEVICES=0,1 python train_multi_gpu.py --num_gpus 2

评估模型

训练完成后，评估模型的分类准确率（支持多角度投票以提升精度）：

python evaluate.py --num_votes 12

其他任务

• 部件分割 (Part Segmentation):

  cd part_seg
  python train.py
  

  (需先下载 ShapeNetPart 数据集并放入 data/shapenetcore_partanno_segmentation_benchmark_v0_normal)

• 语义场景解析 (Semantic Scene Parsing): 参考 scannet/README 及 scannet/train.py。

可视化

编译并运行可视化工具查看点云：

cd utils
sh compile_render_balls_so.sh
python show3d_balls.py