RandLA-Net: 大规模点云的高效语义分割（CVPR 2020）

这是RandLA-Net（CVPR2020，口头报告）的官方实现，它是一种简单高效的神经网络架构，用于大规模3D点云的语义分割。有关技术细节，请参阅：

RandLA-Net：大规模点云的高效语义分割
胡庆勇（Qingyong Hu）¹, 杨博*（Bo Yang）², 谢林海（Linhai Xie）³, 斯特凡诺·罗萨（Stefano Rosa）⁴, 郭玉兰（Yulan Guo）⁵, 王志华（Zhihua Wang）⁶, 尼基·特里戈尼（Niki Trigoni）⁷, 安德鲁·马卡姆（Andrew Markham）⁸。
[论文] [视频] [博客] [项目页面]

(1) 环境搭建

该代码已在Ubuntu 16.04系统上使用Python 3.5、TensorFlow 1.11、CUDA 9.0和cuDNN 7.4.1进行了测试。

• 克隆仓库

git clone --depth=1 https://github.com/QingyongHu/RandLA-Net && cd RandLA-Net

• 搭建Python环境

conda create -n randlanet python=3.5
source activate randlanet
pip install -r helper_requirements.txt
sh compile_op.sh

更新：2020年3月21日，预训练模型和结果现已可用。 您可以在这里下载预训练模型和结果。 请注意，如果您想使用预训练模型并快速体验我们的RandLA-Net，请在主函数中指定模型路径（例如main_S3DIS.py）。

(2) S3DIS

S3DIS数据集可以在此处找到： 链接。 下载名为“Stanford3dDataset_v1.2_Aligned_Version.zip”的文件，解压后将其移动到 /data/S3DIS。

• 准备数据集：

python utils/data_prepare_s3dis.py

• 开始6折交叉验证：

sh jobs_6_fold_cv_s3dis.sh

• 将/test文件夹中生成的所有结果（*.ply）移动到/data/S3DIS/results，计算最终的平均IoU结果：

python utils/6_fold_cv.py

S3DIS数据集上不同方法的定量结果（6折交叉验证）：

我们RandLA-Net的定性结果：

(3) Semantic3D

解压该数据集中的原始数据需要7zip，安装p7zip：

sudo apt-get install p7zip-full

• 下载并解压数据集。首先，请通过更改“download_semantic3d.sh”中的BASE_DIR来指定数据集路径。

sh utils/download_semantic3d.sh

• 准备数据集：

python utils/data_prepare_semantic3d.py

• 开始训练：

python main_Semantic3D.py --mode train --gpu 0

• 评估：

python main_Semantic3D.py --mode test --gpu 0

Semantic3D（reduced-8）上不同方法的定量结果：

我们RandLA-Net的定性结果：

注意：

• 由于点云数据量巨大，建议使用64G以上的内存来处理该数据集。

(4) SemanticKITTI

SemanticKITTI数据集可以在此处找到：链接。下载与语义分割相关的文件，并将所有内容解压到同一文件夹中。解压后将其移动到 /data/semantic_kitti/dataset。

• 准备数据集：

python utils/data_prepare_semantickitti.py

• 开始训练：

python main_SemanticKITTI.py --mode train --gpu 0

• 评估：

sh jobs_test_semantickitti.sh

SemanticKITTI数据集上不同方法的定量结果：

我们RandLA-Net的定性结果：

(5) 演示

引用

如果您在研究中使用了我们的工作，请考虑引用以下文献：

@article{hu2019randla,
  title={RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds},
  author={Hu, Qingyong and Yang, Bo and Xie, Linhai and Rosa, Stefano and Guo, Yulan and Wang, Zhihua and Trigoni, Niki and Markham, Andrew},
  journal={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2020}
}

@article{hu2021learning,
  title={Learning Semantic Segmentation of Large-Scale Point Clouds with Random Sampling},
  author={Hu, Qingyong and Yang, Bo and Xie, Linhai and Rosa, Stefano and Guo, Yulan and Wang, Zhihua and Trigoni, Niki and Markham, Andrew},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  year={2021},
  publisher={IEEE}
}

致谢

• 我们的部分代码参考了nanoflann库以及最近的工作KPConv。
• 我们使用Blender制作了视频演示。

许可证

根据CC BY-NC-SA 4.0许可证授权，详情请参见LICENSE。

更新

• 2020年3月21日：更新所有实验结果
• 2020年3月21日：添加预训练模型和结果
• 2020年3月2日：代码发布！
• 2019年11月15日：首次发布！

相关仓库

1. SoTA-Point-Cloud：面向三维点云的深度学习：综述
2. SensatUrban：从城市尺度摄影测量点云中学习语义信息
3. 3D-BoNet：用于点云上 3D 实例分割的目标边界框学习
4. SpinNet：学习用于 3D 点云配准的通用表面描述符
5. SQN：仅需千分之一标注量的弱监督大规模 3D 点云语义分割

RandLA-Net 快速上手指南

RandLA-Net 是一个用于大规模 3D 点云语义分割的高效神经网络架构（CVPR 2020 Oral）。本指南将帮助你快速搭建环境并运行模型。

1. 环境准备

本项目官方测试环境如下，建议尽量保持一致以避免兼容性问题：

• 操作系统: Ubuntu 16.04 (推荐)
• Python: 3.5
• 深度学习框架: TensorFlow 1.11
• GPU 驱动: CUDA 9.0 + cuDNN 7.4.1
• 硬件建议: 处理大规模数据集（如 Semantic3D）时，建议内存大于 64GB。

前置依赖工具:

• Git
• Conda (推荐用于管理 Python 环境)
• p7zip-full (仅在处理 Semantic3D 数据集时需要): sudo apt-get install p7zip-full

2. 安装步骤

2.1 克隆代码库

git clone --depth=1 https://github.com/QingyongHu/RandLA-Net && cd RandLA-Net

2.2 配置 Python 环境与编译算子

执行以下命令创建虚拟环境、安装依赖并编译自定义操作符：

conda create -n randlanet python=3.5
source activate randlanet
pip install -r helper_requirements.txt
sh compile_op.sh

提示: 如果 pip 下载速度慢，可临时使用国内镜像源（如清华源）： pip install -r helper_requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 获取预训练模型（可选）

若想快速测试效果，可下载官方提供的预训练模型和结果：

• 下载地址: Google Drive
• 使用方法: 下载后解压，并在主函数文件（如 main_S3DIS.py）中指定模型路径。

3. 基本使用

以下以 S3DIS 数据集为例，展示从数据准备到评估的完整流程。其他数据集（Semantic3D, SemanticKITTI）流程类似，具体脚本请参考项目目录。

3.1 准备数据集

1. 手动下载 S3DIS 数据集 (Stanford3dDataset_v1.2_Aligned_Version.zip)。
2. 解压并将文件夹移动至项目根目录下的 /data/S3DIS。
3. 运行数据预处理脚本：

python utils/data_prepare_s3dis.py

3.2 开始训练

运行 6 折交叉验证训练脚本：

sh jobs_6_fold_cv_s3dis.sh

3.3 评估结果

训练完成后，将生成的 .ply 结果文件从 /test 文件夹移动至 /data/S3DIS/results，然后运行评估脚本计算平均 IoU：

python utils/6_fold_cv.py

---

注：对于 Semantic3D 和 SemanticKITTI 数据集，请参照 README 中对应的 data_prepare_*.py 和 main_*.py 脚本进行调整。