Points2Surf: 从点云中学习隐式曲面（ECCV 2020 Spotlight）

请参阅我们的后续工作 PPSurf。它使用起来更简单、速度更快，效果也更好。

这是我们对 Points2Surf 的实现，该网络能够从点云中估计有符号距离函数。此 SDF 通过 Marching Cubes 算法转换为网格。更多详情，请观看 短视频 和 长视频。

该架构与 PCPNet 类似。与其他基于机器学习的曲面重建方法不同，例如 DeepSDF 和 AtlasNet，Points2Surf 是基于补丁的方法，因此不依赖于特定类别。其显著增强的泛化能力带来了更好的结果，在大多数情况下甚至优于 Screened Poisson Surface Reconstruction。

这段代码主要由 Philipp Erler 和 Paul Guerrero 编写。本研究发表于 ECCV 2020。

前置条件

• Python >= 3.7
• PyTorch >= 1.6
• 如果使用 GPU，则需要 CUDA 和 CuDNN
• BlenSor 1.0.18 RC 10 用于数据集生成

快速入门

要获得一个用于训练和重建的最小示例，请按照以下步骤操作。我们建议使用 Anaconda 来管理 Python 环境。否则，您可以使用 Pip 按照 requirements.txt 中的说明安装所需的包。

# 克隆此仓库
# 其中包含一个最小数据集（2 个形状用于训练，1 个用于评估）
git clone https://github.com/ErlerPhilipp/points2surf.git

# 进入克隆后的目录
cd points2surf

# 创建一个包含所需包的 conda 环境
conda env create --file p2s.yml

# 激活新的 conda 环境
conda activate p2s

# 使用默认设置训练并评估原始模型
python full_run.py

从我们的点云中重建曲面

从点云中重建网格以复现我们的结果：

# 下载测试数据集
python datasets/download_datasets_abc.py
python datasets/download_datasets_famous.py
python datasets/download_datasets_thingi10k.py
python datasets/download_datasets_real_world.py

# 下载预训练模型
python models/download_models_vanilla.py
python models/download_models_ablation.py
python models/download_models_max.py

# 启动每个模型的评估
# Points2Surf 主模型，训练 150 个 epoch
bash experiments/eval_p2s_vanilla.sh

# 消融实验模型，训练 50 个 epoch
bash experiments/eval_p2s_small_radius.sh
bash experiments/eval_p2s_medium_radius.sh
bash experiments/eval_p2s_large_radius.sh
bash experiments/eval_p2s_small_kNN.sh
bash experiments/eval_p2s_large_kNN.sh
bash experiments/eval_p2s_shared_transformer.sh
bash experiments/eval_p2s_no_qstn.sh
bash experiments/eval_p2s_uniform.sh
bash experiments/eval_p2s_vanilla_ablation.sh

# 额外的消融实验模型，训练 50 个 epoch
bash experiments/eval_p2s_regression.sh
bash experiments/eval_p2s_shared_encoder.sh

# 基于消融实验结果的最佳模型，训练 250 个 epoch
bash experiments/eval_p2s_max.sh

每个评估脚本都会使用指定的模型重建所有测试集。在一台配备 1070 GTX 显卡且网格分辨率为 256 的普通 PC 上，运行一次评估大约需要一天时间。

为了获得最佳效果，请使用 Max 模型。它比 Vanilla 模型小 15%，并且在所有测试集上的平均 Chamfer 距离上提高了 4%。该模型避免了 QSTN，并采用了均匀的子采样。

使用我们的数据集进行训练

要使用我们的训练集训练论文中的 P2S 模型：

# 下载 ABC 训练和验证数据集
python datasets/download_datasets_abc_training.py

# 启动每个模型的训练
# Points2Surf 主模型，训练 150 个 epoch
bash experiments/train_p2s_vanilla.sh

# 消融实验模型，训练 50 个 epoch
bash experiments/train_p2s_small_radius.sh
bash experiments/train_p2s_medium_radius.sh
bash experiments/train_p2s_large_radius.sh
bash experiments/train_p2s_small_kNN.sh
bash experiments/train_p2s_large_kNN.sh
bash experiments/train_p2s_shared_transformer.sh
bash experiments/train_p2s_no_qstn.sh
bash experiments/train_p2s_uniform.sh
bash experiments/train_p2s_vanilla_ablation.sh

# 额外的消融实验模型，训练 50 个 epoch
bash experiments/train_p2s_regression.sh
bash experiments/train_p2s_shared_encoder.sh

# 基于消融实验结果的最佳模型，训练 250 个 epoch
bash experiments/train_p2s_max.sh

我们使用 4 张 RTX 2080Ti 显卡，大约用了 5 天时间训练到 150 个 epoch。完全收敛通常需要 200 到 250 个 epoch，但此时 Chamfer 距离的变化已经不大了。不过，拓扑噪声可能会有所减少。

默认会使用 TensorBoard 记录损失（绝对距离、符号 logits 以及两者）。此外，我们还会记录符号预测的准确率、召回率和 F1 分数。您可以通过以下命令启动 TensorBoard 服务器：

bash start_tensorboard.sh

制作您自己的数据集

点云以 np.float32 类型的 NumPy 数组形式存储，文件扩展名为 .npy，每行包含一个点的 3 个坐标。点云需要归一化到 (-1..+1) 范围内。

数据集由一个文本文件组成，每行包含一个点云文件的名称（不含扩展名）。文件名是相对于文本文件所在位置给出的。

用于训练与重建的网格数据集

要从网格创建自己的数据集，请将真值网格放置在 ./datasets/(DATASET_NAME)/00_base_meshes/ 目录下。网格必须是 Trimesh 可加载的格式，例如 .ply、.stl、.obj 或 .off。由于我们需要为训练集计算有符号距离，这些输入网格必须表示实体模型，即必须是流形且无漏水的。像 ABC 数据集 中那样的三角化 CAD 对象在大多数情况下都可以使用。接下来，在 ./datasets/(DATASET_NAME)/settings.ini 文件中创建以下设置：

[general]
only_for_evaluation = 0
grid_resolution = 256
epsilon = 5
num_scans_per_mesh_min = 5
num_scans_per_mesh_max = 30
scanner_noise_sigma_min = 0.0
scanner_noise_sigma_max = 0.05

当您将 only_for_evaluation = 1 时，数据集准备脚本会跳过大部分处理步骤，仅生成测试集的文本文件。

对于点云采样，我们使用了 BlenSor 1.0.18 RC 10。Windows 用户需要修复 BlenSor 代码中的一个错误。请确保 make_dataset.py 中的 blensor_bin 变量指向您的 BlenSor 可执行文件，例如 blensor_bin = "bin/Blensor-x64.AppImage"。

您可能需要更改其他路径或工作进程的数量，然后运行：

python make_dataset.py

包含约 5,000 个形状的 ABC 变噪声数据集，在 Ryzen 7 处理器上使用 15 个工作进程大约需要 8 小时。大部分计算时间都花在采样和真值有符号距离的计算上。

用于重建的点云数据集

如果您只想重建自己的点云，请将其放置在 ./datasets/(DATASET_NAME)/00_base_pc/ 目录下。支持的文件类型与网格相同。

您需要在 make_pc_dataset.py 中更改一些设置，例如数据集名称和工作进程数量，然后运行：

python make_pc_dataset.py

手动创建的重建数据集

如果您已经拥有 Numpy 格式的点云文件，可以手动创建数据集。将 *.npy 文件放入 (DATASET_NAME)/04_pts/ 目录中。然后，将文件名（不带扩展名，每行一个）列在一个文本文件 (DATASET_NAME)/testset.txt 中。

相关工作

Kazhdan, Michael, and Hugues Hoppe. "Screened poisson surface reconstruction." ACM Transactions on Graphics (ToG) 32.3 (2013): 1-13.

这项工作是表面重建领域最重要的基准方法。它通过拟合曲面来处理点云数据。

Groueix, Thibault, et al. "A papier-mâché approach to learning 3d surface generation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

这是最早的数据驱动型表面重建方法之一。它通过学习用“补丁”——变形并细分的矩形——来近似物体。

Park, Jeong Joon, et al. "Deepsdf: Learning continuous signed distance functions for shape representation." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.

这也是早期的数据驱动型表面重建方法之一。它通过学习从点数据中近似有符号距离函数来实现重建。

Chabra, Rohan, et al. "Deep Local Shapes: Learning Local SDF Priors for Detailed 3D Reconstruction." arXiv preprint arXiv:2003.10983 (2020).

这项同期研究采用了与我们类似的方法。它能够生成平滑的表面，但需要点法线信息。

最新消息

2025-08-02：在数据集生成中添加扫描仪位姿和曲面法线。请参阅 make_dataset.py，了解如何提取和使用这些信息的示例。

引用

如果您使用我们的工作，请引用我们的论文：

@InProceedings{ErlerEtAl:Points2Surf:ECCV:2020,
  title   = {{Points2Surf}: 从点云中学习隐式曲面}, 
  author="Erler, Philipp
    and Guerrero, Paul
    and Ohrhallinger, Stefan
    and Mitra, Niloy J.
    and Wimmer, Michael",
  editor="Vedaldi, Andrea
    and Bischof, Horst
    and Brox, Thomas
    and Frahm, Jan-Michael",
  year    = {2020},
  booktitle="计算机视觉 -- ECCV 2020",
  publisher="Springer International Publishing",
  address="Cham",
  pages="108--124",
  abstract="任何基于扫描的资产创建流程中，关键一步都是将无序点云转换为曲面。传统方法（如泊松重建）在面对噪声大或不完整的扫描数据时性能会下降。因此，近年来出现了基于深度学习的方法，即使在部分扫描的情况下也能生成完整的曲面。然而，这类数据驱动方法往往难以推广到具有较大几何和拓扑差异的新形状。我们提出了 Points2Surf，这是一种新颖的基于补丁的学习框架，可以直接从原始扫描数据中生成精确的曲面，而无需点法线信息。通过对详细局部补丁和粗略全局信息的组合进行先验学习，可以显著提升泛化能力和重建精度。我们在合成数据和真实数据上的广泛对比表明，与现有最先进方法相比，我们的方法在未见过的类别上具有明显优势（平均而言，Points2Surf 比 SPR 的重建误差低 30%，比基于深度学习的最先进方法低 270% 以上），尽管计算时间较长，并且在某些情况下可能会出现少量的拓扑噪声。我们的源代码、预训练模型和数据集可在以下网址获取：https://github.com/ErlerPhilipp/points2surf。",
  isbn="978-3-030-58558-7"
  doi = {10.1007/978-3-030-58558-7_7},
}

Points2Surf 快速上手指南

Points2Surf 是一个基于深度学习的隐式曲面重建工具，能够直接从点云数据中估算有符号距离函数（SDF），并通过 Marching Cubes 算法生成网格模型。该方法基于补丁（patch-based）架构，不依赖特定物体类别，在泛化能力和重建精度上表现优异。

注意：作者已发布后续改进版本 PPSurf，其使用更简便、速度更快且效果更好，建议新项目优先评估 PPSurf。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: >= 3.7
• 深度学习框架: PyTorch >= 1.6
• GPU 支持: 如需使用 GPU 加速，需安装对应的 CUDA 和 CuDNN
• 数据集生成工具: BlenSor 1.0.18 RC 10 (仅当需要自定义生成训练数据集时需要)

安装步骤

推荐使用 Conda 管理环境以确保依赖兼容性。国内用户可使用清华或中科大镜像源加速下载。

# 1. 克隆仓库
git clone https://github.com/ErlerPhilipp/points2surf.git
cd points2surf

# 2. 创建并激活 Conda 环境
# 国内用户建议添加镜像源加速包下载，例如使用清华源：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

conda env create --file p2s.yml
conda activate p2s

如果不想使用 Conda，也可以直接使用 Pip 安装 requirements.txt 中列出的依赖包。

基本使用

以下是最小化的运行示例，包含使用内置微型数据集进行模型训练和评估重建。

1. 快速训练与评估

仓库自带了一个极简数据集（2 个形状用于训练，1 个用于评估），可直接运行脚本验证环境是否正常。

# 运行默认设置的训练和评估流程
python full_run.py

2. 使用预训练模型重建曲面

如果您只想复现论文结果或对标准测试集进行重建，请下载测试数据集和预训练模型，然后运行评估脚本。

下载数据与模型：

# 下载测试数据集
python datasets/download_datasets_abc.py
python datasets/download_datasets_famous.py
python datasets/download_datasets_thingi10k.py
python datasets/download_datasets_real_world.py

# 下载预训练模型
python models/download_models_vanilla.py
python models/download_models_max.py
# 其他消融实验模型可根据需要下载

执行重建评估：

# 运行主模型评估 (Vanilla 模型，训练 150 epoch)
bash experiments/eval_p2s_vanilla.sh

# 运行最佳模型评估 (Max 模型，训练 250 epoch，推荐用于获取最佳结果)
# 该模型比 Vanilla 小 15%，且在所有测试集上的平均 Chamfer 距离优化了 4%
bash experiments/eval_p2s_max.sh

提示: 在普通 PC（如 GTX 1070）上，以网格分辨率 256 运行一次完整评估大约需要一天时间。

3. 自定义数据重建

如果您有自己的点云数据想要重建：

1. 将点云文件转换为 .npy 格式 (NumPy float32 数组，每行包含点的 3 个坐标)，并将坐标归一化到 (-1, +1) 范围。
2. 将文件放入 ./datasets/(YOUR_DATASET_NAME)/04_pts/ 目录。
3. 创建文本文件 ./datasets/(YOUR_DATASET_NAME)/testset.txt，每行写入一个文件名（不含扩展名）。
4. 修改相应的配置后运行评估脚本即可。