MonoSDF：探索单目几何线索用于神经隐式表面重建

Zehao Yu · Peng Songyou · Michael Niemeyer · Torsten Sattler · Andreas Geiger

NeurIPS 2022

论文 | 项目主页 | SDFStudio

我们证明，从单目图像中提取的最先进深度和法线线索与重建线索是互补的，因此可以显著提升隐式表面重建方法的性能。

更新

MonoSDF 已集成到 SDFStudio 中，在那里单目深度和法线线索可以应用于 UniSurf 和 NeuS。欢迎查看。

设置

安装

克隆仓库并使用以下命令创建名为 monosdf 的 Anaconda 环境：

git clone git@github.com:autonomousvision/monosdf.git
cd monosdf

conda create -y -n monosdf python=3.8
conda activate monosdf

conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
conda install cudatoolkit-dev=11.3 -c conda-forge

pip install -r requirements.txt

哈希编码器将在运行代码时动态编译。

数据集

要下载预处理好的数据，请运行以下脚本。DTU、Replica 和 Tanks and Temples 数据分别改编自 VolSDF、Nice-SLAM 和 Vis-MVSNet。

bash scripts/download_dataset.sh

训练

运行以下命令来训练 MonoSDF：

cd ./code
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf CONFIG  --scan_id SCAN_ID

其中 CONFIG 是 code/confs 中的配置文件，SCAN_ID 是待重建场景的编号。

我们提供了针对 DTU、ScanNet 和 Replica 数据集的示例命令如下：

# DTU scan65
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/dtu_mlp_3views.conf  --scan_id 65

# ScanNet scan 1 (scene_0050_00)
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/scannet_mlp.conf  --scan_id 1

# Replica scan 1 (room0)
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/replica_mlp.conf  --scan_id 1

我们在 Tanks and Temples 数据集上创建了单独的配置文件，因此无需设置 scan_id。在法庭场景上进行训练：

CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/tnt_mlp_1.conf

我们还在法庭场景上生成了高分辨率的单目线索，建议使用更多 GPU 进行训练。首先下载数据集：

bash scripts/download_highres_TNT.sh

然后使用 8 个 GPU 进行训练：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8 python -m torch.distributed.launch --nproc_per_node 8 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/tnt_highres_grids_courtroom.conf

当然，你也可以用多 GPU 在其他场景上进行训练。

评估

DTU

首先，下载 DTU 的真实点云：

bash scripts/download_dtu_ground_truth.sh

然后你可以评估提取的网格质量（以 scan 65 为例）：

python evaluate_single_scene.py --input_mesh scan65_mesh.ply --scan_id 65 --output_dir dtu_scan65

我们还提供了评估所有 DTU 场景的脚本：

python evaluate.py

评估结果默认会保存到 evaluation/DTU.csv，更多细节请查看脚本。

Replica

对单个场景进行评估（以 scan 1 room0 为例）：

cd replica_eval
python evaluate_single_scene.py --input_mesh replica_scan1_mesh.ply --scan_id 1 --output_dir replica_scan1

我们还提供了评估所有 Replica 场景的脚本：

cd replica_eval
python evaluate.py

更多细节请查看脚本。

ScanNet

cd scannet_eval
python evaluate.py

更多细节请查看脚本。

Tanks and Temples

你需要将重建结果提交到 官方评估服务器，请遵循他们的指导。我们也在 这里 提供了一个我们的提交示例供参考。

自定义数据集

我们提供了一个如何在自定义数据上训练 MonoSDF 的示例（来自 Nice-SLAM 的 Apartment 场景）。首先下载数据集，并运行脚本对训练图像进行子采样、归一化相机位姿等操作：

bash scripts/download_apartment.sh 
cd preprocess
python nice_slam_apartment_to_monosdf.py

然后，我们可以提取单目深度和法线（请在运行命令前安装 omnidata 模型）：

python extract_monocular_cues.py --task depth --img_path ../data/Apartment/scan1/image --output_path ../data/Apartment/scan1 --omnidata_path YOUR_OMNIDATA_PATH --pretrained_models PRETRAINED_MODELS
python extract_monocular_cues.py --task normal --img_path ../data/Apartment/scan1/image --output_path ../data/Apartment/scan1 --omnidata_path YOUR_OMNIDATA_PATH --pretrained_models PRETRAINED_MODELS

最后，我们按照以下方式训练 MonoSDF：

CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/nice_slam_grids.conf

预训练模型

首先使用以下脚本下载预训练模型：

bash scripts/download_pretrained.sh

然后你可以进行推理（以 DTU 为例）：

cd code
python evaluation/eval.py --conf confs/dtu_mlp_3views.conf --checkpoint ../pretrained_models/dtu_3views_mlp/scan65.pth --scan_id 65 --resolution 512 --eval_rendering --evals_folder ../pretrained_results

你还可以运行以下脚本提取所有网格：

python scripts/extract_all_meshes_from_pretrained_models.py

高分辨率线索

我们在此提供生成高分辨率线索的脚本，以及使用高分辨率线索进行训练的方法。更多细节请参阅我们的补充材料。

首先，您需要从这里下载 Tanks and Temples 数据集，并将其解压到 data/tanksandtemples 目录下。然后，您可以运行脚本来创建重叠的补丁：

cd preprocess
python generate_high_res_map.py --mode create_patches

接着，使用 Omnidata 模型为每个补丁预测单目线索：

python extract_monocular_cues.py --task depth --img_path ./highres_tmp/scan1/image/ --output_path ./highres_tmp/scan1 --omnidata_path YOUR_OMNIDATA_PATH --pretrained_models PRETRAINED_MODELS
python extract_monocular_cues.py --task depth --img_path ./highres_tmp/scan1/image/ --output_path ./highres_tmp/scan1 --omnidata_path YOUR_OMNIDATA_PATH --pretrained_models PRETRAINED_MODELS

这一步骤会花费较长时间（约2小时），因为补丁数量较多，而模型每次仅处理一个样本。

随后，再次运行脚本以合并 Omnidata 的输出：

python generate_high_res_map.py --mode merge_patches

现在，您可以使用以下命令来训练模型：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8 python -m torch.distributed.launch --nproc_per_node 8 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/tnt_highres_grids_courtroom.conf

请注意，用于生成高分辨率线索的脚本仅适用于 Tanks and Temples 数据集。如果您希望将其应用于其他数据集，则需要对其进行相应的修改。

致谢

本项目基于 VolSDF 构建。我们使用预训练的 Omnidata 模型提取单目深度和法线信息。多分辨率哈希编码的 CUDA 实现则基于 torch-ngp。针对 DTU、Replica 和 ScanNet 数据集的评估脚本分别取自 DTUeval-python、Nice-SLAM 和 manhattan-sdf。我们感谢所有作者的杰出工作及开源项目。

引用

如果您认为我们的代码或论文有所帮助，请引用以下文献：

@article{Yu2022MonoSDF,
  author    = {Yu, Zehao and Peng, Songyou and Niemeyer, Michael and Sattler, Torsten and Geiger, Andreas},
  title     = {MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction},
  journal   = {神经信息处理系统大会 (NeurIPS)},
  year      = {2022},
}

MonoSDF 快速上手指南

MonoSDF 是一个利用单目深度和法线线索来提升神经隐式表面重建效果的工具。本指南将帮助你快速完成环境配置并运行基础示例。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.8
• CUDA: 11.3 (需安装 cudatoolkit 和 cudatoolkit-dev)
• 硬件: 支持 CUDA 的 NVIDIA GPU
• 前置依赖:
  • Anaconda 或 Miniconda
  • Git

注意：本项目依赖特定的 CUDA 版本（11.3），请确保系统驱动兼容。

安装步骤

1. 克隆仓库与创建环境

首先克隆代码库并创建名为 monosdf 的 Conda 环境：

git clone git@github.com:autonomousvision/monosdf.git
cd monosdf

conda create -y -n monosdf python=3.8
conda activate monosdf

2. 安装深度学习依赖

安装 PyTorch 及相关组件（官方源）：

conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
conda install cudatoolkit-dev=11.3 -c conda-forge

国内加速建议：如果下载速度慢，可使用清华源替代上述命令：

conda install pytorch torchvision cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

3. 安装项目依赖

安装 requirements.txt 中的其他 Python 包：

pip install -r requirements.txt

国内加速建议：使用 pip 国内镜像加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：哈希编码器（hash encoder）将在首次运行代码时自动编译，无需手动操作。

4. 下载数据集（可选）

如需运行官方示例，可下载预处理好的数据集（DTU, Replica, Tanks and Temples 等）：

bash scripts/download_dataset.sh

基本使用

以下以 DTU 数据集 的 scan65 场景为例，演示最基础的训练流程。

1. 开始训练

进入 code 目录并执行训练命令。该命令将加载配置文件 confs/dtu_mlp_3views.conf 并开始重建场景 ID 为 65 的数据。

cd ./code
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node 1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/dtu_mlp_3views.conf  --scan_id 65

• --conf: 指定配置文件路径（位于 code/confs 目录下）。
• --scan_id: 指定要重建的场景编号。
• CUDA_VISIBLE_DEVICES: 指定使用的 GPU 编号。

2. 使用预训练模型推理（可选）

如果你不想从头训练，可以先下载预训练模型并进行推理测试：

# 下载预训练模型
bash scripts/download_pretrained.sh

# 运行推理 (以 DTU scan65 为例)
cd code
python evaluation/eval.py --conf confs/dtu_mlp_3views.conf --checkpoint ../pretrained_models/dtu_3views_mlp/scan65.pth --scan_id 65 --resolution 512 --eval_rendering --evals_folder ../pretrained_results

3. 提取网格 Mesh

训练完成后或基于预训练模型，你可以提取最终的 3D 网格文件（.ply）。对于预训练模型，可直接运行脚本提取所有场景：

python scripts/extract_all_meshes_from_pretrained_models.py

对于自定义训练出的模型，通常需要在配置文件中设置相应的评估参数后再次运行 exp_runner.py 或使用专门的评估脚本来生成 mesh。