Neural RGB-D Surface Reconstruction（神经 RGB-D 表面重建）

论文 | 项目主页 | 视频

Neural RGB-D Surface Reconstruction
Dejan Azinović, Ricardo Martin-Brualla, Dan B Goldman, Matthias Nießner, Justus Thies
CVPR 2022

本仓库包含论文 Neural RGB-D Surface Reconstruction 的代码，这是一种将隐式表面表示（implicit surface representation）与神经辐射场（Neural Radiance Field, NeRF）相结合的新型 3D 重建方法。

安装

您可以使用以下命令创建名为 neural_rgbd 的 conda 环境：

conda env create -f environment.yaml
conda activate neural_rgbd

请确保克隆外部 Marching Cubes 依赖项，并在同一环境中安装：

cd external/NumpyMarchingCubes
python setup.py install

您可以使用以下命令运行优化：

python optimize.py --config configs/<config_file>.txt

数据

数据需要采用以下格式：

<scene_name>            # 配置文件中的 args.datadir
├── depth               # 原始（真实数据）或真值（合成数据）深度图像（可选）
    ├── depth0.png     
    ├── depth1.png
    ├── depth2.png
    ...
├── depth_filtered      # 滤波后的深度图像
    ├── depth0.png     
    ├── depth1.png
    ├── depth2.png
    ...
├── depth_with_noise    # 带有合成噪声和伪影的深度图像（可选）
    ├── depth0.png     
    ├── depth1.png
    ├── depth2.png
    ...
├── images              # RGB 图像
    ├── img0.png     
    ├── img1.png
    ├── img2.png
    ...
├── focal.txt           # 焦距
├── poses.txt           # 真值相机位姿（可选）
├── trainval_poses.txt  # 用于优化的相机位姿

数据加载器（dataloader）硬编码为从 depth_filtered 文件夹加载深度图。这些深度图是通过与 BundleFusion 相同的双边滤波器从原始深度图（或合成数据情况下的 depth_with_noise）生成的。该方法也可以使用原始深度图运行，但结果会略有下降。

文件 focal.txt 包含一个浮点数值，表示相机的焦距（以像素为单位）。

文件 poses.txt 和 trainval_poses.txt 包含相机矩阵，格式为 4N x 4，其中 N 是轨迹中的相机数量。与 NeRF 论文相同，我们使用 OpenGL 约定作为相机的坐标系。如果您在 ScanNet 数据上运行此代码，请确保将位姿转换为 OpenGL 系统，因为 ScanNet 使用了不同的约定。

您也可以编写自己的数据加载器。可以使用现有的 load_scannet.py 作为模板，并更新 load_dataset.py。

数据集

论文中使用的数据集可通过以下链接获取：neural_rgbd_data.zip（7.25 GB）。ICL 数据未包含在此下载中，但可从原作者的网页下载。

场景文件由各位艺术家在 BlendSwap 上免费提供。有关许可证信息和 .blend 文件链接，请参阅下表。

许可证	场景名称
CC-BY	Breakfast room
CC-0	Complete kitchen
CC-BY	Green room
CC-BY	Grey-white room
CC-BY	Kitchen
CC-0	Morning apartment
CC-BY	Staircase
CC-BY	Thin geometry
CC-BY	Whiteroom

我们还提供了用于评估的裁剪真值网格（culled ground truth meshes）和我们方法的网格：meshes.zip（514 MB）。

引用

如果您在研究中使用了此代码，请考虑引用：

@InProceedings{Azinovic_2022_CVPR,
    author    = {Azinovi\'c, Dejan and Martin-Brualla, Ricardo and Goldman, Dan B and Nie{\ss}ner, Matthias and Thies, Justus},
    title     = {Neural RGB-D Surface Reconstruction},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {6290-6301}
}

更多信息

本代码主要基于 Mildenhall 等人的原始 NeRF 代码。 https://github.com/bmild/nerf

Marching Cubes 实现改编自 Dai 等人的 SPSG 代码。 https://github.com/angeladai/spsg

Neural RGB-D Surface Reconstruction 快速上手指南

环境准备

项目	要求
操作系统	Linux (推荐 Ubuntu 18.04+)
Python	3.7+
GPU	NVIDIA GPU，支持 CUDA
显存	建议 8GB+

前置依赖：Anaconda/Miniconda

安装步骤

1. 克隆仓库并创建环境

# 克隆主仓库
git clone https://github.com/dazinovic/neural-rgbd-surface-reconstruction.git
cd neural-rgbd-surface-reconstruction

# 创建 conda 环境
conda env create -f environment.yaml
conda activate neural_rgbd

2. 安装 Marching Cubes 依赖

cd external/NumpyMarchingCubes
python setup.py install
cd ../..

基本使用

准备数据

数据目录结构示例（以 scene_name 为例）：

scene_name/
├── depth_filtered/      # 滤波后的深度图（必需）
│   ├── depth0.png
│   ├── depth1.png
│   └── ...
├── images/              # RGB 图像（必需）
│   ├── img0.png
│   ├── img1.png
│   └── ...
├── focal.txt            # 焦距（像素）
└── trainval_poses.txt   # 相机位姿（4N×4 矩阵）

关键说明：

• 深度图必须从 depth_filtered 目录加载
• 相机位姿使用 OpenGL 坐标系（ScanNet 数据需转换）
• focal.txt 为单精度浮点数

运行优化

python optimize.py --config configs/<config_file>.txt

示例（使用自带配置）：

python optimize.py --config configs/complete_kitchen.txt

快速测试：下载示例数据

# 下载论文数据集（7.25 GB）
wget https://kaldir.vc.in.tum.de/neural_rgbd/neural_rgbd_data.zip

# 解压后按上述目录结构放置，修改配置文件中的 datadir 路径即可运行

---

提示：如需自定义数据，参考 load_scannet.py 编写新的 dataloader，并在 load_dataset.py 中注册。