NICE-SLAM：用于SLAM的神经隐式可扩展编码

朱志涵* · 彭松友* · 维克托·拉尔森 · 徐伟伟 · 鲍虎军
崔兆鹏 · 马丁·R·奥斯瓦尔德 · 马克·波列费斯

(* 等贡献)

CVPR 2022

论文 | 视频 | 项目页面

NICE-SLAM能够在大规模室内场景中生成精确的稠密几何和相机跟踪结果。

（黑色/红色线条分别为真实轨迹/预测轨迹）

安装

首先，您需要确保已安装所有依赖项。最简单的方法是使用Anaconda。

您可以创建一个名为nice-slam的Anaconda环境。对于Linux系统，在创建环境之前，您需要先安装libopenexr-dev。

sudo apt-get install libopenexr-dev
    
conda env create -f environment.yaml
conda activate nice-slam

可视化NICE-SLAM结果

我们提供了可供下载的NICE-SLAM结果。您可以按照以下步骤运行我们的交互式可视化工具。

自拍公寓

要可视化我们在预告片中展示的自拍公寓结果：

bash scripts/download_vis_apartment.sh
python visualizer.py configs/Apartment/apartment.yaml --output output/vis/Apartment

中国用户注意： 如果下载速度较慢，请检查所有scripts/download_*.sh脚本，其中我们也提供了和彩云链接，供您手动下载。

ScanNet

bash scripts/download_vis_scene0000.sh
python visualizer.py configs/ScanNet/scene0000.yaml --output output/vis/scannet/scans/scene0000_00

您可以在这里找到NICE-SLAM在ScanNet其他场景上的结果。

Replica

bash scripts/download_vis_room1.sh
python visualizer.py configs/Replica/room1.yaml --output output/vis/Replica/room1

您可以在这里找到NICE-SLAM在Replica其他场景上的结果。

交互式可视化工具使用说明

黑色轨迹表示真实轨迹，红色轨迹表示NICE-SLAM的轨迹。

• 按Ctrl+0切换为灰度网格渲染。
• 按Ctrl+1切换为纹理网格渲染。
• 按Ctrl+9切换为法线渲染。
• 按L键打开或关闭光照。

命令行参数

• --output $OUTPUT_FOLDER 输出文件夹（覆盖配置文件中的输出文件夹）
• --input_folder $INPUT_FOLDER 输入文件夹（覆盖配置文件中的输入文件夹）
• --save_rendering 将渲染视频保存到输出文件夹中的vis.mp4
• --no_gt_traj 不显示真实轨迹
• --imap 可视化iMAP*的结果
• --vis_input_frame 打开查看器以显示输入帧。注意：您需要先下载数据集。请参阅下面的“运行”部分。

演示

在这里，您可以自行运行NICE-SLAM，处理一段包含500帧的简短ScanNet序列。

首先，按如下方式下载演示数据，数据将保存到./Datasets/Demo文件夹中。

bash scripts/download_demo.sh

接下来，运行NICE-SLAM。这需要几分钟时间，大约占用5G显存。

python -W ignore run.py configs/Demo/demo.yaml

最后，运行以下命令进行可视化。

python visualizer.py configs/Demo/demo.yaml 

注意： 这仅用于演示目的，其配置/性能可能与我们的论文有所不同。

运行

自拍公寓

按如下方式下载数据，数据将保存到./Datasets/Apartment文件夹中。

bash scripts/download_apartment.sh

接下来，运行NICE-SLAM：

python -W ignore run.py configs/Apartment/apartment.yaml

ScanNet

请按照ScanNet网站上的数据下载流程操作，并使用此代码从.sens文件中提取彩色/深度帧。

  DATAROOT
  └── scannet
      └── scans
          └── scene0000_00
              └── frames
                  ├── color
                  │   ├── 0.jpg
                  │   ├── 1.jpg
                  │   ├── ...
                  │   └── ...
                  ├── depth
                  │   ├── 0.png
                  │   ├── 1.png
                  │   ├── ...
                  │   └── ...
                  ├── intrinsic
                  └── pose
                      ├── 0.txt
                      ├── 1.txt
                      ├── ...
                      └── ...

一旦数据下载并正确设置完毕，您就可以运行NICE-SLAM：

python -W ignore run.py configs/ScanNet/scene0000.yaml

Replica

按如下方式下载数据，数据将保存到 ./Datasets/Replica 文件夹中。请注意，Replica 数据由 iMAP 的作者生成，因此如果您使用该数据，请引用 iMAP。

bash scripts/download_replica.sh

然后您可以运行 NICE-SLAM：

python -W ignore run.py configs/Replica/room0.yaml

用于评估的网格文件保存为 $OUTPUT_FOLDER/mesh/final_mesh_eval_rec.ply，其中未见区域已通过所有帧剔除掉。

TUM RGB-D

按如下方式下载数据，数据将保存到 ./Datasets/TUM-RGBD 文件夹中：

bash scripts/download_tum.sh

现在运行 NICE-SLAM：

python -W ignore run.py configs/TUM_RGBD/freiburg1_desk.yaml

Co-Fusion

首先，下载数据集。此脚本应自动将数据下载并解压到 ./Datasets/CoFusion 文件夹中：

bash scripts/download_cofusion.sh

运行 NICE-SLAM：

python -W ignore run.py configs/CoFusion/room4.yaml

使用您自己的 Kinect Azure RGB-D 序列

python -W ignore run.py configs/Own/sample.yaml

bash scripts/download_open3d.sh

# 指定场景 ID
sceneid=0
cd 3rdparty/Open3D-0.13.0/examples/python/reconstruction_system/
# 录制并保存为 .mkv 文件
python sensors/azure_kinect_recorder.py --align_depth_to_color --output scene$sceneid.mkv
# 提取帧
python sensors/azure_kinect_mkv_reader.py --input  scene$sceneid.mkv --output dataset/scene$sceneid

python run_system.py dataset/scene$sceneid/config.json --make --register --refine --integrate 
# 返回主文件夹
cd ../../../../../

python src/tools/prep_own_data.py --scene_folder 3rdparty/Open3D-0.13.0/examples/python/reconstruction_system/dataset/scene$sceneid --ouput_config configs/Own/scene$sceneid.yaml

python -W ignore run.py configs/Own/scene$sceneid.yaml

iMAP*

我们还提供了 iMAP 的重新实现版本 (iMAP*) 供使用。如果您使用该代码，请同时引用原始 iMAP 论文和 NICE-SLAM。

使用方法

iMAP* 与 NICE-SLAM 共享大部分代码。要运行 iMAP*，只需在配置文件中使用 *_imap.yaml，并在命令行中添加 --imap 参数。例如，在 Replica room0 上运行 iMAP*：

python -W ignore run.py configs/Replica/room0_imap.yaml --imap 

要使用我们的交互式可视化工具：

python visualizer.py configs/Replica/room0_imap.yaml --imap 

要评估 ATE：

python src/tools/eval_ate.py configs/Replica/room0_imap.yaml --imap 

评估

平均轨迹误差

要评估平均轨迹误差，请使用相应的配置文件运行以下命令：

python src/tools/eval_ate.py configs/Replica/room0.yaml

重建误差

为了评估重建误差，首先下载已剔除未见区域的真实标签Replica网格。

bash scripts/download_cull_replica_mesh.sh

然后运行以下命令（NICE-SLAM和iMAP*相同）。2D指标需要渲染1000张深度图像，这将花费一些时间（约9分钟）。使用 -2d 开启2D指标。使用 -3d 开启3D指标。

# 可以任意指定输出文件夹和真实标签网格，这里仅作为示例
OUTPUT_FOLDER=output/Replica/room0
GT_MESH=cull_replica_mesh/room0.ply
python src/tools/eval_recon.py --rec_mesh $OUTPUT_FOLDER/mesh/final_mesh_eval_rec.ply --gt_mesh $GT_MESH -2d -3d

我们还提供了根据相机位姿剔除网格的代码。这里以剔除Replica room0的真实标签网格为例。

python src/tools/cull_mesh.py --input_mesh Datasets/Replica/room0_mesh.ply --traj Datasets/Replica/room0/traj.txt --output_mesh cull_replica_mesh/room0.ply

致谢

我们借鉴了一些优秀开源仓库中的代码，包括convolutional_occupancy_networks、nerf-pytorch、lietorch以及DIST-Renderer。感谢这些项目作者公开分享代码。同时，我们也感谢Edgar Sucar允许我们使用Replica数据集。

引用

如果您认为我们的代码或论文有用，请引用以下文献：

@inproceedings{Zhu2022CVPR,
  author    = {Zhu, Zihan and Peng, Songyou and Larsson, Viktor and Xu, Weiwei and Bao, Hujun and Cui, Zhaopeng and Oswald, Martin R. and Pollefeys, Marc},
  title     = {NICE-SLAM: Neural Implicit Scalable Encoding for SLAM},
  booktitle = {IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集},
  year      = {2022}
}

联系方式

如有任何问题、意见或错误报告，请联系Zihan Zhu和Songyou Peng。

NICE-SLAM 快速上手指南

NICE-SLAM (Neural Implicit Scalable Encoding for SLAM) 是一个用于大规模室内场景的神经隐式 SLAM 系统，能够生成高精度的稠密几何重建和相机轨迹跟踪。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04 及以上)
• 包管理器: Anaconda 或 Miniconda
• GPU: 支持 CUDA 的 NVIDIA 显卡 (运行 Demo 约需 5GB 显存)
• 系统依赖: 安装 libopenexr-dev 库

sudo apt-get update
sudo apt-get install libopenexr-dev

2. 安装步骤

使用 Conda 创建名为 nice-slam 的虚拟环境并安装依赖：

# 创建环境
conda env create -f environment.yaml

# 激活环境
conda activate nice-slam

注意：如果您在中国大陆地区下载依赖或数据集速度较慢，项目脚本中通常提供了“和彩云”等国内下载链接。请检查 scripts/ 目录下的 .sh 脚本文件，手动下载所需数据。

3. 基本使用

3.1 运行官方 Demo (ScanNet)

这是最简单的体验方式，无需自行准备数据集。

1. 下载 Demo 数据 (自动保存至 ./Datasets/Demo)：

   bash scripts/download_demo.sh
   

2. 运行 NICE-SLAM：

   python -W ignore run.py configs/Demo/demo.yaml
   

3. 可视化结果：

   python visualizer.py configs/Demo/demo.yaml
   

   可视化操作快捷键：

   • Ctrl+0: 灰色网格渲染
   • Ctrl+1: 纹理网格渲染
   • Ctrl+9: 法线渲染
   • L: 开关光照效果
   • (黑色轨迹为真值，红色轨迹为 NICE-SLAM 预测结果)

3.2 运行其他数据集

项目支持 ScanNet, Replica, TUM RGB-D, Co-Fusion 等数据集。以 Replica 为例：

1. 下载数据：

   bash scripts/download_replica.sh
   

2. 运行算法：

   python -W ignore run.py configs/Replica/room0.yaml
   

3. 可视化：

   python visualizer.py configs/Replica/room0.yaml
   

3.3 使用自定义 Kinect Azure 数据

如果您想使用自己的 RGB-D 序列：

1. 录制视频并提取对齐的颜色/深度帧（参考 Open3D Azure Kinect 教程，务必使用 --align_depth_to_color）。
2. 参照 configs/Own/sample.yaml 修改配置文件，填入正确的相机内参 (intrinsic.json) 和数据路径。
3. 定义场景边界（若无真值位姿，系统将基于第一帧构建坐标系）。
4. 运行：

   python -W ignore run.py configs/Own/sample.yaml
   

提示：对于自定义数据，强烈建议先使用 Open3D 的 Redwood 系统进行预处理以自动估算场景边界和初始位姿，具体流程可参考 README 中的 "Use your own RGB-D sequence from Kinect Azure" 详细章节。