唐正刚, 范宇辰, 王迪林, 徐宏宇,拉凯什·兰詹, 亚历山大·施温格, 严志成

简要概述

多视角、无姿态约束的纯RGB图像单步3D重建。同时支持新视图合成和相对位姿估计。

更多可视化结果和视频请访问我们的官网！

更新日志

• 2025-5-10: Habitat-Sim（HM3D、Gibson、MP3D）的数据生成代码。
• 2025-1-30: ScanNet的数据生成代码。
• 2025-1-1: ScanNet的Gradio演示、所有检查点、训练/评估代码以及训练/评估轨迹。
• 2025-1-8: 改进了演示中的视图选择，提升了多房间场景的质量。

安装

我们仅在Linux服务器上进行了测试，CUDA版本为12.4。

1. 克隆MV-DUSt3R+

git clone https://github.com/facebookresearch/mvdust3r.git
cd mvdust3r

2. 在Anaconda环境下安装虚拟环境。

./install.sh

（如果你需要其他CUDA版本，请相应调整PyTorch和PyTorch3D的版本。）

3. （可选，以提升运行速度）编译RoPE的CUDA核函数（与DUSt3R和Croco相同）。

cd croco/models/curope/
python setup.py build_ext --inplace
cd ../../../

检查点

请先将检查点下载到这里，并放置到文件夹checkpoints，然后再尝试演示和评估。

名称	描述
MVD.pth	MV-DUSt3R
MVDp_s1.pth	在第一阶段（8个视角）训练的MV-DUSt3R+
MVDp_s2.pth	先在第一阶段、再在第二阶段（混合4~12个视角）训练的MV-DUSt3R+
DUSt3R_ViTLarge_BaseDecoder_224_linear.pth	预训练的DUSt3R模型。我们的训练是在其基础上进行微调的

Gradio演示

python demo.py --weights ./checkpoints/{CHECKPOINT}

你将会看到如下界面：

输入可以是多张图片（不支持单张图片）或视频。 你将看到点云以及预测的相机位姿（未来计划实现3DGS可视化）。

置信度阈值用于控制过滤掉多少低置信度的点。 视频帧数仅在输入为视频时有效，它决定了从视频中均匀选取多少帧来进行重建。

请注意，由于Gradio和模型加载的开销，演示的推理速度会比论文中声称的慢。如果需要更快的运行速度，请使用我们的评估代码。

一些技巧可以帮助提升质量，尤其是在处理多房间场景时。

数据

我们用于训练和测试的数据有五种：ScanNet, ScanNet++, HM3D, Gibson, MP3D。请前往各自官网签订合同、下载并解压到文件夹data中。这里有更详细的说明。

目前我们发布了ScanNet的轨迹，可用于评估。请将其下载到文件夹trajectories中。

我们还开源了用于生成ScanNet以及Habitat-Sim中所有数据集（HM3D、Gibson、MP3D）的训练和评估轨迹的代码，请查看[这里]。（https://github.com/facebookresearch/mvdust3r/tree/main/scripts/tuple_gen）

评估

我们在文件夹scripts中提供了以下用于在ScanNet上进行评估的脚本：

名称	描述
test_mvd.sh	MV-DUSt3R
test_mvdp_stage1.sh	在第一阶段（8个视角）训练的MV-DUSt3R+
test_mvdp_stage2.sh	先在第一阶段、再在第二阶段（混合4~12个视角）训练的MV-DUSt3R+

这些脚本应该能够复现论文（https://arxiv.org/pdf/2412.06974）在ScanNet上的结果（表2、3、4、S2、S3和S5）。

训练

我们仍在准备发布训练数据的轨迹以及轨迹生成代码。在此我们也把训练脚本放在了文件夹scripts中，它们可以提供更多关于我们的训练过程的信息。

名称	描述
train_mvd.sh	MV-DUSt3R，从DUSt3R加载后进行微调
train_mvdp_stage1.sh	MV-DUSt3R+在第一阶段（8个视角）训练，从DUSt3R加载后进行微调
train_mvdp_stage2.sh	MV-DUSt3R+先在第一阶段微调，再在第二阶段（混合4~12个视角）训练

引用

@article{tang2024mv,
  title={MV-DUSt3R+: Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds},
  author={Tang, Zhenggang and Fan, Yuchen and Wang, Dilin and Xu, Hongyu and Ranjan, Rakesh and Schwing, Alexander and Yan, Zhicheng},
  journal={arXiv preprint arXiv:2412.06974},
  year={2024}
}

许可证

我们采用CC BY-NC 4.0

致谢

非常感谢：

• DUSt3R 提供的代码库。

MV-DUSt3R+ 快速上手指南

MV-DUSt3R+ 是一个基于单阶段的稀疏视图 3D 场景重建工具，仅需 2 秒即可从多视角 RGB 图像中重建出带相机位姿的点云，并支持新视角合成。

环境准备

• 操作系统: Linux (仅在 Linux 服务器上测试通过)
• GPU: NVIDIA GPU，支持 CUDA 12.4
• 依赖管理: Anaconda
• 前置知识: 熟悉 Python 虚拟环境管理与 Git 操作

注意：若需使用其他 CUDA 版本，请自行调整 install.sh 中的 PyTorch 和 PyTorch3D 版本。

安装步骤

1. 克隆项目代码

git clone https://github.com/facebookresearch/mvdust3r.git
cd mvdust3r

2. 创建并激活虚拟环境

./install.sh

该脚本会自动创建 Conda 环境并安装所需依赖。

3. （可选）编译 CUDA 内核以加速推理

为提升运行速度，可编译 RoPE 相关的 CUDA 内核（参考 DUSt3R 项目）：

cd croco/models/curope/
python setup.py build_ext --inplace
cd ../../../

4. 下载预训练模型

从 HuggingFace 下载以下检查点文件，并放入项目根目录的 checkpoints/ 文件夹中：

• MVD.pth：MV-DUSt3R 模型
• MVDp_s1.pth：MV-DUSt3R+ Stage 1（8 视图）
• MVDp_s2.pth：MV-DUSt3R+ Stage 2（4~12 混合视图）
• DUSt3R_ViTLarge_BaseDecoder_224_linear.pth：基础预训练模型（用于微调）

基本使用

启动 Gradio 交互式演示界面：

python demo.py --weights ./checkpoints/MVDp_s2.pth

启动后将在浏览器中打开 UI 界面，支持以下输入：

• 多张 RGB 图像（不支持单图）
• 视频文件（将自动均匀采样指定帧数）

界面功能说明：

• Confidence threshold：过滤低置信度点云点的阈值
• No. of video frames：仅对视频输入有效，控制用于重建的采样帧数

输出结果包括：

• 重建的 3D 点云
• 预测的相机位姿

提示：Gradio 演示因加载开销较大，推理速度慢于论文声称的 2 秒。如需高性能推理，请使用官方评估脚本。