MVSNet 的非官方 PyTorch 实现

MVSNet：面向非结构化多视角立体视觉的深度推断。Yao Yao、Zixin Luo、Shiwei Li、Tian Fang、Long Quan。ECCV 2018。MVSNet 是一种用于从非结构化多视角图像中推断深度图的深度学习架构。

这是 MVSNet 的一个非官方 PyTorch 实现。

使用方法

环境

• Python 3.6（Anaconda）
• PyTorch 1.0.1

训练

• 下载预处理好的 DTU 训练数据（固定训练相机，来自 原始 MVSNet），并解压为 MVS_TRAINING 文件夹。
• 在 train.sh 中，将 MVS_TRAINING 设置为你训练数据的路径。
• 创建一个名为 checkpoints 的日志目录。
• 训练 MVSNet：./train.sh

测试

• 下载预处理好的测试数据 DTU 测试数据（来自 原始 MVSNet），并解压为 DTU_TESTING 文件夹，该文件夹应包含一个 cams 文件夹、一个 images 文件夹和一个 pair.txt 文件。
• 在 test.sh 中，将 DTU_TESTING 设置为你的测试数据路径，并将 CKPT_FILE 设置为你使用的检查点文件。你也可以下载我的 预训练模型。
• 测试 MVSNet：./test.sh

融合

在 eval.py 中，我实现了一个简单的深度图融合版本。欢迎贡献代码以进一步改进。

DTU 数据集上的结果

	准确率	完整性	整体指标
MVSNet(D=256)	0.396	0.527	0.462
PyTorch-MVSNet(D=192)	0.4492	0.3796	0.4144

由于显存限制，我们仅使用 D=192 训练模型，且融合代码也与原仓库有所不同。

MVSNet_pytorch 快速上手指南

MVSNet_pytorch 是经典多视图立体视觉算法 MVSNet 的非官方 PyTorch 实现，用于从非结构化多视角图像中推断深度图。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.6 (建议使用 Anaconda 管理环境)
• 深度学习框架: PyTorch 1.0.1
• 硬件: 支持 CUDA 的 NVIDIA GPU (训练需要较大显存)

依赖安装建议： 国内用户可使用清华或中科大镜像源加速 Conda 和 Pip 包的下载：

# 配置 conda 镜像 (可选)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

# 创建环境并安装 pytorch 1.0.1 (示例命令，具体版本需根据 cuda 版本调整)
conda create -n mvsnet python=3.6
conda activate mvsnet
pip install torch==1.0.1 torchvision==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装与数据准备

本项目无需复杂的 setup.py 安装过程，克隆代码后主要需准备数据集。

1. 获取代码

git clone <项目仓库地址>
cd MVSNet_pytorch

2. 准备训练数据 (DTU Dataset)

下载预处理好的 DTU 训练数据（源自官方 MVSNet），并解压为 MVS_TRAINING 文件夹。

• 下载地址: DTU Training Data
• 注：国内网络访问 Google Drive 可能较慢，请自行寻找国内网盘搬运资源或使用代理。

3. 准备测试数据 (可选)

如需进行测试，下载预处理好的 DTU 测试数据，解压为 DTU_TESTING 文件夹（包含 cams, images 文件夹及 pair.txt）。

• 下载地址: DTU Testing Data

基本使用

训练模型 (Training)

1. 编辑 train.sh 脚本，将 MVS_TRAINING 变量修改为你本地的数据路径。
2. 创建日志目录：

   mkdir checkpoints
   

3. 执行训练脚本：

   ./train.sh
   

   注意：受限于显存，本实现默认训练深度层级 D=192。

测试模型 (Testing)

1. 编辑 test.sh 脚本：
   • 设置 DTU_TESTING 为你的测试数据路径。
   • 设置 CKPT_FILE 为你的模型权重文件路径。
   • 可选: 下载作者提供的预训练模型: Pretrained Model
2. 执行测试脚本：

   ./test.sh
   

深度图融合 (Fusion)

测试完成后，可运行 eval.py 进行简单的深度图融合操作：

python eval.py

(该部分代码为基础实现，欢迎开发者贡献优化代码)