SC-Depth

请参阅我们在 https://github.com/JiawangBian/sc_depth_pl 上的新实现（V1、V2 和 V3）。

本代码库实现了论文中描述的 SC-DepthV1：

从视频中无监督学习尺度一致的深度

卞家旺、詹黄颖、王乃延、李志超、张乐、沈春华、程明铭、伊恩·里德

IJCV 2021 [PDF]

这是 NeurIPS 2019 的扩展版本 [PDF] [项目主页]

KITTI 数据集（左）和真实世界数据（右）上的点云可视化

使用估计的深度（右下角）进行密集体素重建（左）

贡献

1. 一种几何一致性损失，使预测的深度在全局尺度上保持一致。
2. 一种自发现的掩码，用于检测运动物体和遮挡，以提高精度。
3. 尺度一致的预测结果，可用于单目视觉 SLAM 系统。

如果您认为我们的工作对您的研究有帮助，请考虑引用我们的论文：

@article{bian2021ijcv, 
  title={Unsupervised Scale-consistent Depth Learning from Video}, 
  author={Bian, Jia-Wang and Zhan, Huangying and Wang, Naiyan and Li, Zhichao and Zhang, Le and Shen, Chunhua and Cheng, Ming-Ming and Reid, Ian}, 
  journal= {International Journal of Computer Vision (IJCV)}, 
  year={2021} 
}

更新（与 NeurIPS 版本相比）

请注意，这是改进后的版本，您可以在“Release / NeurIPS Version”中找到 NeurIPS 版本，以复现论文中报告的结果。与 NeurIPS 版本相比，我们 (1) 更改了网络结构，使用在 ImageNet 上预训练的 Resnet18 和 Resnet50 模型作为深度和位姿编码器。 (2) 添加了 Monodepth2 的“auto_mask”，以去除静止点。 (3) 将深度和位姿预测集成到 ORB-SLAM 系统中。 (4) 增加了在 NYUv2 室内数据集上的训练和测试。详情请参见 Unsupervised-Indoor-Depth。

前言

该代码库是在 Ubuntu 16.04 上使用 Python 3.6、Pytorch 1.0.1 和 CUDA 10.0 开发并测试的。它基于 Clement Pinard 的 SfMLearner 实现。

先决条件

pip3 install -r requirements.txt

数据集

请参阅“scripts/run_prepare_data.sh”。

对于 KITTI Raw 数据集，可以使用官方网站提供的脚本 http://www.cvlibs.net/download.php?file=raw_data_downloader.zip 下载数据集。

对于 KITTI Odometry 数据集，需要下载带有彩色图像的数据集。

或者您也可以从以下链接下载我们预处理好的数据集：

kitti_256（适用于 KITTI Raw） | kitti_vo_256（适用于 KITTI Odometry） | kitti_depth_test（Eigen 分割） | kitti_vo_test（序列 09-10）

训练

“scripts”文件夹提供了几个训练和测试的示例。

您可以通过运行以下命令在 KITTI Raw 数据集上训练深度模型：

sh scripts/train_resnet18_depth_256.sh

或者通过以下命令在 KITTI Odometry 数据集上训练位姿模型：

sh scripts/train_resnet50_pose_256.sh

然后您可以在此文件夹中启动一个 tensorboard 会话：

tensorboard --logdir=checkpoints/

并在浏览器中打开 https://localhost:6006 查看训练进度。

评估

您可以通过运行以下命令评估 Eigen 分割下的深度：

sh scripts/test_kitti_depth.sh

通过以下命令评估视觉里程计：

sh scripts/test_kitti_vo.sh

并通过以下命令可视化深度结果：

sh scripts/run_inference.sh

预训练模型

最新模型

要评估 NeurIPS 模型，请从“Release/NeurIPS version”下载代码。

深度结果

KITTI raw 数据集（Eigen 分割）

模型	Abs Rel	Sq Rel	RMSE	RMSE(log)	Acc.1	Acc.2	Acc.3
resnet18	0.119	0.857	4.950	0.197	0.863	0.957	0.981
resnet50	0.114	0.813	4.706	0.191	0.873	0.960	0.982

NYUv2 数据集（原始视频）

模型	Abs Rel	Log10	RMSE	Acc.1	Acc.2	Acc.3
resnet18	0.159	0.068	0.608	0.772	0.939	0.982
resnet50	0.157	0.067	0.593	0.780	0.940	0.984

NYUv2 数据集（由 Unsupervised-Indoor-Depth 校正后的图像）

模型	Abs Rel	Log10	RMSE	Acc.1	Acc.2	Acc.3
resnet18	0.143	0.060	0.538	0.812	0.951	0.986
resnet50	0.142	0.060	0.529	0.813	0.952	0.987

KITTI odometry 数据集上的视觉里程计结果

网络预测（在 00-08 上训练）

指标	序列 09	序列 10
t_err (%)	7.31	7.79
r_err (度/100m)	3.05	4.90

Pseudo-RGBD SLAM 输出（SC-Depth 在 ORB-SLAM2 中的集成）

指标	序列 09	序列 10
t_err (%)	5.08	4.32
r_err (度/100m)	1.05	2.34

相关项目

• SfMLearner-Pytorch（CVPR 2017，我们的基准框架。）

• Depth-VO-Feat（CVPR 2018，基于立体视频训练深度和视觉里程计）

• DF-VO（ICRA 2020，利用尺度一致的深度结合光流实现更精确的视觉里程计）

• Kitti-Odom-Eval-Python（用于 KITTI 视觉里程计评估的 Python 代码）

• Unsupervised-Indoor-Depth（将 SC-SfMLearner 应用于 NYUv2 数据集）

SC-SfMLearner (SC-Depth) 快速上手指南

本指南基于 SC-SfMLearner-Release 仓库，帮助用户快速搭建环境并运行无监督尺度一致深度估计模型。

1. 环境准备

本项目在 Ubuntu 16.04 系统下开发测试，推荐配置如下：

• 操作系统: Ubuntu 16.04 (或其他 Linux 发行版)
• Python: 3.6
• 深度学习框架: PyTorch 1.0.1
• CUDA: 10.0
• 硬件: 支持 CUDA 的 NVIDIA GPU

注意：虽然代码基于较旧版本开发，但在更新版本的 PyTorch/CUDA 上通常也能运行，若遇兼容性问题请尝试调整版本。

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/JiawangBian/sc-sfmlearner.git
cd sc-sfmlearner

2.2 安装依赖

使用 pip 安装所需 Python 包：

pip3 install -r requirements.txt

2.3 数据集准备

项目支持 KITTI Raw 和 KITTI Odometry 数据集。你可以选择手动下载或使用作者提供的预处理数据。

方案 A：下载官方原始数据并处理 参考 scripts/run_prepare_data.sh 脚本逻辑。

• KITTI Raw: 从官网下载 raw_data_downloader.zip。
• KITTI Odometry: 下载包含彩色图像的数据集。

方案 B：下载预处理数据（推荐） 作者提供了已处理好的数据集（256x256 分辨率），可直接使用：

• kitti_256 (KITTI Raw)
• kitti_vo_256 (KITTI Odometry)

下载后请将数据解压至项目对应目录（具体路径请参考脚本中的默认设置）。

3. 基本使用

3.1 训练模型

训练深度模型 (基于 KITTI Raw) 使用 ResNet18 骨干网络进行训练：

sh scripts/train_resnet18_depth_256.sh

训练位姿模型 (基于 KITTI Odometry) 使用 ResNet50 骨干网络进行训练：

sh scripts/train_resnet50_pose_256.sh

监控训练进度 启动 TensorBoard 可视化训练过程：

tensorboard --logdir=checkpoints/

然后在浏览器中访问 http://localhost:6006 查看损失曲线和预测效果。

3.2 模型评估与推理

评估深度估计效果 (Eigen Split)

sh scripts/test_kitti_depth.sh

评估视觉里程计 (Visual Odometry)

sh scripts/test_kitti_vo.sh

生成深度图可视化结果 对单张或序列图像进行推理并保存深度图：

sh scripts/run_inference.sh

3.3 使用预训练模型

如果不想从头训练，可下载作者提供的最新预训练模型：

• Latest Models 下载链接

将下载的模型文件放入 checkpoints/ 目录，然后直接运行上述评估或推理脚本即可。