SfMLearner

本代码库实现了论文中描述的系统：

从视频中无监督学习深度与自运动

Tinghui Zhou、Matthew Brown、Noah Snavely、David G. Lowe

发表于 CVPR 2017（口头报告）。

更多详情请参阅项目主页。如有任何疑问，请联系 Tinghui Zhou (tinghuiz@berkeley.edu)。

前置条件

本代码库是在 Tensorflow 1.0、CUDA 8.0 和 Ubuntu 16.04 环境下开发并测试的。

运行单目深度演示

我们提供了运行单目深度预测模型的演示代码。首先，从此 Google Drive 下载预训练模型，并将模型文件放置在 models/ 目录下。然后，您可以使用提供的 ipython-notebook demo.ipynb 来运行演示。

准备训练数据

为了使用提供的代码训练模型，数据需要按照特定格式进行整理。

对于 KITTI，首先使用官方网站提供的此 脚本 下载数据集，然后运行以下命令：

python data/prepare_train_data.py --dataset_dir=/path/to/raw/kitti/dataset/ --dataset_name='kitti_raw_eigen' --dump_root=/path/to/resulting/formatted/data/ --seq_length=3 --img_width=416 --img_height=128 --num_threads=4

对于位姿实验，我们使用了 KITTI 的里程计分割数据集，可在此处下载：KITTI 里程计分割数据集。准备数据时，只需将 --dataset_name 参数更改为 kitti_odom 即可。

对于 Cityscapes，请下载以下两个压缩包：1) leftImg8bit_sequence_trainvaltest.zip，2) camera_trainvaltest.zip。然后运行以下命令：

python data/prepare_train_data.py --dataset_dir=/path/to/cityscapes/dataset/ --dataset_name='cityscapes' --dump_root=/path/to/resulting/formatted/data/ --seq_length=3 --img_width=416 --img_height=171 --num_threads=4

请注意，对于 Cityscapes 数据集，img_height 被设置为 171，因为我们裁剪掉了图像底部包含汽车标志的部分，最终得到的图像高度为 128。

训练

按照上述说明完成数据格式化后，您应该可以通过运行以下命令来训练模型：

python train.py --dataset_dir=/path/to/the/formatted/data/ --checkpoint_dir=/where/to/store/checkpoints/ --img_width=416 --img_height=128 --batch_size=4

随后，您可以启动一个 tensorboard 会话：

tensorboard --logdir=/path/to/tensorflow/log/files --port=8888

并在浏览器中打开 https://localhost:8888 查看训练进度。如果一切设置正确，在 KITTI 数据集上训练时，大约经过 10 万次迭代后，您应该会开始看到合理的深度预测结果。

备注

在加入数据增强并移除批归一化（以及其他一些小调整）之后，即使不使用额外的 Cityscapes 数据或可解释性正则化，我们也能够训练出比论文中最初报告的性能更好的深度模型。提供的预训练模型仅基于 KITTI 数据集训练，平滑权重设为 0.5，在 Eigen 测试分割上的表现如下（论文表 1）：

Abs Rel	Sq Rel	RMSE	RMSE(log)	Acc.1	Acc.2	Acc.3
0.183	1.595	6.709	0.270	0.734	0.902	0.959

当使用 5 帧片段进行训练时，位姿模型在 KITTI 里程计分割上的表现如下（论文表 3）：

序列 09	序列 10
0.016 (标准差 0.009)	0.013 (标准差 0.009)

在 KITTI 上的评估

深度

我们提供了 KITTI 单目深度实验的评估代码。首先，从此 Google Drive 下载我们的预测结果（约 140MB），并将其放入 kitti_eval/ 目录中。

然后运行：

python kitti_eval/eval_depth.py --kitti_dir=/path/to/raw/kitti/dataset/ --pred_file=kitti_eval/kitti_eigen_depth_predictions.npy

如果一切正常，您将得到论文表 1 中“Ours(CS+K)”一行的数据。若要获得“Ours cap 50m (CS+K)”一行的数据，可在执行上述命令时添加额外的参数 --max_depth=50。

位姿

我们还提供了 KITTI 位姿估计实验的评估代码。首先，从此 Google Drive 下载预测结果和真实位姿数据。

请注意，所有的预测和真实位姿数据都是 5 帧片段，格式为 timestamp tx ty tz qx qy qz qw，与 TUM 评估工具箱 的格式一致。然后，您可以运行以下命令：

python kitti_eval/eval_pose.py --gtruth_dir=/directory/of/groundtruth/trajectory/files/ --pred_dir=/directory/of/predicted/trajectory/files/

以获取论文表 3 中报告的结果。例如，要获得“Ours”在“序列 10”上的结果，可以运行：

python kitti_eval/eval_pose.py --gtruth_dir=kitti_eval/pose_data/ground_truth/10/ --pred_dir=kitti_eval/pose_data/ours_results/10/

KITTI 测试代码

深度

一旦模型训练完成，您可以通过运行以下命令获得 KITTI Eigen 测试分割上的单目深度预测结果，这些结果已按评估要求正确格式化：

python test_kitti_depth.py --dataset_dir /path/to/raw/kitti/dataset/ --output_dir /path/to/output/directory --ckpt_file /path/to/pre-trained/model/file/

位姿

我们还提供了使用预训练模型在 KITTI 数据集上获取位姿预测的示例测试代码。您可以运行以下命令，以获得符合位姿评估要求的预测结果：

python test_kitti_pose.py --test_seq [sequence_id] --dataset_dir /path/to/KITTI/odometry/set/ --output_dir /path/to/output/directory/ --ckpt_file /path/to/pre-trained/model/file/

一个基于 5 帧片段训练的示例模型可以从此 Google Drive 下载。

然后，例如要获取“序列 9”的预测结果，可以运行：

python test_kitti_pose.py --test_seq 9 --dataset_dir /path/to/KITTI/odometry/set/ --output_dir /path/to/output/directory/ --ckpt_file models/model-100280

其他实现

PyTorch（由 Clement Pinard 提供）

免责声明

这是作者对论文中所描述系统的实现，并非 Google 的官方产品。

SfMLearner 快速上手指南

SfMLearner 是一个基于深度学习的开源项目，用于从视频中无监督地学习深度估计和自运动（Ego-Motion）。本项目复现了 CVPR 2017 Oral 论文《Unsupervised Learning of Depth and Ego-Motion from Video》中的系统。

环境准备

本代码库主要在以下环境中开发和测试，建议尽量匹配该配置以避免兼容性问题：

• 操作系统: Ubuntu 16.04
• 深度学习框架: TensorFlow 1.0
• GPU 加速: CUDA 8.0
• 其他依赖: Python, NumPy, SciPy 等常规科学计算库

注意：由于项目基于较旧的 TensorFlow 1.0 版本，建议在独立的虚拟环境（如 virtualenv 或 conda）中安装依赖，以免干扰现有开发环境。

安装步骤

1. 克隆代码库

git clone https://github.com/tinghuiz/SfMLearner.git
cd SfMLearner

2. 下载预训练模型（可选，用于演示）

若仅需运行单目深度预测演示，无需重新训练，可直接下载预训练模型：

1. 访问 Google Drive 链接 下载模型文件。 国内用户若下载受阻，可尝试使用第三方 Google Drive 下载加速工具或寻找国内镜像源。
2. 将下载的模型文件解压并放置于项目根目录下的 models/ 文件夹中。

3. 准备训练数据（如需重新训练）

若需从头训练模型，需先将数据集格式化为特定结构。

KITTI 数据集示例： 首先通过官方脚本下载 KITTI Raw 数据，然后运行以下命令进行预处理：

python data/prepare_train_data.py --dataset_dir=/path/to/raw/kitti/dataset/ --dataset_name='kitti_raw_eigen' --dump_root=/path/to/resulting/formatted/data/ --seq_length=3 --img_width=416 --img_height=128 --num_threads=4

注：请将 /path/to/... 替换为实际的本地路径。

Cityscapes 数据集示例： 下载 leftImg8bit_sequence_trainvaltest.zip 和 camera_trainvaltest.zip 后运行：

python data/prepare_train_data.py --dataset_dir=/path/to/cityscapes/dataset/ --dataset_name='cityscapes' --dump_root=/path/to/resulting/formatted/data/ --seq_length=3 --img_width=416 --img_height=171 --num_threads=4

基本使用

运行单目深度预测演示

这是最简单的使用方式，用于验证环境和预训练模型。确保已完成“安装步骤”中的模型下载，然后使用提供的 Jupyter Notebook 运行演示：

jupyter notebook demo.ipynb

在浏览器打开的 Notebook 中按顺序执行单元格，即可看到深度预测结果的可视化。

开始训练模型

数据格式化完成后，使用以下命令启动训练：

python train.py --dataset_dir=/path/to/the/formatted/data/ --checkpoint_dir=/where/to/store/checkpoints/ --img_width=416 --img_height=128 --batch_size=4

训练过程中，可启动 TensorBoard 监控进度：

tensorboard --logdir=/path/to/tensorflow/log/files --port=8888

在浏览器访问 https://localhost:8888 查看损失曲线和深度预测效果。通常在 KITTI 数据集上训练约 100K 次迭代后可获得合理的深度预测结果。

模型评估与测试

训练完成后，可使用提供的脚本在 KITTI 数据集上进行深度或姿态的测试与评估：

深度测试：

python test_kitti_depth.py --dataset_dir /path/to/raw/kitti/dataset/ --output_dir /path/to/output/directory --ckpt_file /path/to/pre-trained/model/file/

姿态测试（以序列 9 为例）：

python test_kitti_pose.py --test_seq 9 --dataset_dir /path/to/KITTI/odometry/set/ --output_dir /path/to/output/directory/ --ckpt_file models/model-100280