时间机会主义者：自监督多帧单目深度

杰米·沃森、 奥辛·麦克阿达、 维克托·普里萨卡里乌、 加布里埃尔·J·布罗斯托 以及 迈克尔·菲尔曼 – CVPR 2021

[论文链接]

我们提出了 ManyDepth，这是一种自适应的稠密深度估计方法，在测试时若存在序列信息，它可以加以利用。

• ✅ 自监督：我们仅使用单目视频进行训练。训练和测试阶段均无需深度或位姿标注。
• ✅ 单帧即可获得良好的深度结果；而使用短序列则能进一步提升精度。
• ✅ 高效：测试时仅需一次前向传播，无需进行任何测试时优化。
• ✅ 在 KITTI 和 CityScapes 数据集上，该方法实现了自监督单目训练深度估计的最先进水平。

概述

代价体积通常用于从多视角输入中估计深度：

然而，代价体积并不容易与自监督训练结合使用。

在我们的论文中，我们：

• 提出了自适应代价体积，以应对未知的场景尺度；
• 解决了运动物体带来的问题；
• 引入了数据增强技术，以处理静态相机和序列起始帧的情况。

这些改进使得代价体积能够与自监督训练兼容：

借助我们的改进，测试时使用短序列能够比仅基于单帧预测深度的方法获得更优的结果。

✏️ 📄 引用

如果您认为我们的工作有用或有趣，请引用我们的论文：

@inproceedings{watson2021temporal,
    author = {Jamie Watson and
              Oisin Mac Aodha and
              Victor Prisacariu and
              Gabriel Brostow and
              Michael Firman},
    title = {{The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth}},
    booktitle = {Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

📈 结果

我们的 ManyDepth 方法在大多数指标的所有子类别中均优于先前的所有方法，无论基线方法在测试时是否使用多帧输入。详细信息请参阅我们的论文。

👀 复现论文结果

要复现我们论文中的结果，请运行以下命令：

CUDA_VISIBLE_DEVICES=<your_desired_GPU> \
python -m manydepth.train \
    --data_path <your_KITTI_path> \
    --log_dir <your_save_path>  \
    --model_name <your_model_name>

根据您的 GPU 规格，可能需要将 --batch_size 设置为低于 12。此外，您还可以通过添加 --height 320 --width 1024 来训练高分辨率模型。

有关下载 KITTI 数据集的说明，请参阅 Monodepth2。

要训练 CityScapes 模型，请运行以下命令：

CUDA_VISIBLE_DEVICES=<your_desired_GPU> \
python -m manydepth.train \
    --data_path <your_preprocessed_cityscapes_path> \
    --log_dir <your_save_path>  \
    --model_name <your_model_name> \
    --dataset cityscapes_preprocessed \
    --split cityscapes_preprocessed \
    --freeze_teacher_epoch 5 \
    --height 192 --width 512

请注意这里的 --freeze_teacher_epoch 5 命令——我们发现这对于 CityScapes 模型非常重要，因为其训练集包含大量图像。

这假定您已使用 SfMLearner 的 prepare_train_data.py 脚本对 CityScapes 数据集进行了预处理。我们使用的命令如下：

python prepare_train_data.py \
    --img_height 512 \
    --img_width 1024 \
    --dataset_dir <path_to_downloaded_cityscapes_data> \
    --dataset_name cityscapes \
    --dump_root <your_preprocessed_cityscapes_path> \
    --seq_length 3 \
    --num_threads 8

需要注意的是，尽管我们使用了 --img_height 512 标志，但 prepare_train_data.py 脚本会保存尺寸为 1024x384 的图像，因为它还会裁剪掉图像底部的部分。理论上，使用 --img_height 256 --img_width 512（生成 512x192 图像）可以在不损失精度的情况下节省磁盘空间，但这并非我们在实验中采用的方式。

💾 预训练权重与评估

您可以在此处下载部分预训练模型的权重：

• KITTI MR（640x192）
• KITTI HR（1024x320）
• CityScapes（512x192）

要在 KITTI 上评估模型，请运行以下命令：

CUDA_VISIBLE_DEVICES=<your_desired_GPU> \
python -m manydepth.evaluate_depth \
    --data_path <your_KITTI_path> \
    --load_weights_folder <your_model_path>
    --eval_mono

请确保您已先运行 export_gt_depth.py 以提取真实深度标签文件。

要在 CityScapes 上评估模型，请运行以下命令：

CUDA_VISIBLE_DEVICES=<your_desired_GPU> \
python -m manydepth.evaluate_depth \
    --data_path <your_cityscapes_path> \
    --load_weights_folder <your_model_path>
    --eval_mono \
    --eval_split cityscapes

在评估过程中，我们会裁剪并仅对中间 50% 的图像进行评估。

我们提供了真实深度标签文件 HERE，这些文件是根据内参和已知基线从像素视差转换而来的。请下载并解压到 splits/cityscapes 目录下。

如果您想评估教师网络（即用于一致性损失的单目网络），则可以添加 --eval_teacher 标志。这将加载为我们 KITTI 模型提供的 mono_encoder.pth 和 mono_depth.pth 权重。

🖼 在您自己的图像上运行

我们在 test_simple.py 中提供了一些示例代码，演示了多帧推理。该示例对从一段 行车记录仪视频 中裁剪出的两幅图像序列进行深度预测。预测还需要一个以 JSON 格式提供的相机内参矩阵估计值。对于提供的测试图像，我们估计其内参与 KITTI 数据集的内参等效。请注意，JSON 文件中提供的内参应采用 归一化坐标。

请从上述链接之一下载并解压模型权重，然后运行以下命令：

python -m manydepth.test_simple \
    --target_image_path assets/test_sequence_target.jpg \
    --source_image_path assets/test_sequence_source.jpg \
    --intrinsics_json_path assets/test_sequence_intrinsics.json \
    --model_path path/to/weights

预测的深度图渲染结果将保存到 assets/test_sequence_target_disp.jpeg。

👩‍⚖️ 许可证

版权所有 © Niantic, Inc. 2021。专利申请中。 保留所有权利。 有关条款，请参阅 许可证文件。

ManyDepth 快速上手指南

ManyDepth 是一种自适应的密集深度估计方法，仅需单目视频即可进行自监督训练。它支持在测试时利用短序列信息生成更高质量的深度图，且无需测试时优化，推理效率高。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• 硬件要求: NVIDIA GPU (支持 CUDA)，显存建议 8GB 以上（高分辨率模型需更大显存）
• 软件依赖:
  • Python 3.6+
  • PyTorch 1.7+
  • CUDA Toolkit (版本需与 PyTorch 匹配)
  • OpenCV, NumPy, Pillow 等常用视觉库

提示: 国内用户安装 PyTorch 时，推荐使用清华或中科大镜像源加速： pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/nianticlabs/manydepth.git
   cd manydepth
   

2. 安装依赖 项目通常依赖标准的 PyTorch 生态。如果根目录有 requirements.txt，请运行：

   pip install -r requirements.txt
   

   若无该文件，请确保已安装基础视觉库：

   pip install opencv-python numpy pillow scipy
   

3. 下载预训练权重 (可选) 若仅需推理或评估，可跳过训练直接下载官方权重：

   • KITTI MR (640x192)
   • KITTI HR (1024x320)
   • CityScapes (512x192)

   下载后解压到指定文件夹。

基本使用

1. 快速推理（测试自有图片）

这是最简单的使用方式，利用预训练模型对两张连续帧（目标帧和源帧）进行深度预测。

准备文件：

• 目标图像 (target_image)
• 源图像 (source_image, 通常为前一帧或后一帧)
• 相机内参文件 (intrinsics.json, 格式需为归一化坐标)

运行命令：

python -m manydepth.test_simple \
    --target_image_path assets/test_sequence_target.jpg \
    --source_image_path assets/test_sequence_source.jpg \
    --intrinsics_json_path assets/test_sequence_intrinsics.json \
    --model_path path/to/weights

注：请将 path/to/weights 替换为你下载的权重文件夹路径。输出结果将保存为 assets/test_sequence_target_disp.jpeg。

2. 模型评估（以 KITTI 数据集为例）

如果你已准备好 KITTI 数据集并提取了真值文件，可使用以下命令评估预训练模型：

CUDA_VISIBLE_DEVICES=0 \
python -m manydepth.evaluate_depth \
    --data_path <your_KITTI_path> \
    --load_weights_folder <your_model_path> \
    --eval_mono

注意：运行前需先执行 export_gt_depth.py 脚本提取真值深度文件。

3. 开始训练（复现论文结果）

若要从头训练模型（以 KITTI 为例）：

CUDA_VISIBLE_DEVICES=0 \
python -m manydepth.train \
    --data_path <your_KITTI_path> \
    --log_dir <your_save_path>  \
    --model_name <your_model_name>

提示：若显存不足，可添加 --batch_size 参数调小批次大小；若需训练高分辨率模型，可添加 --height 320 --width 1024。