基于迁移学习的高质量单目深度估计（arXiv 2018）

Ibraheem Alhashim 和 Peter Wonka

[更新] 我们的最新方法性能更优，可在此处找到：AdaBins。

官方 Keras (TensorFlow) 实现。如有任何问题或需要更多代码方面的帮助，请联系第一作者。

[更新] 添加了一个 Colab 笔记本，以便即时试用该方法。

[更新] 增加了 TensorFlow 2.0 的实验性实现。

[更新] 增加了 PyTorch 的实验性代码。

结果

• KITTI

• NYU Depth V2

要求

• 该代码已在配备 NVIDIA Titan V 显卡和 16GB 以上内存、运行 Windows 10 或 Ubuntu 16 的机器上，使用 Keras 2.2.4、Tensorflow 1.13 和 CUDA 10.0 进行测试。
• 其他所需包包括 keras pillow matplotlib scikit-learn scikit-image opencv-python pydot，以及用于模型图可视化所需的 GraphViz，还有用于 GUI 演示的 PyGLM PySide2 pyopengl。
• 经测试可用于推理的最低硬件配置为：NVIDIA GeForce 940MX（笔记本）/ NVIDIA GeForce GTX 950（台式机）。
• 使用单块 NVIDIA TITAN RTX 显卡、批大小为 8 时，训练大约需要 24 小时。

预训练模型

• NYU Depth V2（165 MB）
• KITTI（165 MB）

演示

• 下载预训练模型（nyu.h5）后，运行 python test.py。您将看到包含估计深度图的图像拼贴。
• [更新] 一个 Qt 演示程序，可从网络摄像头或图像中显示 3D 点云。只需运行 python demo.py 即可。此演示需要安装 PyGLM PySide2 pyopengl 包。

数据

• NYU Depth V2（5万张）（4.1 GB）：无需解压数据集，因为代码在训练时会将整个 ZIP 文件加载到内存中。
• KITTI：将原始数据复制到路径为 ../kitti 的文件夹中。我们的方法需要密集的输入深度图，因此您需要对 LiDAR 数据运行一种深度修复方法。在我们的实验中，我们使用了自己对 NYU Depth V2 工具箱附带 MATLAB 代码的 Python 重实现。对全部 8 万张图像进行修复耗时 2 小时，使用的是由 80 个节点组成的集群。用于训练的数据子集定义在此处。
• Unreal-1k：即将发布。

训练

• 运行 python train.py --data nyu --gpus 4 --bs 8。

评估

• 从这里下载但不要解压真值测试数据（1.4 GB）。然后直接运行 python evaluate.py 即可。

参考文献

需要引用的相关论文：

@article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}

DenseDepth 快速上手指南

DenseDepth 是一个基于迁移学习的高质量单目深度估计工具，支持从单张 RGB 图像生成深度图。本项目提供 Keras (TensorFlow)、PyTorch 等多种实现版本。

环境准备

系统要求

• 操作系统: Windows 10 或 Ubuntu 16+
• GPU: 推荐 NVIDIA 显卡（测试机型包括 Titan V, RTX 系列）。
  • 最低推理配置：NVIDIA GeForce 940MX (笔记本) 或 GTX 950 (台式机)。
• 内存: 16GB+ RAM。

前置依赖

确保已安装以下基础环境：

• Python 3.x
• CUDA 10.0
• cuDNN (与 CUDA 10.0 匹配)

安装依赖包

使用 pip 安装所需 Python 库。国内用户建议使用清华源或阿里源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==2.2.4 tensorflow==1.13 pillow matplotlib scikit-learn scikit-image opencv-python pydot graphviz

注意: 若需运行 3D 点云演示 (demo.py)，还需额外安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple PyGLM PySide2 pyopengl

注：graphviz 系统工具也需单独安装并配置环境变量，用于模型可视化。

安装步骤

1. 克隆仓库

   git clone https://github.com/ialhashim/DenseDepth.git
   cd DenseDepth
   

2. 下载预训练模型 根据需求下载对应的 .h5 权重文件，并放入项目根目录：

   • NYU Depth V2 模型 (室内场景): 下载链接 (重命名为 nyu.h5)
   • KITTI 模型 (室外驾驶场景): 下载链接 (重命名为 kitti.h5)

   (国内用户若无法访问 Google Drive，可尝试寻找国内网盘搬运资源)

基本使用

1. 静态图片深度估计

下载好预训练模型（例如 nyu.h5）后，运行测试脚本即可生成深度图蒙太奇：

python test.py

程序将读取默认测试图片，并输出包含原图与估计深度图的合成结果。

2. 实时 3D 点云演示 (可选)

若已安装 PyGLM, PySide2, pyopengl，可启动 Qt 界面，通过摄像头或加载图片实时查看 3D 点云效果：

python demo.py

3. 在线体验 (无需本地环境)

如果暂时不想配置本地环境，可以直接在浏览器中运行官方提供的 Colab 笔记本进行体验：

• DenseDepth Colab Notebook