MonoDepth

本仓库的灵感来源于 Clément Godard、Oisin Mac Aodha 和 Gabriel J. Brostow 在无监督单目深度估计方面所做的出色工作。 原始代码和论文可通过以下链接找到：

1. 原始仓库
2. 原始论文

MonoDepth-PyTorch

本仓库包含 MonoDepth 深度学习算法的 PyTorch 版本实现及相关代码。如需了解原始工作的更多信息，请访问 作者网站。

目的

本仓库的目标是构建一个更轻量级且精度更高的深度估计模型。在我们的 MonoDepth 实现中，我们使用了 ResNet50 作为编码器，并对其进行了小幅修改（增加了一次横向下采样），与原始仓库中的做法一致。

此外，我们还增加了 ResNet18 的版本，并在两种情况下都使用了批量归一化以提高训练稳定性。更为重要的是，我们设计了一个灵活的特征提取器，支持 torchvision 模型库中的任意版本 ResNet，并可选择使用预训练模型。

数据集

KITTI

该算法需要用于训练的立体图像对以及用于测试的单张图像。我们使用了 KITTI 数据集进行训练，其中包含 38,237 个训练样本。原始数据集（约 175 GB）可以通过运行以下命令下载：

wget -i kitti_archives_to_download.txt -P ~/my/output/folder/

kitti_archives_to_download.txt 文件可在本仓库中找到。

数据加载器

数据加载器假定训练数据文件夹具有如下结构（data_dir 参数为该文件夹路径）： 文件夹内包含子文件夹，分别存放左视图图像 image_02/data 和右视图图像 image_03/data。这种结构是 KITTI 数据集的默认格式。

示例数据文件夹结构（本例中应将 kitti 目录路径作为 data_dir 传入）：

data
├── kitti
│   ├── 2011_09_26_drive_0001_sync
│   │   ├── image_02
│   │   │   ├─ data
│   │   │   │   ├── 0000000000.png
│   │   │   │   └── ...
│   │   ├── image_03
│   │   │   ├── data
│   │   │   │   ├── 0000000000.png
│   │   │   │   └── ...
│   ├── ...
├── models
├── output
├── test
│   ├── left
│   │   ├── test_1.jpg
│   │   └── ...

训练

训练示例可在 Monodepth 笔记本中找到。

main_monodepth_pytorch.py 中的模型类需使用以下参数（以 easydict 形式）初始化后方可开始训练：

• data_dir: 数据集文件夹路径
• val_data_dir: 验证数据集文件夹路径
• model_path: 训练好的模型保存路径
• output_directory: 测试图像的深度图保存路径
• input_height
• input_width
• model: 编码器模型（resnet18_md 或 resnet50_md，或 torchvision 提供的任意 ResNet 版本，如 resnet18、resnet34 等）
• pretrained: 若使用 torchvision 模型，可下载预训练权重
• mode: 训练或测试模式
• epochs: 训练轮数
• learning_rate
• batch_size
• adjust_lr: 是否应用学习率衰减
• tensor_type: 'torch.cuda.FloatTensor' 或 'torch.FloatTensor'
• do_augmentation: 是否进行数据增强
• augment_parameters: gamma、亮度和色彩的最小值及最大值
• print_images
• print_weights
• input_channels: 输入张量的通道数（RGB 图像为 3）
• num_workers: 数据加载器使用的工作者数量

可选地，在初始化后，我们还可以通过调用 model.load() 加载预训练模型。

随后，调用模型类对象的 train() 方法即可启动训练过程。

此外，也可以通过终端直接运行 main_monodepth_pytorch.py，并以 argparse 参数的形式传递相应配置来启动训练。

训练结果与预训练模型

动图中展示的结果是使用 ResNet18 作为编码器的模型生成的，该模型可从 这里 下载。

用于训练的参数如下：

`model`: 'resnet18_md'
`epochs`: 200,
`learning_rate`: 1e-4,
`batch_size`: 8,
`adjust_lr`: True,
`do_augmentation`: True

所提供的模型是在整个数据集上训练得到的，但排除了以下用于留出验证的子集：

2011_09_26_drive_0002_sync  2011_09_29_drive_0071_sync
2011_09_26_drive_0014_sync  2011_09_30_drive_0033_sync
2011_09_26_drive_0020_sync  2011_10_03_drive_0042_sync
2011_09_26_drive_0079_sync

演示动图是对 2011_09_26_drive_0014_sync 子集预测结果的可视化展示。

更多训练细节请参阅 Monodepth 笔记本。

测试

测试示例同样可在 Monodepth 笔记本中找到。

main_monodepth_pytorch.py 中的模型类需使用以下参数（以 easydict 形式）初始化后方可开始测试：

• data_dir: 数据集文件夹路径
• model_path: 训练好的模型保存路径
• pretrained:
• output_directory: 测试图像的深度图保存路径
• input_height
• input_width
• model: 编码器模型（resnet18 或 resnet50）
• mode: 训练或测试模式
• input_channels: 输入张量的通道数（RGB 图像为 3）
• num_workers: 数据加载器使用的工作者数量

随后，调用模型类对象的 test() 方法即可开始测试过程。

此外，也可以通过终端运行 main_monodepth_pytorch.py，并以 argparse 参数的形式传递相应配置来启动测试。

要求

本代码已在 PyTorch 0.4.1、CUDA 9.1 和 Ubuntu 16.04 环境下测试通过。其他所需模块包括：

torchvision
numpy
matplotlib
easydict

MonoDepth-PyTorch 快速上手指南

MonoDepth-PyTorch 是一个基于 PyTorch 实现的单目深度估计算法。该项目旨在提供比原版更轻量且精度更高的模型，支持 ResNet18 和 ResNet50 作为编码器，并引入了批归一化（Batch Normalization）以提升训练稳定性。

环境准备

本代码已在 Ubuntu 16.04、CUDA 9.1 和 PyTorch 0.4.1 环境下测试通过。请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU 驱动: 支持 CUDA 9.1 或更高版本
• Python 依赖:
  • PyTorch (0.4.1+)
  • torchvision
  • numpy
  • matplotlib
  • easydict

提示：国内用户建议使用清华源或阿里源加速 PyTorch 及相关库的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/mrharicot/monodepth.git
   cd monodepth
   

   (注：如果这是 PyTorch 移植版仓库，请替换为对应的仓库地址)

2. 安装依赖 推荐使用国内镜像源安装 Python 依赖包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果项目中没有 requirements.txt，请手动安装核心依赖：

   pip install torch torchvision numpy matplotlib easydict -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据集 (KITTI) 该算法训练需要立体图像对，测试仅需单张图片。以 KITTI 数据集为例：

   下载原始数据（约 175 GB）：

   wget -i kitti_archives_to_download.txt -P ~/my/output/folder/
   

   目录结构要求： 确保数据文件夹结构如下，训练时需将包含 kitti 的父目录路径传递给 data_dir 参数：

   data
   ├── kitti
   │   ├── 2011_09_26_drive_0001_sync
   │   │   ├── image_02
   │   │   │   └─ data
   │   │   │       ├── 0000000000.png
   │   │   │       └── ...
   │   │   ├── image_03
   │   │       └── data
   │   │           ├── 0000000000.png
   │   │           └── ...
   ├── models
   ├── output
   └── test
       └── left
           ├── test_1.jpg
           └── ...
   

基本使用

您可以通过 Python 代码或命令行两种方式运行模型。

方式一：使用 Python 代码 (推荐)

您可以参考项目中的 Monodepth.ipynb Notebook，或通过以下脚本逻辑初始化和运行模型。

1. 初始化参数 使用 easydict 配置运行参数：

from easydict import EasyDict as edict
from main_monodepth_pytorch import Model

params = edict(
    data_dir='/path/to/data',              # 数据集文件夹路径
    val_data_dir='/path/to/val_data',      # 验证集路径 (训练时必需)
    model_path='/path/to/save/model',      # 模型保存路径
    output_directory='/path/to/output',    # 输出视差图的路径
    input_height=256,
    input_width=512,
    model='resnet18_md',                   # 编码器类型: resnet18_md, resnet50_md 或 torchvision 版本
    pretrained=False,                      # 是否使用 torchvision 预训练权重
    mode='train',                          # 模式: 'train' 或 'test'
    epochs=200,
    learning_rate=1e-4,
    batch_size=8,
    adjust_lr=True,                        # 是否应用学习率衰减
    tensor_type='torch.cuda.FloatTensor',  # 根据是否有 GPU 选择
    do_augmentation=True,                  # 是否进行数据增强
    augment_parameters=[0.8, 1.2, 0.5, 1.5, 0.8, 1.2], # gamma, lightness, color 范围
    print_images=False,
    print_weights=False,
    input_channels=3,
    num_workers=4
)

# 初始化模型
model = Model(params)

# 可选：加载预训练模型
# model.load('/path/to/pretrained_weights')

2. 开始训练或测试

• 训练:

  model.train()
  

• 测试: 将 mode 设为 'test' 并重新初始化（或直接调用），然后执行：

  model.test()
  

方式二：命令行运行

您也可以直接通过终端运行 main_monodepth_pytorch.py 并传入参数：

训练示例:

python main_monodepth_pytorch.py \
    --data_dir /path/to/data \
    --model_path ./models \
    --model resnet18_md \
    --mode train \
    --epochs 200 \
    --batch_size 8

测试示例:

python main_monodepth_pytorch.py \
    --data_dir /path/to/test/images \
    --model_path ./models/pretrained_model \
    --model resnet18 \
    --mode test \
    --output_directory ./output

预训练模型: 项目提供基于 resnet18 编码器的预训练模型，可在相关链接下载后通过 model_path 指定进行推理。