伪LiDAR++：用于自动驾驶中3D目标检测的精确深度

本文已被2020年国际学习表征会议（ICLR）接收。

Pseudo-LiDAR++: 用于自动驾驶中3D目标检测的精确深度

作者：Yurong You*、Yan Wang*、Wei-Lun Chao*、Divyansh Garg、Bharath Hariharan、Mark Campbell 和 Kilian Q. Weinberger

引用

@inproceedings{you2020pseudo,
  title={Pseudo-LiDAR++: 用于自动驾驶中3D目标检测的精确深度},
  author={You, Yurong and Wang, Yan and Chao, Wei-Lun and Garg, Divyansh and Pleiss, Geoff and Hariharan, Bharath and Campbell, Mark and Weinberger, Kilian Q},
  booktitle={ICLR},
  year={2020}
}

摘要

在自动驾驶中，对车辆和行人等物体进行3D检测起着不可或缺的作用。现有的方法大多依赖昂贵的LiDAR传感器来获取精确的深度信息。虽然最近提出的伪LiDAR作为一种有前景的替代方案，仅基于立体图像即可实现，成本也低得多，但其性能仍存在显著差距。本文通过改进立体深度估计技术，对伪LiDAR框架进行了重大提升。具体而言，我们调整了立体网络架构和损失函数，使其更符合远距离物体的精确深度估计——这正是当前伪LiDAR的主要弱点。此外，我们还探索了利用廉价但极其稀疏的LiDAR传感器来辅助深度估计的想法。这些传感器单独使用时无法提供足够的3D检测信息，但我们提出了一种基于初始深度估计的深度传播算法，将这些少量精确测量值扩散到整个深度图上。我们在KITTI目标检测基准测试中表明，我们的综合方法显著提升了深度估计和基于立体视觉的3D目标检测性能，其中远距离物体的检测精度比现有最先进水平提高了40%。

目录

• 要求
• 预训练模型
• 训练与推理

要求

1. Python 3.7
2. PyTorch 1.0.0
3. CUDA
4. pip install -r ./requirements.txt
5. SceneFlow
6. KITTI

预训练模型

• 在SceneFlow数据集上训练得到的模型 sdn_sceneflow.pth。
• 在KITTI目标检测训练集上训练得到的模型 sdn_kitti_object.pth。
• 在KITTI目标检测训练+验证集上训练得到的模型 sdn_kitti_object_trainval.pth。

数据集

您需要下载SceneFlow和KITTI数据集。数据集的结构如下所示。

SceneFlow数据集结构

SceneFlow
    | monkaa
        | frames_cleanpass
        | disparity
    | driving
        | frames_cleanpass
        | disparity
    | flyingthings3d
        | frames_cleanpass 
        | disparity

KITTI目标检测数据集结构

KITTI
    | training
        | calib
        | image_2
        | image_3
        | velodyne
    | testing
        | calib
        | image_2
        | image_3

生成SceneFlow数据集的软链接。结果将保存在./sceneflow文件夹中。请在运行脚本前将假路径path-to-SceneFlow替换为SceneFlow数据集的实际位置。

python scneflow.py --path path-to-SceneFlow --force

将KITTI的velodyne地面真值转换为深度图。请在运行脚本前将假路径path-to-KITTI替换为KITTI数据集的实际位置。

python ./src/preprocess/generate_depth_map.py --data_path path-to-KITTI/ --split_file ./split/trainval.txt

训练与推理

• 1 在 SceneFlow 数据集上从头训练 SDNet
• 2 在 KITTI 数据集上训练 SDNet
• 3 生成预测结果
• 4 将预测结果转换为伪 LiDAR 和平面信息
• 5 对伪 LiDAR 进行稀疏化
• 6 基于图的深度校正
• 7 使用伪 LiDAR 训练 3D 目标检测模型

我们提供了所有预训练模型 预训练模型。如果您只想生成预测结果，可以直接跳到步骤 3。

默认设置需要四张 GPU 来进行训练。如果您没有足够的 GPU，可以使用较小的批量大小 btrain 和 bval。

1 在 SceneFlow 数据集上从头训练 SDNet

python ./src/main.py -c src/configs/sdn_sceneflow.config

检查点将保存在 ./results/sdn_sceneflow/ 目录下。

2 在 KITTI 数据集上训练 SDNet

python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --pretrain ./results/sdn_sceneflow/checkpoint.pth.tar --dataset path-to-KITTI/training/

在运行之前，请将假路径 path-to-KITTI/ 替换为正确的路径。--pretrain 是 SceneFlow 数据集上预训练模型的路径。训练结果将保存在 ./results/sdn_kitti_train_set 目录下。

如果您打算在 KITTI 测试集上评估 SDNet，建议您在 训练+验证 数据集上进行训练。训练结果将保存在 ./results/sdn_kitti_trainval_set 目录下。

python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --pretrain ./results/sdn_sceneflow/checkpoint.pth.tar \
    --dataset path-to-KITTI/training/ --split_train ./split/trainval.txt \
    --save_path ./results/sdn_kitti_trainval_set

3 生成预测结果

请将假路径 path-to-KITTI 替换为实际路径。此外，如果您使用我们提供的检查点，请将 --resume 的值修改为该检查点的路径。

• a. 使用在 KITTI 训练集上训练的模型，并在训练+验证集上生成预测结果。

python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --resume ./results/sdn_kitti_train_set/checkpoint.pth.tar --datapath path-to-KITTI/training/ \
    --data_list ./split/trainval.txt --generate_depth_map --data_tag trainval

结果将保存在 ./results/sdn_kitti_train_set/depth_maps_trainval/ 目录下。

• b. 使用在 KITTI 训练+验证集上训练的模型，在训练+验证和测试集上生成预测结果。这些结果将在您提交成绩到排行榜时使用。

# 训练+验证集
python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --resume ./results/sdn_kitti_trainval_set/checkpoint.pth.tar --datapath path-to-KITTI/training/ \
    --data_list=./split/trainval.txt --generate_depth_map --data_tag trainval

结果将保存在 ./results/sdn_kitti_trainval_set/depth_maps_trainval/ 目录下。

# 测试集
python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --resume ./results/sdn_kitti_trainval_set/checkpoint.pth.tar --datapath path-to-KITTI/testing/ \
    --data_list=./split/test.txt --generate_depth_map --data_tag test

结果将保存在 ./results/sdn_kitti_trainval_set/depth_maps_test/ 目录下。

4 将预测结果转换为伪 LiDAR 和平面信息

以下提供一个示例。您需要相应地更改路径。在这个示例中，脚本会从 calib_dir 加载标定参数，并从 depth_dir 加载深度图。结果将保存在 save_dir 目录下。

# 将深度图转换为伪 LiDAR 点云
python ./src/preprocess/generate_lidar_from_depth.py --calib_dir path-to-KITTI/training/calib \
    --depth_dir ./results/sdn_kitti_train_set/depth_maps/trainval/  \
    --save_dir ./results/sdn_kitti_train_set/pseudo_lidar_trainval/

# 预测地面平面
python ./src/preprocess/kitti_process_RANSAC.py --calib_dir path-to-KITTI/training/calib \
    --lidar_dir ./results/sdn_kitti_train_set/pseudo_lidar_trainval/  \
    --planes_dir ./results/sdn_kitti_train_set/pseudo_lidar_trainval_planes/

5 对伪 LiDAR 进行稀疏化

一些 3D 目标检测模型，例如 PointRCNN，需要稀疏点云。我们提供了一个脚本来对稠密的伪 LiDAR 点云进行下采样。

# 对伪 LiDAR 进行稀疏化
python ./src/preprocess/kitti_sparsify.py --pl_path ./results/sdn_kitti_train_set/pseudo_lidar_trainval/  \
    --sparse_pl_path ./results/sdn_kitti_train_set/pseudo_lidar_trainval_sparse/

6 基于图的深度校正

请查看代码以及 ./gdc 中的 README.md，以获取更多详细信息。

7 使用伪 LiDAR 训练 3D 目标检测模型

请参阅伪 LiDAR 仓库以获取更多详情：https://github.com/mileyan/pseudo_lidar。

结果

我们已上传仅在 KITTI 训练集（未使用验证数据）上训练的伪 LiDAR 点云。您可以从 Google Drive 下载：

• sdn_kitti_train_set：在 KITTI 训练集上训练的 SDNet 模型生成的点云
• sdn_kitti_train_set_sparse：在 KITTI 训练集上训练的 SDNet 模型生成的稀疏点云
• sdn_kitti_train_set_planes：在 KITTI 训练集上训练的 SDNet 模型生成的平面信息
• sdn_kitti_train_val_set：在 KITTI 训练+验证集上训练的 SDNet 模型生成的点云
• sdn_kitti_train_val_set_sparse：在 KITTI 训练+验证集上训练的 SDNet 模型生成的稀疏点云
• sdn_kitti_train_val_set_planes：在 KITTI 训练+验证集上训练的 SDNet 模型生成的平面信息

问题

如果您有任何问题，请随时发送邮件给我们。

Yan Wang yw763@cornell.edu
Yurong You yy785@cornell.edu
Wei-Lun Chao weilunchao760414@gmail.com

Pseudo-LiDAR++ 快速上手指南

Pseudo-LiDAR++ 是一种基于立体图像生成高精度深度图，进而转换为伪激光雷达点云的技术，旨在以低成本实现自动驾驶中的 3D 物体检测。本指南将帮助您快速搭建环境并运行预训练模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.7
• 深度学习框架: PyTorch 1.0.0
• GPU: 支持 CUDA 的 NVIDIA 显卡（默认训练配置需要 4 张 GPU，推理可单卡）
• 数据集:
  • SceneFlow (用于预训练)
  • KITTI 3D Object Detection (用于微调与测试)

提示: 国内用户下载数据集较慢时，可尝试寻找高校镜像站或使用代理加速。

安装步骤

1. 克隆代码库

   git clone https://github.com/mileyan/Pseudo_Lidar_V2.git
   cd Pseudo_Lidar_V2
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   注意: 由于项目基于较旧的 PyTorch 1.0.0，若您的环境较新，可能需要手动调整 requirements.txt 或创建独立的 Python 3.7 虚拟环境以避免兼容性问题。

3. 准备数据集目录结构 请下载 SceneFlow 和 KITTI 数据集，并按照以下结构组织（路径可根据实际情况调整）：

   SceneFlow 结构:

   SceneFlow
       | monkaa/driving/flyingthings3d
           | frames_cleanpass
           | disparity
   

   KITTI 结构:

   KITTI
       | training
           | calib, image_2, image_3, velodyne
       | testing
           | calib, image_2, image_3
   

4. 数据预处理 生成数据集的软链接并将 KITTI 的激光雷达真值转换为深度图。请将命令中的 path-to-... 替换为您本地的实际路径。

   # 生成 SceneFlow 软链接
   python scneflow.py --path path-to-SceneFlow --force
   
   # 转换 KITTI Velodyne 真值为深度图
   python ./src/preprocess/generate_depth_map.py --data_path path-to-KITTI/ --split_file ./split/trainval.txt
   

基本使用

如果您仅想体验效果或进行推理，可以直接下载预训练模型并生成预测结果，无需从头训练。

1. 下载预训练模型

从 Google Drive 下载在 KITTI 训练集上微调过的模型 (sdn_kitti_object.pth)，并将其放置于项目目录或指定路径。

• 下载地址: sdn_kitti_object.pth

2. 生成立体深度图 (Depth Maps)

使用预训练模型对 KITTI 数据集进行推理，生成深度图。请修改 --resume 为模型实际路径，--datapath 为数据集路径。

python ./src/main.py -c src/configs/sdn_kitti_train.config \
    --resume ./results/sdn_kitti_train_set/checkpoint.pth.tar \
    --datapath path-to-KITTI/training/ \
    --data_list ./split/trainval.txt \
    --generate_depth_map --data_tag trainval

输出结果将保存在: ./results/sdn_kitti_train_set/depth_maps_trainval/

3. 转换为伪激光雷达点云 (Pseudo-LiDAR)

将生成的深度图结合相机标定文件，转换为点云格式。

python ./src/preprocess/generate_lidar_from_depth.py \
    --calib_dir path-to-KITTI/training/calib \
    --depth_dir ./results/sdn_kitti_train_set/depth_maps_trainval/ \
    --save_dir ./results/sdn_kitti_train_set/pseudo_lidar_trainval/

4. (可选) 稀疏化点云

如果您计划使用如 PointRCNN 等需要稀疏点云的 3D 检测器，可执行以下步骤进行下采样：

python ./src/preprocess/kitti_sparsify.py \
    --pl_path ./results/sdn_kitti_train_set/pseudo_lidar_trainval/ \
    --sparse_pl_path ./results/sdn_kitti_train_set/pseudo_lidar_trainval_sparse/

完成上述步骤后，您即可在 save_dir 或 sparse_pl_path 中获得用于后续 3D 检测任务的伪激光雷达点云数据。