LMNet：3D LiDAR 数据中的运动目标分割

本仓库包含我们论文《3D LiDAR 数据中的运动目标分割：一种利用序列数据的基于学习的方法》PDF 的代码。

我们的方法能够准确地将场景分割为运动对象和静止对象，即区分行驶中的车辆与停放的车辆。这项任务也被称为 3D 运动检测或分割。 我们的方法运行速度超过传感器的帧率，可用于改善基于 3D LiDAR 的里程计/SLAM 和建图结果，如 下方 所示。

此外，我们基于 SemanticKITTI 创建了一个新的 LiDAR 运动目标分割基准测试 这里。

完整的演示视频可在 YouTube 上 这里 观看。LiDAR-MOS 实际应用效果：

目录

1. 仓库与基准介绍
2. 发表论文
3. 日志
4. 依赖项
5. 使用方法
6. 应用
7. 下载集合
8. 许可证

发表论文

如果您在学术工作中使用了我们的代码和基准测试，请引用相应的 论文：

@article{chen2021ral,
	title={{3D LiDAR 数据中的运动目标分割：一种利用序列数据的基于学习的方法}},
	author={X. Chen and S. Li and B. Mersch and L. Wiesmann and J. Gall and J. Behley and C. Stachniss},
	year={2021},
	volume=6,
	issue=4,
	pages={6529-6536},
	journal={IEEE Robotics and Automation Letters (RA-L)},
	url = {http://www.ipb.uni-bonn.de/pdfs/chen2021ral-iros.pdf},
	doi = {10.1109/LRA.2021.3093567},
	issn = {2377-3766},
}

日志

新闻 20220907

旧的 Codalab 服务器已停止服务。

请使用新链接 这里 提交您的结果到基准测试。 您仍然可以在 这里 查找旧的结果。

新闻 20220706

我们的 MotionSeg3D 已开源 这里。

它采用双分支双头结构，融合时空信息进行 LiDAR 运动目标分割。

新闻 20220615

我们的 4DMOS 已开源 这里。

它利用稀疏 CNN 处理 4D 点云，用于 LiDAR 运动目标分割。

v1.1

感谢 Jiadai Sun 对 SalsaNext-MOS 的测试及部分 bug 的修复。

更多设置也可参见 #47。

v1.0

开源版本

参考依赖

我们基于 SalsaNext、RangeNet++ 和 MINet 构建并测试了我们的工作。 我们感谢原作者们的优秀工作和实现。如果您对快速的 LiDAR 语义分割感兴趣，强烈建议您查看这些原始仓库。

请注意，在本仓库中，我们展示了如何利用现有分割网络轻松实现基于序列信息的 LiDAR 运动目标分割。 我们并未修改原始分割网络的流程，仅按照下图所示更改了数据加载器和网络输入。 因此，我们的方法可以与任何基于范围图像的 LiDAR 分割网络配合使用。

我们的方法基于范围图像。若要使用快速 C++ 库进行范围投影，请参阅使用说明 这里。

使用方法

为了快速测试以下所有步骤，您可以下载一个玩具数据集 这里，并按照数据结构 data/README.md 解压到 data\ 文件夹中。

准备训练数据

要使用我们的方法，需要生成残差图像。以下是快速演示：

  $ python3 utils/gen_residual_images.py

有关数据准备的更多设置可在 yaml 文件 config/data_preparing.yaml 中找到。 要准备整个 KITTI 驾驶数据集的训练数据，请从 官方网站 下载。

使用 SalsaNext 作为基线

要将 SalsaNext 用作 LiDAR-MOS 的基线分割网络，应按照 mos_SalsaNext/README.md 进行设置。

请注意，我们使用的是 pytorch v1.5.1+cu101，这与原始版本有所不同。相关问题的更多信息可参见 这里。

推理

要使用预训练模型生成 LiDAR-MOS 预测结果（需先解压 下载），可在玩具数据集上进行快速测试：

  $ cd mos_SalsaNext/train/tasks/semantic
  $ python3 infer.py -d ../../../../data -m ../../../../data/model_salsanext_residual_1 -l ../../../../data/predictions_salsanext_residual_1_new -s valid

若要对整个数据集进行推理，请从 官方网站 下载 KITTI 驾驶数据集，并相应地更改路径：

  $ cd mos_SalsaNext/train/tasks/semantic
  $ python3 infer.py -d path/to/kitti/dataset -m path/to/pretrained_model -l path/to/log -s train/valid/test # 根据所需评估的划分而定

训练

要从头开始训练一个基于 SalsaNext 的 LiDAR-MOS 网络，必须下载 KITTI 驾驶数据集 和 Semantic-Kitti 数据集： 更改相应路径后运行：

  $ cd mos_SalsaNext/train/tasks/semantic
  $ ./train.sh -d path/to/kitti/dataset -a salsanext_mos.yml -l path/to/log -c 0  # 使用的 GPU 核心数

使用 RangeNet++ 作为基线

要将 RangeNet++ 用作 LiDAR-MOS 的基准分割网络，应按照 mos_RangeNet/README.md 中的说明进行设置。

推理

要对整个数据集进行推理，请从 官方网站 下载 KITTI-里程计数据集和 预训练模型，并修改相应的路径。

  $ cd mos_RangeNet/tasks/semantic
  $ python3 infer.py -d 数据集路径 -m 模型路径 -l 日志路径 -s train/valid/test # 根据需要评估的划分选择

训练

要从头开始使用 RangeNet++ 训练 LiDAR-MOS 网络，必须下载 KITTI-里程计数据集 和 Semantic-Kitti 数据集，并修改相应的路径后运行：

  $ cd mos_RangeNet/tasks/semantic
  $ python3 train.py -d 数据集路径 -ac rangenet_mos.yaml -l 日志路径

更多预训练模型和 LiDAR-MOS 预测结果可在 下载集合 中找到。

评估与可视化

如何评估

评估指标。我们称 移动（动态） 状态为 D，静态 状态为 S。

由于我们忽略了未标记和无效状态，因此在 MOD 中只有两类。

GT\预测	动态	静态
动态	TD	FS
静态	FD	TS

• $$ IoU_{MOS} = \frac{TD}{TD+FD+FS} $$

要在玩具数据集中评估 MOS 结果，只需运行：

  $ python3 utils/evaluate_mos.py -d data -p data/predictions_salsanext_residual_1_valid -s valid

要在我们的 LiDAR-MOS 基准测试 上评估 MOS 结果，请查看我们的 semantic-kitti-api 和基准测试 网站。

如何可视化预测结果

要在玩具数据集中可视化 MOS 结果，只需运行：

  $ python3 utils/visualize_mos.py -d data -p data/predictions_salsanext_residual_1_valid -s 8  # 这里我们使用特定的序列号

其中：

• sequence 是要访问的序列。
• dataset 是 KITTI 数据集的路径，其中包含序列目录。

导航：

• n 是下一帧扫描，
• b 是上一帧扫描，
• esc 或 q 退出。

应用

LiDAR-MOS 对构建一致的地图、进行未来状态预测、避免碰撞以及规划路径非常重要。它还可以改进和增强位姿估计、传感器数据配准和 SLAM。这里我们展示了 LiDAR-MOS 的两个明显应用：基于 LiDAR 的里程计/SLAM 以及 3D 建图。在此之前，我们还展示了两个简单的示例，说明如何将我们的方法与语义结合，并清理扫描数据。清理扫描数据后，我们可以获得更好的里程计/SLAM 和 3D 建图结果。

请注意，这里我们展示了两种直接使用 MOS 方法的案例，未采用任何进一步优化。

与语义结合

为了展示一种简单的方式，将我们的 LiDAR-MOS 与语义结合，我们提供了一个使用玩具数据集的快速演示：

  $ python3 utils/combine_semantics.py

它只是简单地检查移动物体是否属于可移动类别。如果不是，则重新归类为静态。

清理扫描数据

为了使用我们的 LiDAR-MOS 作为掩码来清理 LiDAR 扫描数据，我们也提供了一个在玩具数据集上的快速演示：

  $ python3 utils/scan_cleaner.py

里程计/SLAM

使用清理后的 LiDAR 扫描数据，我们发现只需将我们的 MOS 预测结果作为预处理掩码，里程计结果在 KITTI 的训练和测试数据中都有所提升，甚至略好于精心设计的全类别语义增强版 SuMa++。

我们方法的测试结果也可以在 KITTI-里程计基准测试 中找到。

建图

我们将聚合点云地图（左）直接与原始 LiDAR 扫描数据（右）进行比较，并将清理后的 LiDAR 扫描数据与应用了我们的 MOS 预测结果作为掩码的扫描数据进行对比。可以看出，地图中存在移动物体，这些物体会污染地图，在用于定位或路径规划时可能会产生不利影响。通过使用我们的 MOS 预测结果作为掩码，我们可以有效地去除这些干扰因素，得到一张干净的地图。

地图清理

对于离线地图清理，Giseop Kim 将他的 Removert 和 LiDAR-MOS 结合，取得了非常好的效果。更多信息请参见 #28。

下载集合

• LiDAR_MOS_toy_dataset （用于快速演示的玩具数据集）
• predictions_salsanext_semantic （SalsaNext 在所有序列 00-21 上的语义分割结果）
• predictions_salsanext_residual_8_sem （我们的最佳！ 使用 SalsaNext 结合 8 张残差图像及语义的 LiDAR-MOS 结果）
• model_rangenet_residual_1 （使用 RangeNet++ 并结合 1 张残差图像的预训练模型）
• model_salsanext_residual_1 （使用 SalsaNext 并结合 1 张残差图像的预训练模型）
• model_salsanext_residual_8 （使用 SalsaNext 并结合 8 张残差图像的预训练模型）

许可证

本项目是根据 MIT 许可证提供的免费软件。详细信息请参阅 LICENSE 文件。

LiDAR-MOS 快速上手指南

LiDAR-MOS 是一个基于深度学习的 3D LiDAR 动态物体分割工具，能够准确区分场景中的移动物体（如行驶的车辆）和静态物体（如停放的车辆或建筑）。该工具运行速度快于传感器帧率，可直接用于提升激光雷达里程计、SLAM 及建图效果。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python: Python 3.x
• GPU: 支持 CUDA 的 NVIDIA 显卡

前置依赖

本项目基于 SalsaNext、RangeNet++ 和 MINet 构建。核心依赖为 PyTorch。

• PyTorch 版本: 推荐使用 v1.5.1+cu101 (与原版 SalsaNext 略有不同，详见官方 Issue #24)。
• 其他库: 需安装常规深度学习及数据处理库（如 numpy, yaml, opencv-python 等），通常可通过 pip install -r requirements.txt 安装（若项目根目录存在该文件）。

注意：本方法基于距离图像（Range Images）。若需使用快速的 C++ 库进行距离投影预处理，可参考 overlap_localization 相关文档。

安装步骤

1. 克隆仓库

   git clone https://github.com/PRBonn/LiDAR-MOS.git
   cd LiDAR-MOS
   

2. 准备测试数据（可选但推荐） 为了快速验证流程，建议下载官方提供的玩具数据集（Toy Dataset）并解压至 data/ 文件夹。

   # 下载玩具数据集
   wget https://www.ipb.uni-bonn.de/html/projects/LiDAR-MOS/LiDAR_MOS_toy_dataset.zip
   
   # 解压到 data 目录（请确保目录结构符合 data/README.md 描述）
   unzip LiDAR_MOS_toy_dataset.zip -d data/
   

3. 配置基线网络 (以 SalsaNext 为例) 若使用 SalsaNext 作为基线，需进入对应子目录并按其 README.md 完成环境配置。

   cd mos_SalsaNext
   # 此处需根据 mos_SalsaNext/README.md 安装特定依赖
   

基本使用

以下演示如何使用预训练模型在玩具数据集上进行推理、评估和可视化。

1. 生成残差图像 (数据预处理)

在使用网络前，需要生成残差图像以利用序列信息。

python3 utils/gen_residual_images.py

注：完整 KITTI-Odometry 数据集的数据准备配置可在 config/data_preparing.yaml 中调整。

2. 模型推理 (Inference)

使用预训练模型对数据进行动态/静态分割预测。

cd mos_SalsaNext/train/tasks/semantic
python3 infer.py -d ../../../../data -m ../../../../data/model_salsanext_residual_1 -l ../../../../data/predictions_salsanext_residual_1_new -s valid

• -d: 数据集路径
• -m: 预训练模型路径 (需先解压下载的模型包)
• -l: 输出预测结果的路径
• -s: 评估的数据集划分 (valid/test/train)

3. 结果评估 (Evaluation)

计算移动物体分割 (MOS) 的 IoU 指标。

python3 utils/evaluate_mos.py -d data -p data/predictions_salsanext_residual_1_valid -s valid

4. 结果可视化 (Visualization)

查看分割结果的动态演示。

python3 utils/visualize_mos.py -d data -p data/predictions_salsanext_residual_1_valid -s 8

操作说明:

• n: 下一帧
• b: 上一帧
• esc 或 q: 退出

5. 进阶应用：清理点云地图

利用 MOS 预测结果作为掩码，移除点云中的动态鬼影，生成干净的静态地图。

python3 utils/scan_cleaner.py

清理后的点云可直接用于提升 SLAM 和建图精度。