LSD 目前支持多项功能：

• 支持多种激光雷达、摄像头、雷达以及惯性导航系统/惯性测量单元传感器。
• 提供针对激光雷达、摄像头等设备的人性化标定工具。
• 支持软件时间同步、数据记录与回放功能。
• 支持基于体素3D-CNN的点云目标检测、跟踪与预测。
• 支持基于FastLIO的前端里程计及基于G2O的姿态图优化。
• 提供基于Web的交互式地图修正工具（编辑器）。
• 支持与ROS的通信。

概述

• 快速演示
• 架构
• 建图与定位
• 目标检测与跟踪

更改日志

[2024-12-21] 激光雷达建图（LIO里程计和PGO）进一步优化。

• LIO里程计：为FASTLIO增加了退化检测和轮速观测功能。
• PGO后端：新增GNSS异常值检测和外参估计功能。
• 地图管理：支持多地图自动合并。
• 其他：通过多目相机对点云进行着色，生成稠密地图，并提供点云到BEV视图的转换工具（位于tools/postprocessing目录下）。
• BUG修复：解决了跨投影带时的UTM投影问题，并考虑了UTM网格覆盖范围。

[2023-10-08] 改进了3DMOT算法（GIOU、两阶段关联）。

性能指标（WOD验证集）	AMOTA ↑	AMOTP ↓	IDs(%) ↓
AB3DMOT	47.84	0.2584	0.67
GIOU + 两阶段	54.79	0.2492	0.19

[2023-07-06] 新增了一个实时运行的检测模型（CenterPoint-VoxelNet，帧率超过30FPS）。

性能指标（WOD验证集）	Vec_L1	Vec_L2	Ped_L1	Ped_L2	Cyc_L1	Cyc_L2
PointPillar	73.71/73.12	65.71/65.17	71.70/60.90	63.52/53.78	65.30/63.77	63.12/61.64
CenterPoint-VoxelNet（单帧）	74.75/74.24	66.09/65.63	77.66/71.54	68.57/63.02	72.03/70.93	69.63/68.57
CenterPoint-VoxelNet（4帧）	77.55/77.03	69.65/69.17	80.72/77.80	72.91/70.15	72.63/71.72	70.55/69.67

注：CenterPoint-VoxelNet基于libspconv构建，需要配备SM80及以上版本的GPU。

[2023-06-01] Web UI（预览、tviz和地图编辑器的JS代码）已上传。

基本环境

Ubuntu20.04, Python3.8, Eigen 3.3.7, Ceres 1.14.0, Protobuf 3.8.0, NLOPT 2.4.2, G2O, OpenCV 4.5.5, PCL 1.9.1, GTSAM 4.0

快速入门

首先需要安装NVIDIA Container Toolkit 安装指南。

我们提供了一个x86_64架构的Docker镜像用于测试。

sudo docker pull 15liangwang/lsd-cuda118 # 如果没有GPU，可使用 sudo docker pull 15liangwang/lsd-cpu
sudo docker run --gpus all -it -d --net=host --privileged --shm-size=4g --name="LSD" -v /media:/root/exchange 15liangwang/lsd-cuda118
sudo docker exec -it LSD /bin/bash

克隆本仓库并编译源代码

cd /home/znqc/work/
git clone https://github.com/w111liang222/lidar-slam-detection.git
cd lidar-slam-detection/
unzip slam/data/ORBvoc.zip -d slam/data/
python setup.py install
bash sensor_inference/pytorch_model/export/generate_trt.sh

运行LSD

tools/scripts/start_system.sh

在浏览器中打开http://localhost（或http://localhost:1234），例如Chrome，您将看到如下界面。

示例数据

下载演示数据 Google Drive | 百度网盘（密码sk5h） 并解压。（其他数据集可在百度网盘，提取码：36ly找到）

unzip demo_data.zip -d /home/znqc/work/
tools/scripts/start_system.sh # 重新运行LSD

更多用法请参阅使用指南。

ROS

LSD并未基于机器人操作系统（ROS）构建，但我们提供了一些工具来实现与ROS的通信。

• rosbag转pickle：将rosbag文件转换为pickle格式，以便LSD读取和运行。
• pickle转rosbag：方便地将LSD录制的pickle文件转换为rosbag文件。
• rosbag代理：用于将ROS话题数据发送至LSD的工具。

许可证

LSD采用Apache 2.0许可证发布。

致谢

在LSD的开发过程中，我们借鉴了以下开源项目：

• lidar_align：一种简单的方法，用于确定3D激光雷达与6自由度姿态传感器之间的外参标定。
• lidar_imu_calib：用于自动校准3D激光雷达与IMU的外参。
• OpenPCDet：基于激光雷达的3D目标检测开源工具箱。
• AB3DMOT：3D多目标跟踪：基准方法及新的评估指标。
• FAST-LIO：高效且鲁棒的激光雷达-惯性里程计软件包。
• R3LIVE：一款鲁棒、实时、带有RGB颜色信息的激光雷达-惯性-视觉紧耦合状态估计与建图软件包。
• FLOAM：适用于室内外定位的快速优化激光雷达里程计与建图系统。
• hdl_graph_slam：一个基于3D激光雷达的开源ROS实时6DOF SLAM软件包。
• hdl_localization：利用（Velodyne）3D激光雷达进行实时3D定位。
• ORB_SLAM2：适用于单目、双目及RGB-D相机的实时SLAM系统，具备回环检测与重定位能力。
• scancontext：用于场景识别和长期定位的全局激光雷达描述子。

引用

如果您在研究中使用了本项目，请考虑引用并给本项目点赞：

@misc{LiDAR-SLAM-Detection,
    title={LiDAR SLAM & Detection: an open source perception architecture for autonomous vehicle and robotics},
    author={LiangWang},
    howpublished = {\url{https://github.com/w111liang222/lidar-slam-detection}},
    year={2023}
}

联系方式

LiangWang 15lwang@alumni.tongji.edu.cn

# 如果有 GPU (推荐)
sudo docker pull 15liangwang/lsd-cuda118
sudo docker run --gpus all -it -d --net=host --privileged --shm-size=4g --name="LSD" -v /media:/root/exchange 15liangwang/lsd-cuda118

# 如果没有 GPU
# sudo docker pull 15liangwang/lsd-cpu
# sudo docker run -it -d --net=host --privileged --shm-size=4g --name="LSD" -v /media:/root/exchange 15liangwang/lsd-cpu

sudo docker exec -it LSD /bin/bash

cd /home/znqc/work/
git clone https://github.com/w111liang222/lidar-slam-detection.git
cd lidar-slam-detection/

# 解压 ORB-SLAM 词袋文件
unzip slam/data/ORBvoc.zip -d slam/data/

# 安装 Python 依赖
python setup.py install

# 生成 TensorRT 推理引擎 (首次运行需要，耗时较长)
bash sensor_inference/pytorch_model/export/generate_trt.sh

tools/scripts/start_system.sh

# 解压数据
unzip demo_data.zip -d /home/znqc/work/

# 重新运行启动脚本加载数据
tools/scripts/start_system.sh