SqueezeSeg：基于循环条件随机场的卷积神经网络，用于从3D激光雷达点云中实时分割道路目标

作者：Bichen Wu、Alvin Wan、Xiangyu Yue、Kurt Keutzer（加州大学伯克利分校）

本仓库包含SqueezeSeg的TensorFlow实现，这是一种用于激光雷达分割的卷积神经网络模型。SqueezeSeg的演示效果如下：

有关这项工作的高层次介绍，请参阅我们的视频：https://youtu.be/Xyn5Zd3lm6s。更多详细信息请参考我们的论文：https://arxiv.org/abs/1710.07368。如果您认为这项工作对您的研究有帮助，请考虑引用以下文献：

@article{wu2017squeezeseg,
    title={Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud},
    author={Wu, Bichen and Wan, Alvin and Yue, Xiangyu and Keutzer, Kurt},
    journal={ICRA},
    year={2018}
}
@inproceedings{wu2018squeezesegv2,
    title={SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud},
    author={Wu, Bichen and Zhou, Xuanyu and Zhao, Sicheng and Yue, Xiangyu and Keutzer, Kurt},
    booktitle={ICRA},
    year={2019},
}
@inproceedings{yue2018lidar,
    title={A lidar point cloud generator: from a virtual world to autonomous driving},
    author={Yue, Xiangyu and Wu, Bichen and Seshia, Sanjit A and Keutzer, Kurt and Sangiovanni-Vincentelli, Alberto L},
    booktitle={ICMR},
    pages={458--464},
    year={2018},
    organization={ACM}
}

我们最近开源了SqueezeSegV2的代码，这是SqueezeSeg的后续工作，性能有了显著提升。详情请访问：https://github.com/xuanyuzhou98/SqueezeSegV2

许可证

SqueezeSeg 采用BSD许可证发布（详情请参阅 LICENSE）。用于训练、评估和演示SqueezeSeg的数据集是由KITTI原始数据集修改而来。为方便起见，我们提供了转换后数据集的下载链接，该数据集以知识共享署名-非商业性使用-相同方式共享3.0许可进行分发。

安装：

以下说明已在Ubuntu 16.04系统上测试通过，使用的Python版本为2.7，TensorFlow版本为1.0，并支持GPU加速。

• 克隆SqueezeSeg仓库：

  git clone https://github.com/BichenWuUCB/SqueezeSeg.git
  

  我们将根目录命名为 $SQSG_ROOT。

• 设置虚拟环境：

  1. 默认使用Python 2.7。创建虚拟环境

     virtualenv env
     

  2. 激活虚拟环境

     source env/bin/activate
     

• 使用pip安装所需的Python包：

  pip install -r requirements.txt
  

演示：

• 运行演示脚本：

  cd $SQSG_ROOT/
  python ./src/demo.py
  

  如果安装正确，检测器会将检测结果以及2D标签图保存到 $SQSG_ROOT/data/samples_out 目录下。以下是输出标签图与投影后的激光雷达信号叠加的示例。绿色掩码表示对应于汽车的聚类，蓝色掩码表示骑自行车的人。

  

训练/验证

• 首先，从该链接下载训练和验证数据（3.9 GB）。该数据集包含投影到2D球面的激光雷达点云。有关数据转换过程的详细信息，请参阅我们的论文。该数据集由KITTI原始数据集转换而来，并以知识共享署名-非商业性使用-相同方式共享3.0许可进行分发。

  cd $SQSG_ROOT/data/
  wget https://www.dropbox.com/s/pnzgcitvppmwfuf/lidar_2d.tgz
  tar -xzvf lidar_2d.tgz
  rm lidar_2d.tgz
  

• 现在我们可以开始训练：

  cd $SQSG_ROOT/
  ./scripts/train.sh -gpu 0 -image_set train -log_dir ./log/
  

  训练日志和模型检查点将保存在日志目录中。

• 我们可以同时启动评估脚本：

  cd $SQSG_ROOT/
  ./scripts/eval.sh -gpu 1 -image_set val -log_dir ./log/
  

• 我们可以使用TensorBoard监控训练过程。

  tensorboard --logdir=$SQSG_ROOT/log/
  

  TensorBoard会显示训练损失、评估准确率以及训练过程中检测结果的可视化等信息，这些信息对于调试和调优模型非常有帮助，如下所示：

SqueezeSeg 快速上手指南

SqueezeSeg 是一个基于卷积神经网络（CNN）和循环条件随机场（CRF）的模型，专为从 3D LiDAR 点云中进行实时道路物体分割而设计。本指南将帮助开发者快速在本地部署并运行该模型。

环境准备

本项目已在以下环境中测试通过，建议优先匹配该配置以确保兼容性：

• 操作系统: Ubuntu 16.04
• Python 版本: 2.7
• 深度学习框架: TensorFlow 1.0 (需支持 GPU)
• 硬件要求: 支持 CUDA 的 NVIDIA GPU

注意：由于项目依赖较旧的 Python 2.7 和 TensorFlow 1.0，建议在虚拟环境中运行以避免污染系统环境。国内用户若遇到 pip 下载慢的问题，可临时切换至清华或阿里镜像源。

安装步骤

1. 克隆代码仓库

首先将项目克隆到本地，并定义根目录环境变量（后续步骤需用到）。

git clone https://github.com/BichenWuUCB/SqueezeSeg.git
export SQSG_ROOT=$(pwd)/SqueezeSeg

2. 创建并激活虚拟环境

使用 virtualenv 创建独立的 Python 2.7 环境。

cd $SQSG_ROOT
virtualenv env
source env/bin/activate

3. 安装依赖包

安装项目所需的 Python 库。国内用户推荐使用国内镜像加速安装：

# 默认安装
pip install -r requirements.txt

# 或使用国内镜像加速（推荐）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

运行演示脚本 (Demo)

安装完成后，可直接运行演示脚本来测试模型效果。该脚本会读取示例数据，生成检测结果及 2D 标签图。

cd $SQSG_ROOT
python ./src/demo.py

输出说明：

• 结果将保存至 $SQSG_ROOT/data/samples_out 目录。
• 输出的标签图中，绿色掩膜代表汽车（Cars），蓝色掩膜代表骑行者（Cyclists）。

（可选）下载数据集进行训练

若需重新训练或验证模型，需先下载处理好的 KITTI 数据集（约 3.9 GB，已投影至 2D 球面）。

cd $SQSG_ROOT/data/
wget https://www.dropbox.com/s/pnzgcitvppmwfuf/lidar_2d.tgz
tar -xzvf lidar_2d.tgz
rm lidar_2d.tgz

下载完成后，可使用以下命令启动训练（需指定 GPU 编号）：

cd $SQSG_ROOT
./scripts/train.sh -gpu 0 -image_set train -log_dir ./log/

训练过程中可使用 TensorBoard 监控损失和准确率：

tensorboard --logdir=$SQSG_ROOT/log/