LMDrive: 基于大型语言模型的闭环端到端自动驾驶

一个端到端、闭环、基于语言的自动驾驶框架，通过多模态多视角传感器数据和自然语言指令与动态环境交互。

[项目页面] [论文] [数据集(Hugging Face)] [模型库]

[数据集(OpenXlab)] [模型库(OpenXLab)]

新闻

• [02/27] LMDrive 被 CVPR 2024 接收 🎉🎉🎉
• [01/25] 我们将模型上传至 OpenXLab
• [01/23] 我们在 智东西 进行了演讲
• [01/20] 我们将数据集上传至 OpenXLab
• [12/21] 我们发布了项目官网 这里

---

邵浩、胡宇轩、王乐天、史蒂文·L·瓦斯兰德、刘宇、李宏升。

本仓库包含论文 LMDrive: 基于大型语言模型的闭环端到端自动驾驶 的代码。这项工作提出了一种新颖的、由语言引导的、端到端、闭环的自动驾驶框架。

演示视频

目录

1. 设置
2. 模型权重
3. 数据集
   1. 概述
   2. 数据生成
   3. 数据预处理
   4. 数据解析
4. 训练
   1. 视觉编码器预训练
   2. 指令微调
5. 评估
6. 引用
7. 致谢

设置

我们的项目基于三个部分构建：(1) 视觉编码器（对应仓库：timm）；(2) 视觉大语言模型（对应仓库：LAVIS）；(3) 数据采集、智能体控制器（对应仓库：InterFuser、Leaderboard、ScenarioRunner）。

安装 Anaconda

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh
source ~/.bashrc

克隆仓库并搭建环境

git clone https://github.com/opendilab/LMDrive.git
cd LMDrive
conda create -n lmdrive python=3.8
conda activate lmdrive
cd vision_encoder
pip3 install -r requirements.txt
python setup.py develop # 如果你之前已经安装过 timm，请先卸载
cd ../LAVIS
pip3 install -r requirements.txt
python setup.py develop # 如果你之前已经安装过 LAVIS，请先卸载

pip install flash-attn --no-build-isolation # 可选

下载并设置 CARLA 0.9.10.1

chmod +x setup_carla.sh
./setup_carla.sh
pip install carla

如果你在使用 Carla 时遇到问题，请先参考 Carla Issues 和 InterFuser Issues。

LMDrive 权重

如果你有兴趣在模型库中添加其他内容，请提交一个问题 :)

版本	大小	检查点	视觉编码器	LLM 基础	DS (LangAuto)	DS (LangAuto-short)
LMDrive-1.0 (LLaVA-v1.5-7B)	7B	LMDrive-llava-v1.5-7b-v1.0	R50	LLaVA-v1.5-7B	36.2	50.6
LMDrive-1.0 (Vicuna-v1.5-7B)	7B	LMDrive-vicuna-v1.5-7b-v1.0	R50	Vicuna-v1.5-7B	33.5	45.3
LMDrive-1.0 (LLaMA-7B)	7B	LMDrive-llama-7b-v1.0	R50	LLaMA-7B	31.3	42.8

DS 表示驾驶评分

数据集

我们旨在开发一种智能驾驶代理，该代理能够根据三种输入源生成驾驶动作：1) 传感器数据（多视角摄像头和 LiDAR），使代理能够生成既了解当前场景又符合场景要求的动作；2) 导航指令（例如变道、转弯），使代理能够按照自然语言指令（来自人类或导航软件）进行驾驶；以及 3) 人工提示指令，使代理能够与人类互动，并适应人类的建议和偏好（例如关注对抗性事件、处理长尾事件等）。

我们提供了一个包含约 6.4 万个数据片段的数据集，每个片段包括一条导航指令、若干条提示指令、一系列多模态多视角传感器数据以及控制信号。每个片段的时长从 2 秒到 20 秒不等。我们论文中使用的数据集可在此下载 这里。如果你想创建自己的数据集，请按照我们下面列出的步骤操作。

概述

数据是使用 CARLA 0.9.10.1 中 leaderboard/data 路径下的路线和场景文件，在 8 个 CARLA 城镇中，通过 leaderboard/team_code/auto_pilot.py 生成的。数据集以高频率（约 10Hz）采集。

在下载我们的数据集或自行采集数据后，需要按照以下方式系统地组织数据。DATASET_ROOT 是您存储数据集的根目录。

├── $DATASET_ROOT
│   └── dataset_index.txt  # 用于视觉编码器预训练
│   └── navigation_instruction_list.txt  # 用于指令微调
│   └── notice_instruction_list.json  # 用于指令微调
│   └── routes_town06_long_w7_11_28_18_28_35  # 数据文件夹
│   └── routes_town01_short_w2_11_16_08_27_10
│   └── routes_town02_short_w2_11_16_22_55_25
│   └── routes_town01_short_w2_11_16_11_44_08 
      ├── rgb_full
      ├── lidar
      └── ...

navigation_instruction_list.txt 和 notice_instruction_list.json 可以通过我们的数据解析脚本生成 脚本。

您收集的数据集中每个子文件夹应按如下结构组织：

- routes_town(town_id)_{tiny,short,long}_w(weather_id)_timestamp：对应不同的城镇和路线文件
    - routes_X：包含单条路线的数据
        - rgb_full：分辨率为 400x1200 的多视角大图，可拆分为四张图像（左、中、右、后）
        - lidar：.npy 格式的 3D 点云数据。仅包含 1/20 秒内采集的 LiDAR 点，覆盖 180 度水平视野。若需 360 度视野，则需与 lidar_odd 数据合并。
        - lidar_odd：.npy 格式的 3D 点云数据。
        - birdview：俯视分割图像，LAV 和 LBC 曾使用此类数据进行训练。
        - topdown：类似于 birdview，但由向下拍摄的摄像头捕捉。
        - 3d_bbs：不同目标的 3D 包围盒。
        - affordances：各类可供性信息。
        - actors_data：包含周围车辆及交通信号灯的位置、速度等元数据。
        - measurements：包含自车位置、速度、未来航点等元数据。
        - measurements_full：将 measurements 和 actors_data 合并。
        - measurements_all.json：将 measurements_full 中的文件合并为一个单独的文件。

$DATASET_ROOT 目录下必须包含名为 dataset_index.txt 的文件，该文件可通过我们的数据预处理脚本生成 脚本。文件应按以下格式列出训练和评估数据：

<relative_route_path_dir> <num_data_frames_in_this_dir>
routes_town06_long_w7_11_28_18_28_35/ 1062
routes_town01_short_w2_11_16_08_27_10/ 1785
routes_town01_short_w2_11_16_09_55_05/ 918
routes_town02_short_w2_11_16_22_55_25/ 134
routes_town01_short_w2_11_16_11_44_08/ 569

其中 <relative_route_path_dir> 应为相对于 $DATASET_ROOT 的相对路径。训练代码会将 $DATASET_ROOT 和 <relative_route_path_dir> 拼接起来，形成加载数据的完整路径。例如，1062 表示 routes_town06_long_w7_11_28_18_28_35/rgb_full 或 routes_town06_long_w7_11_28_18_28_35/lidar 等目录中的帧数。

数据生成

使用多个 CARLA 服务器生成数据

除了数据集外，我们还提供了所有用于生成数据的脚本，并可根据不同 CARLA 版本的需求进行修改。数据集由基于规则的专家智能体在不同天气和城镇中采集。

启动 CARLA 服务器

# 启动 4 个 CARLA 服务器：IP [localhost]，端口 [2000, 2002, 2004, 2006]。您可以根据实际情况调整 CARLA 服务器的数量，更多的服务器可以采集更多数据。如果您使用 N 个服务器采集数据，则意味着您在每条路线上采集了 N 次数据，每次的天气和交通场景都是随机的。

cd carla
CUDA_VISIBLE_DEVICES=0 ./CarlaUE4.sh --world-port=2000 -opengl &
CUDA_VISIBLE_DEVICES=1 ./CarlaUE4.sh --world-port=2002 -opengl &
CUDA_VISIBLE_DEVICES=2 ./CarlaUE4.sh --world-port=2004 -opengl &
CUDA_VISIBLE_DEVICES=3 ./CarlaUE4.sh --world-port=2006 -opengl &

Docker 设置说明请参见 此处。拉取 CARLA 0.9.10.1 的 Docker 镜像：docker pull carlasim/carla:0.9.10.1。

Docker 18：

docker run -it --rm -p 2000-2002:2000-2002 --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=0 carlasim/carla:0.9.10.1 ./CarlaUE4.sh --world-port=2000 -opengl

Docker 19：

docker run -it --rm --net=host --gpus '"device=0"' carlasim/carla:0.9.10.1 ./CarlaUE4.sh --world-port=2000 -opengl

如果 Docker 容器无法正常启动，请添加环境变量 -e SDL_AUDIODRIVER=dsp。

运行自动驾驶程序

批量采集数据的脚本生成。

cd dataset
python init_dir.py
cd ..
cd data_collection

# 您可以修改 auto_agent.yaml 中的 FPS、航点分布强度等参数...

# 如果未使用 4 个服务器，则需要使用以下 Python 脚本来调整：
python generate_bashs.py
python generate_batch_collect.py 
cd ..

运行您需要采集的城镇和路线类型的批量执行脚本。

bash data_collection/batch_run/run_route_routes_town01_long.sh
bash data_collection/batch_run/run_route_routes_town01_short.sh
...
bash data_collection/batch_run/run_route_routes_town07_tiny.sh
...
bash data_collection/batch_run/run_route_routes_town10_tiny.sh

注意： 我们的脚本在采集数据时会随机选择天气条件。

使用单个 CARLA 服务器生成数据

使用单个 CARLA 服务器，运行自动驾驶程序开始数据生成。

carla/CarlaUE4.sh --world-port=2000 -opengl
./leaderboard/scripts/run_evaluation.sh

用于数据生成的专家智能体定义在 leaderboard/team_code/auto_pilot.py 中。需要设置的不同变量在 leaderboard/scripts/run_evaluation.sh 中指定。

数据预处理

我们在 tools/data_preprocessing 中提供了一些用于预处理采集数据的 Python 脚本，其中部分为可选步骤。请按照以下顺序执行：

1. python get_list_file.py $DATASET_ROOT：生成 dataset_list.txt。
2. python batch_merge_data.py $DATASET_ROOT：将分散的多个数据文件合并为一个文件，以减少训练时的 IO 时间。[可选]
3. python batch_rm_rgb_data.py $DATASET_ROOT：在将数据合并到新文件后，删除冗余文件。[可选]
4. python batch_stat_blocked_data.py $DATASET_ROOT：查找自车长时间被阻挡的帧。移除这些帧可以改善数据分布并减小整体数据量。
5. python batch_rm_blocked_data.py $DATASET_ROOT：删除被阻挡的帧。
6. python batch_recollect_data.py $DATASET_ROOT：由于我们已移除部分帧，需要重新整理数据，以确保帧 ID 连续。
7. python batch_merge_measurements.py $DATASET_ROOT：将单个路线文件夹中所有帧的测量文件合并，以减少 IO 时间。

数据解析

在完成数据采集和预处理后，我们需要使用 tools/data_parsing 中的一些 Python 脚本来解析导航指令和提示指令数据。

解析导航指令的脚本：

python3 parse_instruction.py $DATSET_ROOT

解析后的导航片段将保存在数据集根目录下的 $DATSET_ROOT/navigation_instruction_list.txt 中。

解析提示指令的脚本：

python3 parse_notice.py $DATSET_ROOT

解析后的提示片段将保存在 $DATSET_ROOT/notice_instruction_list.txt 中。

解析误导性指令的脚本：

python3 parse_misleading.py $DATSET_ROOT

解析后的误导性片段将保存在 $DATSET_ROOT/misleading_data.txt 中。

训练

LMDrive 的训练分为两个阶段：1) 视觉编码器预训练阶段，用于从传感器输入中生成视觉 token；2) 指令微调阶段，用于对齐指令/视觉信息与控制信号。

LMDrive 使用 8 张 80GB 显存的 A100 GPU 进行训练（第一阶段也可在 32GB 显存的 GPU 上进行）。若使用较少的 GPU，可在保持比例不变的情况下降低 batch-size 和 learning-rate。

如果您未自行采集数据，请从论文中使用的 CARLA 模拟器中收集的多模态指令数据集下载数据，链接如下：Hugging Face 或 OpenXLab。您也可以仅下载部分数据来验证我们的框架或您的改进。

视觉编码器预训练

在 8 张 A100（80G）上，视觉编码器的预训练大约需要 2~3 天。训练完成后，您可以在 output/ 目录下找到视觉编码器的检查点。

cd vision_encoder
bash scripts/train.sh

需要注意的几个选项：

• GPU_NUM：您希望使用的 GPU 数量，默认为 8。
• DATASET_ROOT：存储数据集的根目录。
• --model：视觉模型的结构。您可以选择 memfuser_baseline_e1d3_r26，它用 ResNet26 替代了 ResNet50。此外，您还可以在 visual_encoder/timm/models/memfuser.py 中创建新的模型变体。
• --train-towns/train-weathers：用于筛选训练数据集的过滤条件。同样地，也有对应的 val-towns/val-weathers 选项来筛选验证数据集。

指令微调

在 8 张 A100（80G）上，指令微调大约需要 2~3 天。训练完成后，您可以在 lavis/output/ 目录下找到适配器和 qformer 的检查点。

cd LAVIS
bash run.sh 8 lavis/projects/lmdrive/notice_llava15_visual_encoder_r50_seq40.yaml # 8 表示 GPU 数量

config.yaml 中需要注意的几个选项：

• preception_model：视觉编码器的模型架构。
• preception_model_ckpt：视觉编码器的检查点路径。
• llm_model：LLM（Vicuna/LLaVA）的检查点路径。
• use_notice_prompt：训练时是否使用提示指令数据。
• split_section_num_for_visual_encoder：视觉特征前向编码过程中，帧被分割成的段数。数值越高越节省显存，且必须是 token_max_length 的因数。
• 数据集：
  • storage：存储数据集的根目录。
  • towns/weathers：用于训练和评估的数据筛选条件。
  • token_max_length：最大帧数，超过此值的帧会被截断。
  • sample_interval：采样间隔。

评估

启动 CARLA 服务器（如上所述）并运行所需的智能体。充分的路线和场景文件位于 leaderboard/data 中，所需变量需在 leaderboard/scripts/run_evaluation.sh 中设置。

需要在 leaderboard/team_code/lmdrive_config.py 中更新以下选项：

• preception_model：视觉编码器的模型架构。
• preception_model_ckpt：视觉编码器的检查点路径（在视觉编码器预训练阶段获得）。
• llm_model：LLM（LLaMA/Vicuna/LLaVA）的检查点路径。
• lmdrive_ckpt：LMDrive 的检查点路径（在指令微调阶段获得）。

更新 leaderboard/scripts/run_evaluation.sh，加入以下代码以评估模型在 Town05 Long Benchmark 上的表现：

export CARLA_ROOT=/path/to/carla/root
export TEAM_AGENT=leaderboard/team_code/lmdrive_agent.py
export TEAM_CONFIG=leaderboard/team_code/lmdrive_config.py
export CHECKPOINT_ENDPOINT=results/lmdrive_result.json
export SCENARIOS=leaderboard/data/official/all_towns_traffic_scenarios_public.json
export ROUTES=leaderboard/data/LangAuto/long.xml

CUDA_VISIBLE_DEVICES=0 ./leaderboard/scripts/run_evaluation.sh

在此处，将 long.json 和 long.xml 替换为 short.json 和 short.xml，即可评估智能体在 LangAuto-Short 基准上的表现。

对于 LangAuto-Tiny 基准的评估，将 long.json 和 long.xml 替换为 tiny.json 和 tiny.xml：

export SCENARIOS=leaderboard/data/LangAuto/tiny.json
export ROUTES=leaderboard/data/LangAuto/tiny.xml

LangAuto-Notice

在 lmdriver_config.py 中将 agent_use_notice 设置为 True。

引用

如果您认为我们的仓库、数据集或论文有用，请按以下格式引用：

@misc{shao2023lmdrive,
      title={LMDrive: Closed-Loop End-to-End Driving with Large Language Models}, 
      author={Hao Shao and Yuxuan Hu and Letian Wang and Steven L. Waslander and Yu Liu and Hongsheng Li},
      year={2023},
      eprint={2312.07488},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

致谢

本实现基于多个仓库中的代码。

• InterFuser
• Transfuser
• 2020_CARLA_challenge
• CARLA排行榜
• 场景运行器
• LAVIS
• pytorch-image-models

许可证

本仓库中的所有代码均采用 Apache License 2.0 许可证。

LMDrive 快速上手指南

LMDrive 是一个基于大语言模型（LLM）的端到端、闭环自动驾驶框架。它能够通过多模态多视角传感器数据（摄像头、激光雷达）和自然语言指令与动态环境进行交互。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.8
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 >= 16GB 以运行 7B 模型）
• 模拟器: CARLA 0.9.10.1

前置依赖

• Anaconda
• Git
• CUDA Toolkit (与你的显卡驱动匹配)

2. 安装步骤

2.1 安装 Anaconda (如未安装)

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh
source ~/.bashrc

2.2 克隆项目并构建环境

git clone https://github.com/opendilab/LMDrive.git
cd LMDrive

# 创建并激活虚拟环境
conda create -n lmdrive python=3.8
conda activate lmdrive

# 安装视觉编码器依赖 (timm)
cd vision_encoder
pip3 install -r requirements.txt
python setup.py develop 
# 注意：如果之前安装过 timm，请先卸载

# 安装视觉大模型依赖 (LAVIS)
cd ../LAVIS
pip3 install -r requirements.txt
python setup.py develop 
# 注意：如果之前安装过 LAVIS，请先卸载

# 返回根目录并安装可选加速组件
cd ..
pip install flash-attn --no-build-isolation

2.3 设置 CARLA 模拟器

项目依赖 CARLA 0.9.10.1 版本。

chmod +x setup_carla.sh
./setup_carla.sh
pip install carla

提示: 如果遇到 CARLA 相关问题，请参考 Carla Issues 或 InterFuser Issues。

3. 基本使用

3.1 下载预训练模型

你可以从 Hugging Face 或 OpenXLab（国内加速推荐）下载模型权重。以下是基于 LLaVA-v1.5-7B 的模型示例：

Hugging Face:

• LMDrive-llava-v1.5-7b-v1.0
• Vision Encoder (R50)

OpenXLab (国内推荐):

• Model Zoo

将下载的权重放置在项目指定的 weights 或 checkpoints 目录下（具体路径参考配置文件）。

3.2 数据集准备

如果你直接使用官方数据集：

1. 从 Hugging Face 或 OpenXLab 下载数据。
2. 按照以下结构组织数据（$DATASET_ROOT 为你的数据根目录）：

   ├── $DATASET_ROOT
   │   ├── dataset_index.txt
   │   ├── navigation_instruction_list.txt
   │   ├── notice_instruction_list.json
   │   └── routes_townXX_...  # 数据文件夹
   │       ├── rgb_full
   │       ├── lidar
   │       └── ...
   

3. 确保生成 dataset_index.txt 文件，格式如下：

   routes_town06_long_w7_11_28_18_28_35/ 1062
   routes_town01_short_w2_11_16_08_27_10/ 1785
   

3.3 运行推理/评估

在配置好模型权重和数据集路径后，使用提供的评估脚本进行测试。假设你已配置好环境变量和数据路径：

# 示例：运行评估脚本 (具体脚本名称请参考 repo 中的 evaluation 部分)
python eval.py \
    --model_path ./checkpoints/LMDrive-llava-v1.5-7b-v1.0 \
    --data_root $DATASET_ROOT \
    --config configs/eval_config.yaml

注：具体的推理命令参数需根据 configs 目录下的配置文件进行调整，主要指定模型路径、数据根目录及测试路线。

3.4 训练 (可选)

如果需要从头训练或微调，流程分为两步：

1. 视觉编码器预训练:

   # 进入 vision_encoder 目录执行相关训练脚本
   

2. 指令微调 (Instruction Finetuning):

   # 使用准备好的导航指令和注意指令数据进行 LLM 微调
   

详细训练命令请参考仓库中的 Training 章节及对应脚本。