[!IMPORTANT] 🌟 请在 opendrivelab.com 上获取最新资讯！

https://github.com/OpenDriveLab/DriveLM/assets/54334254/cddea8d6-9f6e-4e7e-b926-5afb59f8dce2

亮点

🔥 我们基于 nuScenes 和 CARLA 构建了数据集（DriveLM-Data），并提出了一种基于 VLM 的基线方法（DriveLM-Agent），用于联合执行 图像视觉问答 和端到端驾驶。

🏁 DriveLM 是 CVPR 2024 自动驾驶挑战赛 的主要赛道之一。 您参加该挑战所需的一切都在 这里，包括基线、测试数据、提交格式以及评估流程！

新闻

• [2025/01/08] Drive-Bench 发布！深入分析 DriveLM 到底在衡量什么。请参阅 arxiv。
• [2024/07/16] DriveLM 官方排行榜 重新开放！
• [2024/07/01] DriveLM 被 ECCV 2024 接收！祝贺团队！
• [2024/06/01] 挑战赛结束！查看最终排行榜。
• [2024/03/25] 挑战赛测试服务器上线，测试题目已发布。快来看看！
• [2024/02/29] 挑战赛代码库发布。包含基线、数据、提交格式及评估流程。赶紧看看！
• [2023/08/25] DriveLM-nuScenes 演示发布。
• [2023/12/22] DriveLM-nuScenes 完整 v1.0 版本及 论文 发布。

目录

1. 亮点
2. 开始使用
   • 准备 DriveLM-nuScenes
3. 当前进展与未来展望
4. 待办事项列表
5. DriveLM-Data
   • 对比与统计
   • GVQA 细节
   • 标注与特性
6. 许可与引用
7. 其他资源

开始使用

要开始使用 DriveLM：

• 准备 DriveLM-nuScenes
• 挑战赛开发工具包
• 更多内容即将推出

(返回顶部)

当前进展与未来方向

• GPT 类型的多模态模型在实际应用中的出现，促使人们研究语言在驾驶中的作用。
• 下方日期反映了 arXiv 的提交日期。
• 如果有任何遗漏的工作，请随时联系我们！

DriveLM 试图解决社区面临的一些挑战。

• 数据不足：DriveLM-Data 作为一个全面的语言驱动驾驶基准。
• 具身化：GVQA 为 LLM / VLM 的具身化应用提供了一个潜在的方向。
• 闭环：DriveLM-CARLA 试图探索基于语言的闭环规划。

(返回顶部)

待办事项清单

• DriveLM-Data
  • DriveLM-nuScenes
  • DriveLM-CARLA
• DriveLM-Metrics
  • GPT-score
• DriveLM-Agent
  • 在DriveLM-nuScenes上的推理代码
  • 在DriveLM-CARLA上的推理代码

(返回顶部)

DriveLM-Data

我们通过人类编写的推理逻辑来连接并促进“感知、预测、规划、行为、运动”等任务。我们在DriveLM-Data数据集上提出了GVQA任务。

📊 对比与统计数据

DriveLM-Data 是首个以图结构逻辑依赖关系支持完整驾驶任务栈的语言驱动数据集。

有关GVQA任务、数据集特性以及标注的详细链接。

(返回顶部)

许可与引用

除非另有说明，本仓库中的所有资产和代码均采用 Apache 2.0 许可证。语言数据则采用 CC BY-NC-SA 4.0 许可证。其他数据集（包括 nuScenes）则遵循其各自的分发许可证。如果您在研究中使用了这些资源，请考虑引用我们的论文和项目。

@article{sima2023drivelm,
  title={DriveLM: 基于图结构视觉问答的自动驾驶},
  author={Sima, Chonghao and Renz, Katrin and Chitta, Kashyap and Chen, Li and Zhang, Hanxue and Xie, Chengen and Luo, Ping and Geiger, Andreas and Li, Hongyang},
  journal={arXiv 预印本 arXiv:2312.14150},
  year={2023}
}

@misc{contributors2023drivelmrepo,
  title={DriveLM: 基于图结构视觉问答的自动驾驶},
  author={DriveLM 贡献者},
  howpublished={\url{https://github.com/OpenDriveLab/DriveLM}},
  year={2023}
}

(返回顶部)

其他资源

OpenDriveLab

• DriveAGI | UniAD | OpenLane-V2 | 端到端自动驾驶综述
• BEV 感知综述 | BEVFormer | OccNet

自主视觉组

• tuPlan 车库 | CARLA 车库 | 端到端自动驾驶综述
• PlanT | KING | TransFuser | NEAT

(返回顶部)

DriveLM 快速上手指南

DriveLM 是一个基于图视觉问答（Graph VQA）的自动驾驶开源项目，旨在通过语言模型增强自动驾驶系统的感知、预测和规划能力。本项目包含基于 nuScenes 和 CARLA 构建的数据集（DriveLM-Data）以及基线模型（DriveLM-Agent）。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB+ 以运行大模型）
• 前置依赖:
  • PyTorch (与您的 CUDA 版本匹配)
  • Git
  • pip

注意：本项目深度依赖多模态大模型，建议预先配置好基础的深度学习环境。

2. 安装步骤

2.1 克隆仓库

首先，从 GitHub 克隆项目代码：

git clone https://github.com/OpenDriveLab/DriveLM.git
cd DriveLM

2.2 安装 Python 依赖

安装项目所需的 Python 包。如果国内网络下载较慢，建议使用国内镜像源加速：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：如果根目录下没有 requirements.txt，请参考 challenge/ 目录或具体子模块的依赖文件进行安装)

2.3 数据准备 (DriveLM-nuScenes)

DriveLM 的核心数据基于 nuScenes 数据集。您需要先下载原始的 nuScenes 数据集，然后按照项目指引准备 DriveLM 格式的数据。

详细的数据预处理步骤请参阅官方文档：

• 数据准备指南 (docs/data_prep_nus.md)

主要流程通常包括：

1. 下载 nuScenes 原始数据。
2. 下载 DriveLM 的标注文件（JSON 格式）。
3. 运行预处理脚本将两者对齐。

3. 基本使用

目前项目主要提供了针对 DriveLM-nuScenes 的推理代码基线。以下是最简单的使用流程示例。

3.1 运行推理 (Inference)

假设您已经准备好了数据并配置了模型权重，可以使用以下命令运行基线模型进行推理（具体脚本路径可能随版本更新略有调整，请以 challenge/ 或根目录下的最新脚本为准）：

# 示例命令：运行 DriveLM-Agent 在 nuScenes 验证集上的推理
python inference.py \
    --data_path ./data/drivelm_nuscenes \
    --model_path ./pretrained_models/drivelm_agent \
    --output_dir ./results

3.2 参与挑战赛 (可选)

如果您希望参与 CVPR 2024 Autonomous Driving Challenge 的 "Driving-with-Language" 赛道，请使用专门的挑战赛开发包：

cd challenge
# 按照 challenge 目录下的 README 运行评估流水线
python eval_pipeline.py --submission_file ./your_submission.json

3.3 查看结果

推理完成后，生成的答案通常位于 --output_dir 指定的文件夹中。您可以结合可视化工具查看模型对场景图的问答结果及驾驶决策逻辑。

---

更多资源:

• 项目主页
• 论文链接 (arXiv:2312.14150)
• Hugging Face 测试服务器