OpenDriveVLA：迈向基于大型视觉语言动作模型（Large Vision Language Action Model）的端到端自动驾驶

项目页面 | arXiv

概述 ✨

• 待办事项列表
• 新闻
• 开始使用
• 引用

待办事项列表 📅

我们将很快发布模型代码和检查点（Checkpoints）。敬请期待！🔥

• 发布环境配置
• 发布推理代码
• 发布检查点
• 发布训练脚本

新闻 📢

• 2025/11/14 在 Hugging Face 上发布了 OpenDriveVLA 0.5B 检查点。🌟
• 2025/11/08 OpenDriveVLA 论文被 AAAI 2026 接收。🎉
• 2025/08/10 发布 OpenDriveVLA 模型及推理代码。🔥
• 2025/04/01 OpenDriveVLA 论文 已在 arXiv 上线。
• 2025/03/28 我们发布了 OpenDriveVLA 的环境配置。
  • 为了使我们的 OpenDriveVLA 模型依赖项 [mmcv & mmdet3d] 与 PyTorch 2.1.2 兼容，并支持 Transformers 和 Deepspeed，我们选择了特定版本并相应地增强了源代码。生成的定制库可在 third_party 文件夹中找到。

开始使用 🌟

1. 环境安装
2. 数据准备
3. 推理与评估

引用 📝

如果您发现我们的项目对您的研究有用，请考虑使用以下 BibTeX 引用我们的论文和代码库：

@misc{zhou2025opendrivevlaendtoendautonomousdriving,
      title={OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model}, 
      author={Xingcheng Zhou and Xuyuan Han and Feng Yang and Yunpu Ma and Volker Tresp and Alois Knoll},
      year={2025},
      eprint={2503.23463},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.23463}, 
}

致谢 🤝

• Transformers
• LLaVA-NeXT
• Qwen2.5
• UniAD
• mmcv
• mmdet3d
• GPT-Driver
• Hint-AD
• TOD3Cap

OpenDriveVLA 快速上手指南

OpenDriveVLA 是一个面向端到端自动驾驶的大视觉语言动作模型（Large Vision Language Action Model）。本项目已发布 0.5B 模型权重及推理代码，支持基于 PyTorch 2.1.2 的定制化深度学习环境。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• CUDA: 兼容 PyTorch 2.1.2 的 GPU 驱动
• 核心依赖版本:
  • PyTorch: 2.1.2
  • Transformers: 最新稳定版
  • DeepSpeed: 用于分布式训练/推理
  • mmcv & mmdet3d: 需使用项目定制版本以兼容上述 PyTorch 版本
• 硬件建议: 至少单张高性能 GPU (如 A100/V100/RTX 3090 及以上)

💡 国内加速提示: 由于模型托管于 Hugging Face，国内用户建议使用镜像源加速下载，例如 HF-Mirror 或 ModelScope。

安装步骤

1. 克隆仓库

git clone https://github.com/OpenDriveLab/OpenDriveVLA.git
cd OpenDriveVLA

2. 配置依赖环境

本项目针对特定版本的 mmcv 和 mmdet3d 进行了源码增强，自定义库位于 third_party 文件夹中。请按照官方文档进行环境初始化：

# 参考安装文档
cat docs/1_INSTALL.md

通常涉及以下步骤（具体请以 docs/1_INSTALL.md 为准）：

1. 创建 Conda 虚拟环境并激活。
2. 安装 PyTorch 2.1.2 及相关基础库。
3. 安装 third_party 中的定制化依赖。

3. 下载模型权重

从 Hugging Face 获取最新的 0.5B 检查点：

# 推荐使用 huggingface-cli 下载
huggingface-cli download OpenDriveVLA/OpenDriveVLA-0.5B --local-dir ./checkpoints

若网络受限，可尝试通过国内镜像站同步该模型路径。

基本使用

完成环境配置后，即可进行推理与评估。详细参数请参考 docs/3_EVAL.md。

运行推理脚本

进入项目根目录，执行推理命令（示例结构）：

python scripts/inference.py \
    --config configs/default.yaml \
    --checkpoint ./checkpoints/OpenDriveVLA-0.5B

数据准备

如需自定义输入，请参照 docs/2_DATA_PREP.md 准备符合 UniAD 或 OpenDrive 标准的数据格式。

---

注：训练脚本尚未发布，当前仅支持推理与评估流程。更多细节请访问 项目主页 或查阅 arXiv 论文。