[!IMPORTANT] 🌟 请在 opendrivelab.com 上获取最新资讯！

目录

• 新闻
• ⭐ GenAD：OpenDV 数据集（CVPR 2024 精选）
• Vista（NeurIPS 2024）
• DriveLM（ECCV 2024 口头报告）
• DriveData 调查（SCIENTIA SINICA Informationis 2024）
• OpenScene
• OpenLane-V2 更新

新闻

GenAD：OpenDV 数据集

OpenDV 数据集中 真实世界驾驶场景示例，包括城市、高速公路、乡村等场景。

⭐ 用于自动驾驶的广义预测模型（CVPR 2024，精选）

论文 | 视频 | 海报 | 演示文稿

🎦 至今为止 最大的驾驶视频数据集，包含超过 1700 小时的真实世界驾驶视频，其规模是广泛使用的 nuScenes 数据集的 300 倍。

• 完整视频列表（基于 YouTube 许可）：OpenDV 视频。
  • 下载的原始视频（大多为 1080P）大约占用 3 TB 的存储空间。然而，这些长达数小时的视频直接用于模型训练会非常消耗内存。
  • 因此，我们将其预处理为连续图像，这样在训练过程中加载起来更加灵活高效。处理后的图像总共占用约 24 TB 的存储空间。
  • 建议先在小规模子集上进行实验，比如整个数据集的 1/20。官方也提供了一个迷你子集，详细信息请参阅 OpenDV-mini。待训练稳定后，再将方法应用于整个数据集，祝你好运 🤞。
• [ 新❗️] 迷你子集：OpenDV-mini。
  • OpenDV-YouTube 的迷你版本。原始视频大约占用 44 GB 的存储空间，而处理后的图像则需要约 390 GB 的存储空间。
• 数据准备的分步指南：OpenDV-YouTube。
• OpenDV-YouTube 的语言标注：OpenDV-YouTube-Language。

快速事实：

• 任务：针对驾驶场景的大规模视频预测。
• 数据来源：YouTube，经过精心收集和筛选。
• 多样性亮点：1700 小时的驾驶视频，覆盖 40 个国家的 244 多座城市。
• 相关工作：GenAD 被 CVPR 2024 接受，入选精选。
• 注：由于我们在训练中随机抽取了 OpenDV-2K 中其他公开数据集的一部分，因此不会发布这些数据集的标注。这些子集并不完整，且难以追溯其原始来源（即文件名）。不过，您可以根据我们的论文 ((https://arxiv.org/abs/2403.09630)) 自行重现收集和标注过程。

@inproceedings{yang2024genad,
  title={Generalized Predictive Model for Autonomous Driving},
  author={Jiazhi Yang and Shenyuan Gao and Yihang Qiu and Li Chen and Tianyu Li and Bo Dai and Kashyap Chitta and Penghao Wu and Jia Zeng and Ping Luo and Jun Zhang and Andreas Geiger and Yu Qiao and Hongyang Li},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}

Vista

Vista 在各种驾驶场景中模拟的未来画面。建议在 演示页面 上查看。

@inproceedings{gao2024vista,
 title={Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability}, 
 author={Shenyuan Gao and Jiazhi Yang and Li Chen and Kashyap Chitta and Yihang Qiu and Andreas Geiger and Jun Zhang and Hongyang Li},
 booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
 year={2024}
}

@inproceedings{yang2024genad,
  title={{Generalized Predictive Model for Autonomous Driving}},
  author={Jiazhi Yang and Shenyuan Gao and Yihang Qiu and Li Chen and Tianyu Li and Bo Dai and Kashyap Chitta and Penghao Wu and Jia Zeng and Ping Luo and Jun Zhang and Andreas Geiger and Yu Qiao and Hongyang Li},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

DriveLM

驾驶数据综述

@article{li2024_driving_dataset_survey,
 title = {自动驾驶开源数据生态系统：现状与未来},
 author = {Hongyang Li 和 Yang Li 和 Huijie Wang 和 Jia Zeng 和 Huilin Xu 和 Pinlong Cai 和 Li Chen 和 Junchi Yan 和 Feng Xu 和 Lu Xiong 和 Jingdong Wang 和 Futang Zhu 和 Chunjing Xu 和 Tiancai Wang 和 Fei Xia 和 Beipeng Mu 和 Zhihui Peng 和 Dahua Lin 和 Yu Qiao},
 journal = {中国科学：信息科学},
 year = {2024},
 doi = {10.1360/SSI-2023-0313}
}

OpenScene

OpenLane-V2 更新

DriveAGI 快速上手指南

DriveAGI 是由 OpenDriveLab 开源的自动驾驶通用智能项目集合，包含大规模驾驶视频数据集（OpenDV）、世界模型（Vista）、语言驱动基准（DriveLM）等前沿成果。本指南将帮助你快速搭建环境并体验核心功能。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（运行世界模型或处理视频数据建议显存 ≥ 24GB）
• 存储:
  • 基础代码运行：至少 50GB
  • OpenDV-mini 数据集：约 440GB (原始视频 + 处理后图像)
  • 完整 OpenDV 数据集：需预留 27TB+ 空间（初次尝试强烈建议使用 mini 版）
• 前置依赖:
  • Git
  • FFmpeg (用于视频处理)
  • CUDA Toolkit (版本需与 PyTorch 匹配)

💡 国内加速建议：

• 代码克隆可使用 Gitee 镜像（如有）或配置 git config --global http.proxy。
• Python 包安装推荐配置清华源或阿里源：

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

• HuggingFace 模型下载若受阻，可使用 HF_ENDPOINT 环境变量指向国内镜像：

  export HF_ENDPOINT=https://hf-mirror.com
  

安装步骤

1. 克隆项目代码

git clone https://github.com/OpenDriveLab/DriveAGI.git
cd DriveAGI

2. 创建虚拟环境并安装依赖

推荐使用 Conda 管理环境。以下以 Vista (世界模型) 和 GenAD (数据预处理) 的通用依赖为例：

# 创建环境 (根据具体子项目需求调整 python 版本，通常 3.9+ 较稳妥)
conda create -n driveagi python=3.9 -y
conda activate driveagi

# 安装 PyTorch (请务必根据你的 CUDA 版本前往 pytorch.org 获取对应命令，以下为示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目核心依赖
pip install -r requirements.txt

注意：DriveAGI 是一个聚合仓库，不同子项目（如 vista, opendv, drivelm）可能有独立的 requirements.txt。请进入对应子目录检查并安装特定依赖。例如使用 Vista 模型：

cd vista
pip install -r requirements.txt

3. 数据准备 (以 OpenDV-mini 为例)

由于完整数据集过大，新手请先下载 OpenDV-mini 进行验证。

1. 获取视频列表与脚本： 参考 opendv/README.md 中的指引。
2. 下载数据： 使用提供的脚本从 YouTube 下载迷你版视频（约 44GB）。

   cd opendv
   # 执行下载脚本 (具体命令请参考该目录下的最新说明)
   python download_opendv_mini.py 
   

3. 数据预处理： 将视频转换为模型可用的图像帧序列（处理后约 390GB）。

   python preprocess_videos.py --input_dir ./raw_videos --output_dir ./processed_images --subset mini
   

基本使用

以下展示两个最核心的使用场景：运行世界模型推理和使用数据集。

场景一：运行 Vista 世界模型推理

Vista 能够根据当前帧和动作指令预测未来驾驶场景。

1. 下载预训练模型： 从 HuggingFace 下载 Vista 权重（配置国内镜像加速）：

   export HF_ENDPOINT=https://hf-mirror.com
   huggingface-cli download OpenDriveLab/Vista --local-dir ./checkpoints/vista
   

2. 执行推理： 使用提供的示例脚本进行未来帧预测。

   cd ../vista
   python demo/inference.py \
       --config configs/vista_demo.yaml \
       --checkpoint ../checkpoints/vista/model.pth \
       --input_image assets/demo_input.jpg \
       --action "turn_left" \
       --output_dir ./results
   

   运行成功后，./results 目录下将生成预测的未来驾驶视频序列。

场景二：加载 OpenDV 数据集进行训练准备

如果你打算基于 GenAD 论文复现视频预测任务，可使用 PyTorch DataLoader 加载处理好的数据。

import torch
from opendv.dataset import OpenDVDataSet

# 初始化数据集 (指向预处理后的图像目录)
dataset = OpenDVDataSet(
    root_dir='./opendv/processed_images',
    split='mini_train',
    seq_length=16,
    transform=None
)

# 创建 DataLoader
dataloader = torch.utils.data.DataLoader(
    dataset, 
    batch_size=4, 
    shuffle=True, 
    num_workers=4
)

# 简单遍历验证
for batch in dataloader:
    video_frames, actions = batch
    print(f"Batch shape: {video_frames.shape}")
    break

更多详细文档、完整数据集下载及特定任务（如 DriveLM 语言标注）请查阅各子模块目录下的 README.md。