[!IMPORTANT] 🌟 请在 opendrivelab.com 上获取最新资讯！

Vista

我们 NeurIPS 2024 论文的官方实现：

Vista：具有高保真度和多功能可控性的通用驾驶世界模型

Shenyuan Gao, Jiazhi Yang, Li Chen, Kashyap Chitta, Yihang Qiu, Andreas Geiger, Jun Zhang, Hongyang Li

📜 [技术报告], 🎬 [视频演示], 🤗 [模型权重], 🗃️ [OpenDV 数据集], 🪧 [海报]

由 Vista 模拟的多种驾驶场景下的未来状态。建议在 演示页面 上观看效果更佳。

🔥 亮点

Vista 是一个通用的驾驶世界模型，能够：

• 在各种场景中预测高保真的未来状态。
• 将预测扩展到连续且较长的时间范围。
• 执行多模态动作（转向角、速度、指令、轨迹、目标点）。
• 无需访问真实标签即可为不同动作提供奖励。

📢 最新消息

[!IMPORTANT] 之前上传的模型在合并 EMA 权重时存在错误，请下载下方的最新版本。

• [2024/06/06] 我们已在 Hugging Face 和 Google Drive 上发布了 v1.0 版本的模型权重。
• [2024/06/04] 我们发布了安装、训练和采样脚本。
• [2024/05/28] 我们公开了模型的实现代码。
• [2024/05/28] 我们在 arXiv 上发布了我们的论文 论文链接。

📋 待办事项

• 使用更大批量和更多迭代次数训练的新模型权重。
• 实现内存高效的训练和采样。
• 开发在线交互式演示。

🕹️ 快速入门

• 安装指南

• 训练指南

• 采样指南

• 故障排除

❤️ 致谢

我们的实现基于 Stability AI 的 generative-models。感谢他们出色的开源工作！

⭐ 引用

如果我们的论文或代码对您的研究有所帮助，请考虑引用我们，并为我们的仓库点亮一颗星。

@inproceedings{gao2024vista,
 title={Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability}, 
 author={Shenyuan Gao and Jiazhi Yang and Li Chen and Kashyap Chitta and Yihang Qiu and Andreas Geiger and Jun Zhang and Hongyang Li},
 booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
 year={2024}
}

@inproceedings{yang2024genad,
  title={Generalized Predictive Model for Autonomous Driving},
  author={Jiazhi Yang and Shenyuan Gao and Yihang Qiu and Li Chen and Tianyu Li and Bo Dai and Kashyap Chitta and Penghao Wu and Jia Zeng and Ping Luo and Jun Zhang and Andreas Geiger and Yu Qiao and Hongyang Li},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

⚖️ 许可证

本仓库中的所有内容均采用 Apache-2.0 许可证。

Vista 快速上手指南

Vista 是一个通用的驾驶世界模型，具备高保真度预测和多样化的控制能力，支持长时序预测、多模态动作执行（如转向角、速度、轨迹等）以及无真值奖励评估。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• GPU: NVIDIA GPU (建议显存 ≥ 24GB，支持 CUDA 11.8+)
• Python: 3.9 或更高版本
• 前置依赖:
  • PyTorch (与 CUDA 版本匹配)
  • Git
  • Conda (推荐用于环境管理)

注意：本项目基于 Stability AI 的 generative-models 构建，对显存要求较高。

安装步骤

1. 克隆仓库

git clone https://github.com/OpenDriveLab/Vista.git
cd Vista

2. 创建并激活虚拟环境

推荐使用 Conda 创建隔离环境：

conda create -n vista python=3.9 -y
conda activate vista

3. 安装依赖

根据官方文档指引安装核心依赖（国内用户可使用清华源加速）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

若需完整功能，请参考项目根目录下的详细安装文档：

• 详细安装指南 (INSTALL.md)

基本使用

1. 下载模型权重

重要提示：早期上传的模型存在 EMA 权重合并错误，请务必下载最新版本 (v1.0)。

您可以从以下地址下载 vista.safetensors 文件：

• Hugging Face: OpenDriveLab/Vista
• Google Drive: 下载链接

将下载的文件放置在项目指定的权重目录下（通常为 checkpoints/ 或在配置文件中指定路径）。

2. 运行采样（推理）

使用提供的脚本进行未来场景预测采样。以下是最基础的运行命令示例：

python scripts/sample.py --config configs/vista.yaml --ckpt_path checkpoints/vista.safetensors

• --config: 指定模型配置文件。
• --ckpt_path: 指定下载的模型权重文件路径。

更多高级用法（如指定控制指令、生成长时序视频等），请参阅：

• 采样文档 (SAMPLING.md)

3. 训练模型（可选）

如需使用 OpenDV 数据集重新训练或微调模型，请参照训练文档：

• 训练文档 (TRAINING.md)

---

本指南基于 Vista NeurIPS 2024 官方仓库整理，代码与命令保留原文格式。