自动驾驶伪仿真

Wei Cao^3,5, Marcel Hallgarten^1,3,6, Tianyu Li⁴, Daniel Dauner¹, Xunjiang Gu⁶, Caojun Wang⁴, Yakov Miron³,
Marco Aiello⁵, Hongyang Li⁴, Igor Gilitschenski^6,7, Boris Ivanovic², Marco Pavone^2,8, Andreas Geiger¹, and Kashyap Chitta^1,2

¹图宾根大学，图宾根人工智能中心，²NVIDIA 研究所，³罗伯特·博世公司
⁴上海创新研究院 OpenDriveLab，⁵斯图加特大学，⁶多伦多大学，⁷Vector 研究所，⁸斯坦福大学

机器人学习大会 (CoRL), 2025

主分支包含用于 2025 年 NAVSIM 挑战赛的 NAVSIM v2 代码。关于 NAVSIM v1 及其 navtest 排行榜，它们也属于本仓库的一部分，请查看 v1.1 分支。

NAVSIM：数据驱动的非反应式自动驾驶车辆仿真与基准测试

Daniel Dauner^1,2, Marcel Hallgarten^1,5, Tianyu Li³, Xinshuo Weng⁴, Zhiyu Huang^4,6, Zetong Yang³,
Hongyang Li³, Igor Gilitschenski^7,8, Boris Ivanovic⁴, Marco Pavone^4,9, Andreas Geiger^1,2, and Kashyap Chitta^1,2

¹图宾根大学，²图宾根人工智能中心，³上海人工智能实验室 OpenDriveLab，⁴NVIDIA 研究所
⁵罗伯特·博世公司，⁶南洋理工大学，⁷多伦多大学，⁸Vector 研究所，⁹斯坦福大学

神经信息处理系统进展会议 (NeurIPS), 2024
数据集与基准测试赛道

亮点

🚀 简而言之： 我们提出了伪仿真这一全新的自动驾驶车辆评估方法，它结合了开环评估的高效性与闭环评估的鲁棒性。通过在规划轨迹附近用合成观测数据增强真实数据，伪仿真能够与闭环仿真保持高度相关，同时速度更快、更易于扩展。

🤔 动机： 当前的自动驾驶车辆评估方法存在关键权衡：闭环仿真资源消耗巨大，且需要访问模型而非仅依赖模型预测；而开环评估则忽略了诸如误差恢复和行为偏离专家路径等重要因素。为了实现大规模、快速的验证，亟需一种能够弥合两者差距的评估范式。

🏆 亮点： 伪仿真与传统的、计算成本高昂的闭环仿真具有高度相关性，但所需计算量仅为后者的六分之一。与传统闭环仿真不同，伪仿真既不是顺序执行的，也不是交互式的，因此可以在我们的排行榜中以开环方式计算所有评估指标。它曾作为 AGC2025 NAVSIM 端到端驾驶挑战赛 的主要评估框架。

目录

1. 亮点
2. 入门指南
3. 更新日志
4. 许可与引用
5. 其他资源

入门指南

• 下载与安装
• 理解并创建智能体
• 理解数据格式与类
• 数据集划分 vs. 过滤后的训练/测试划分
• 理解扩展 PDM 分数
• 理解交通仿真
• 提交至排行榜

(返回顶部)

更改记录

• [2025/09/29] 修复错误
  • 修复了指标筛选中的一个错误，该错误导致 "multiplicative_metrics_prod" 和 "weighted_metrics" 未能被人工筛选正确排除（参见 Issue #151）。
• [2025/07/16] [ICCV] Hugging Face 热身排行榜 发布
  • 此版本引入了注册系统：
    • 使用您的 Hugging Face 账户登录后，点击“注册”并填写团队信息
    • 管理员将在 24 小时内审核您的注册请求
• [2025/04/28] NAVSIM v2.2 发布（用于 AGC 2025 的官方开发工具包版本）
  • 发布了 private_test_hard 数据集（参见 splits），用于 HuggingFace NAVSIM v2 端到端驾驶挑战赛 2025 排行榜。
    • 提交截止日期为 2025 年 5 月 11 日 00:00:00 UTC
    • 您每天在挑战赛排行榜上仅限一次上传，成功提交后大约需要 2 小时进行评估。
  • 修复了 navhard 和 warmup 的 openscene_meta_datas 中的错误
    • 如果您曾使用 navhard_two_stage/openscene_meta_datas 或 warmup_two_stage/openscene_meta_datas 来评估模型，请重新下载并使用新数据。
  • ⚠️ 重要提示：不允许将 test/navtest/navhard_two_stage/warmup_two_stage/private_test_two_stage 分割用于训练您的挑战赛提交内容。
    • 允许使用任何其他公开可用的数据集或预训练权重。
    • 此外，为了有资格获得奖项，必须在您的提交技术报告中明确说明所使用的数据。
• [2025/04/24] NAVSIM v2.1.2 发布
  • 发布了 navhard_two_stage 数据集（参见 splits）
  • 更新了 Hugging Face 热身排行榜 的扩展预测驾驶员模型评分 (EPDMS)。有关实现细节，请参阅 metrics。
• [2025/04/13] NAVSIM v2.1.1 发布
  • 对热身排行榜的数据集进行了更新，并包含一些小修复。
• [2025/04/08] NAVSIM v2.1 发布
  • 为 Hugging Face 热身排行榜 添加了新的数据集（参见 submission）
  • 引入了对两阶段反应式交通代理的支持（参见 traffic simulation）。
• [2025/02/28] NAVSIM v2.0 发布
  • 在 PDM 评分中增加了更多指标和惩罚项（参见 metrics）
  • 添加了新的两阶段伪闭环仿真（参见 metrics）
  • 增加了对反应式交通代理策略的支持（参见 traffic simulation）。
• [2024/09/03] NAVSIM v1.1 发布
  • 在 Hugging Face 上发布了 navtest 的排行榜
  • 在 Hugging Face 上发布了基线检查点
  • 更新了关于 submission 和 paper 的文档。
• [2024/04/21] NAVSIM v1.0 发布（用于 AGC 2024 的官方开发工具包版本）
  • 实现了指标缓存/评估的并行化
  • 添加了 Transfuser 基线（参见 agents）
  • 添加了标准化的训练和测试过滤分割（参见 splits）
  • 可视化工具（参见 tutorial_visualization.ipynb）
• [2024/04/03] NAVSIM v0.4 发布
  • 支持比赛的测试阶段帧
  • 提供 trainval 下载脚本
  • 自我状态 MLP 代理及训练流程。
• [2024/03/25] NAVSIM v0.3 发布
  • 增加了用于排行榜提交的代码。
• [2024/03/11] NAVSIM v0.2 发布
  • 安装和下载更加简便
  • 集成了 mini 和 test 数据分割
  • 特权 Human 代理。
• [2024/02/20] NAVSIM v0.1 发布（初始演示版）
  • OpenScene-mini 传感器数据块和标注日志
  • 天真 ConstantVelocity 代理。

(返回顶部)

许可证与引用

除非另有说明，本仓库中的所有资产和代码均受 Apache 2.0 许可证 管辖。数据集（包括 nuPlan 和 OpenScene）则遵循其各自的分发许可证。如果您在研究中使用了我们的论文，请考虑引用它们。

@inproceedings{Cao2025CORL, 
	author = {Wei Cao and Marcel Hallgarten and Tianyu Li and Daniel Dauner and Xunjiang Gu and Caojun Wang and Yakov Miron and Marco Aiello and Hongyang Li and Igor Gilitschenski and Boris Ivanovic and Marco Pavone and Andreas Geiger and Kashyap Chitta}, 
	title = {Pseudo-Simulation for Autonomous Driving}, 
	booktitle = {Conference on Robot Learning (CoRL)}, 
	year = {2025}, 
}

@inproceedings{Dauner2024NEURIPS,
	title = {NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking},
	author = {Daniel Dauner and Marcel Hallgarten and Tianyu Li and Xinshuo Weng and Zhiyu Huang and Zetong Yang and Hongyang Li and Igor Gilitschenski and Boris Ivanovic and Marco Pavone and Andreas Geiger and Kashyap Chitta},
	booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
	year = {2024},
}

(返回顶部)

其他资源

• SLEDGE | tuPlan garage | CARLA garage | E2EAD 调查
• PlanT | KING | TransFuser | NEAT

(返回顶部)

NAVSIM 快速上手指南

NAVSIM 是一个用于自动驾驶的“伪仿真”（Pseudo-Simulation）评估框架。它结合了开环评估的高效性和闭环评估的鲁棒性，通过在规划轨迹附近增强真实数据合成观测值，实现了与昂贵闭环仿真高度相关但计算成本低得多的评估方式。该工具是 AGC2025 端到端驾驶挑战赛的核心评估平台。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04 或更高版本)
• Python: 3.9 或更高版本
• 硬件: 建议使用带有 CUDA 支持的 NVIDIA GPU 以加速模型推理和评估（虽然核心评估逻辑主要依赖 CPU 并行，但模型运行通常需要 GPU）。
• 前置依赖:
  • git
  • conda 或 venv (强烈推荐使用 Conda 管理环境)
  • cmake (用于编译部分依赖)

2. 安装步骤

2.1 克隆仓库

首先，从 GitHub 克隆 NAVSIM v2 代码库（当前主分支对应 2025 年挑战赛版本）：

git clone https://github.com/autonomousvision/navsim.git
cd navsim

注意：如果您需要使用旧版 NAVSIM v1 (navtest leaderboard)，请切换至 v1.1 分支：git checkout v1.1。

2.2 创建并激活虚拟环境

使用 Conda 创建隔离环境（推荐）：

conda create -n navsim python=3.9 -y
conda activate navsim

2.3 安装依赖

安装项目所需的 Python 依赖包。项目通常提供 requirements.txt 或通过 setup.py 安装。

# 安装基础依赖
pip install -r requirements.txt

# 以可编辑模式安装 navsim 包本身
pip install -e .

国内加速提示：如果下载速度较慢，建议使用国内镜像源（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4 数据集准备

NAVSIM 基于 OpenScene 和 nuPlan 数据。您需要按照 docs/install.md 中的指引下载数据。 通常涉及运行下载脚本并将数据放置在指定目录（例如 data_root）。

# 示例：下载训练验证集（具体脚本请参考 docs/install.md）
python scripts/download_data.py --split trainval

3. 基本使用

NAVSIM 的核心工作流包括：加载数据 -> 运行智能体（Agent）生成轨迹 -> 计算指标（如 EPDMS）。

3.1 运行基准智能体

NAVSIM 内置了一些基准智能体（如 ConstantVelocity, EgoStatusMLP 等）。以下命令展示如何在一个小数据集上运行评估：

# 使用 ConstantVelocity 基准智能体在 mini 分割集上进行评估
python navsim/scripts/run_agent.py \
    --agent_name constant_velocity \
    --split mini \
    --output_dir outputs/demo_run

3.2 自定义智能体评估

如果您训练了自己的模型，需要创建一个继承自 AbstractAgent 的类。以下是一个最简单的自定义智能体示例结构：

# my_agent.py
from navsim.agents.abstract_agent import AbstractAgent
from navsim.common.dataclasses import AgentInput, Scenario
import numpy as np

class MySimpleAgent(AbstractAgent):
    def name(self) -> str:
        return "my_simple_agent"

    def get_trajectory(self, agent_input: AgentInput) -> np.ndarray:
        # 这里编写您的模型推理逻辑
        # 返回形状为 (num_frames, 7) 的轨迹数组 [x, y, z, qx, qy, qz, qw]
        # 此处仅作为示例，返回零轨迹
        num_frames = agent_input.history[0].shape[0] # 获取历史帧数作为参考
        trajectory = np.zeros((num_frames, 7)) 
        return trajectory

运行自定义智能体：

python navsim/scripts/run_agent.py \
    --agent_path my_agent.py \
    --agent_class_name MySimpleAgent \
    --split mini \
    --output_dir outputs/my_model_run

3.3 查看结果

评估完成后，指标结果（包括扩展的 PDM Score, EPDMS）将保存在 outputs 目录下的 JSON 文件中。您可以使用提供的可视化工具查看仿真效果：

# 启动可视化教程 (需安装 jupyter)
jupyter notebook tutorial/tutorial_visualization.ipynb

---

提示：对于参加 AGC2025 挑战赛的用户，请务必阅读 docs/submission.md 了解如何打包结果并提交到 Hugging Face Leaderboard。严禁使用 test 或 private_test 分割数据进行训练。