[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Thinklab-SJTU--Bench2Drive":3,"tool-Thinklab-SJTU--Bench2Drive":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,2,"2026-04-10T11:13:16",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75666,"2026-04-15T23:15:07",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":116,"forks":117,"last_commit_at":118,"license":119,"difficulty_score":120,"env_os":121,"env_gpu":122,"env_ram":123,"env_deps":124,"category_tags":131,"github_topics":80,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":22,"created_at":132,"updated_at":133,"faqs":134,"releases":172},7850,"Thinklab-SJTU\u002FBench2Drive","Bench2Drive","[NeurIPS 2024 Datasets and Benchmarks Track] Closed-Loop E2E-AD Benchmark Enhanced by World Model RL Expert","Bench2Drive 是一个专为自动驾驶端到端规划设计的闭环基准测试平台，由上海交通大学 ThinkLab 团队开发并入选 NeurIPS 2024。它旨在解决传统自动驾驶评估中“开环测试无法反映真实交互”的痛点，通过在高保真仿真环境 CARLA 中构建包含复杂交通场景的测试路线，让算法在动态环境中实时决策，从而更真实地衡量驾驶安全性与流畅度。\n\n该工具特别适合自动驾驶领域的研究人员与开发者使用，尤其是从事端到端模型训练、强化学习策略优化及世界模型探索的团队。Bench2Drive 的独特亮点在于引入了基于世界模型的强化学习专家作为增强参照，并新增了“驾驶效率”与“驾驶平滑度”两项关键指标，避免了以往仅依赖轨迹误差（如 L2 错误）导致的误导性结论。此外，项目还贴心提供了小型验证集 Dev10，帮助开发者快速进行消融实验而无需过度拟合全套数据。无论是想要复现前沿算法，还是希望公正评估新模型性能，Bench2Drive 都提供了一个严谨、透明且社区活跃的评估标准。","\n\u003Ch2 align=\"center\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_f5cb9de52975.jpg'>\n\u003C\u002Fh2>\n\n\u003Ch2 align=\"center\">\nNeurIPS 2024 Datasets and Benchmarks Track\n\u003C\u002Fh2>\n\n\n\u003Ch2 align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fthinklab-sjtu.github.io\u002FBench2Drive\u002F\">Website\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive\">Huggingface\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.03877\">arXiv\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\">Model\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002FuZuU3JXVNV\">Discord\u003C\u002Fa>\n\u003C\u002Fh2>\n\n![overview](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_669e6656f91b.jpg)\n\n\n\u003Ch2 align=\"center\">\nWhat can Think2Drive + Bench2Drive provide ? \u003Cb>Please click to view the video.\u003C\u002Fb>\n\u003Cbr>\n\u003Cb>↓↓↓\u003C\u002Fb>\n\u003C\u002Fh2>\n\n[![Bench2Drive](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_b63d12fac189.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=-osdzJJs2g0 \"Bench2Drive\")\n\n#####\n## Table of Contents: \u003Ca name=\"high\">\u003C\u002Fa>\n1. [News](#News)\n2. [Dataset](#Dataset)\n3. [Benchmark](#Benchmark)\n4. [License](#license)\n5. [Citation](#citation)\n\n## News \u003Ca name=\"news\">\u003C\u002Fa>\n  - [2026\u002F03\u002F27] Check [Bench2Drive-Speed](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive-Speed), which estimates a new & useful functionality of AD systems - speed customization!\n  - [2025\u002F10\u002F13] Check [Bench2Drive-VL](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive-VL), which enables closed-loop QA of VLM4AD. It also provides a efficient communication interface between VLM environment (python 3.9 or higher) and CARLA (python 3.7 and 3.7).\n  - [2025\u002F02\u002F18] In our latest work [DriveTransformer (ICLR25)](https:\u002F\u002Fopenreview.net\u002Fforum?id=M42KR4W9P5), **a tiny validation set [Dev10](.\u002Fleaderboard\u002Fdata\u002Fdrivetransformer_bench2drive_dev10.xml) is proposed for quick development of models.** The 10 clips are carefully selected from the official 220 routes, to be both difficult and representative with low variance.  It is suggested to be used for ablation study to avoid overfitting the whole bench2drive220 routes.\n  - [2025\u002F02\u002F05] As meticulously described in [CARLA_GARGE](https:\u002F\u002Fgithub.com\u002Fautonomousvision\u002Fcarla_garage\u002Fblob\u002Fleaderboard_2\u002Fdocs\u002Fcommon_mistakes_in_benchmarking_ad.md), L2 error is not a meaningful indictor at all. We agree that **authors' should stop reporting results on nuScenes open-loop planning and reviewers should not ask for nuScenes open-loop planning results**. The number on nuScenes open-loop planning is not persuasive at all and could only lead to unjustified and wrong conclusions, which may impede the development of the field.  As a member of the community, we call for stopping using nuScenes open-loop planning as well.\n  - [2024\u002F10\u002F14] As kindly pointed out in an [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F112), typos were discovered in the ability calculation. We have corrected the typos and updated the multi-ability results. This update will **not affect driving score and success rate**. \n  - [2024\u002F10\u002F14] As kindly pointed out in an [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Fissues\u002F46), a bug was discovered in the B2D_vad_dataset. We leave it here to be consistent with existing results. We do not anticipate any major influence caused by this bug. Users may fix the bug according to their needs.\n  - [2024\u002F09\u002F26] Bench2Drive is accepted at NeurIPS 2024 Datasets and Benchmarks Track.\n  - [2024\u002F08\u002F27] We update the latest results under the new protocols with **two new metrics and fixed bugs**. \n  - [2024\u002F08\u002F19] **[Major Updates]** To better assess driving performance, we add two additional metrics: Driving Efficiency and Driving Smoothness. Consequently, we remove the penalty for minimum speed in calculating the Drive Score and extend the TickRunTime from 2000 to 4000 to allow for a more lenient driving evaluation. We are currently reassessing all baselines.\n  - [2024\u002F08\u002F10] We update the team_code agent of UniAD and VAD to fix the camera projection bug mentioned in 2024\u002F07\u002F29. Their corresponding scores will be uploaded soon with new metrics introduced.\n  - [2024\u002F07\u002F29] As kindly suggested in an [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F36), there is a bug in the team code agent of UniAD and VAD during evaluation, i.e, **the BACK CAMERA's extrinsic is wrong**. The training process is correct. To be consistent with the reported results, we do not modify the code right now. Users' are strongly encouraged to use the correct extrinsics.\n  - [2024\u002F07\u002F22] We add more reminders in the evaluation code to avoid the miss of logs. According to [Haochen](https:\u002F\u002Fgithub.com\u002Fgeorgeliu233)'s kind suggestion, we add automatic cleaning code in the evaluation toolkit. Users' may set in their bash script to restart the evaluation infinitely until finishing the evaluation since CARLA is easy to crash.\n  - [2024\u002F07\u002F10] We further clean and add more clips in the Full set (13638 clips). Since HuggingFace only allows up to 10000 files per repo, we use two repos to store the Full set. As suggested in this issue [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F17), we add a filelist and sha256 of clips for each set.\n  - [2024\u002F06\u002F19] Due to a typo in the upload script for HuggingFace, all clips of scenario VehicleTurningRoutePedestrian are empty in the HuggingFace version. We have fixed that. Please check your data to make sure they are not empty. \n  - [2024\u002F06\u002F05] Bench2Drive realases the Full dataset (10000 clips), evaluation tools, baseline code, and benchmark results.\n  - [2024\u002F04\u002F27] Bench2Drive releases the Mini (10 clips) and Base (1000 clips) split of the official training data.\n\n## Dataset \u003Ca name=\"dataset\">\u003C\u002Fa>\n  - The datasets has 3 subsets, collected by **our strong world model based RL expert [Think2Drive](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.16720)**, namely Mini (10 clips), Base (1000 clips) and Full (10000 clips), to accommodate different levels of computational resource.\n  - [Detailed explanation](docs\u002Fanno.md) of dataset structure, annotation information, and visualization of data.\n\n| Subset  | Hugging Face\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_cfa649417b1d.png\" alt=\"Hugging Face\" width=\"18\"\u002F> | Baidu Cloud\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_7f5e5f59ad32.png\" alt=\"Baidu Yun\" width=\"18\"\u002F> | Approx. Size | File List|\n| :---: |  :---: | :---: | :---: | :---: |\n| Mini |   [Download script](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Ftools\u002Fdownload_mini.sh) |  - |  4G | [Mini Json File](.\u002Fdocs\u002Fbench2drive_mini_10.json) |\n| Base |  [Hugging Face Link](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive) |  [Baidu Cloud Link](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ZIL-MPhLbgdBYmHkHncn8Q?pwd=1234) |  400G |  [Base Json File](.\u002Fdocs\u002Fbench2drive_base_1000.json)|\n| Full |  [Full HF Link - 9888 files](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive-Full)\u002F[Sup HF Link - 3814 file](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive-Full-Sup)   | - | 4T | [Full\u002FSup Json File](.\u002Fdocs\u002Fbench2drive_full+sup_13638.json)|\n\nNote that the Mini Set is 10 representative scenes. You may download them by manually select file names from the Base set.\n\nUse the command line: *huggingface-cli download --repo-type dataset --resume-download rethinklab\u002FBench2Drive --local-dir Bench2Drive-Base* to download from hugginface. User may consider [mirror site](https:\u002F\u002Fhf-mirror.com\u002F) if Huggingface is blocked. Use [BaiduPCS-Go](https:\u002F\u002Fgithub.com\u002Fqjfoidnh\u002FBaiduPCS-Go) to download from Baidu Cloud. Both command lines are resumable.\n\n## Student Model Code (with Think2Drive as Teacher Model)\n  - [Uniad\u002FVAD](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002Funiad\u002Fvad) in Bench2Drive\n  - [TCP\u002FADMLP](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002Ftcp\u002Fadmlp) in Bench2Drive\n## Setup\n  - Download and setup CARLA 0.9.15\n    ```bash\n        mkdir carla\n        cd carla\n        wget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FCARLA_0.9.15.tar.gz\n        tar -xvf CARLA_0.9.15.tar.gz\n        cd Import && wget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FAdditionalMaps_0.9.15.tar.gz\n        cd .. && bash ImportAssets.sh\n        export CARLA_ROOT=YOUR_CARLA_PATH\n        echo \"$CARLA_ROOT\u002FPythonAPI\u002Fcarla\u002Fdist\u002Fcarla-0.9.15-py3.7-linux-x86_64.egg\" >> YOUR_CONDA_PATH\u002Fenvs\u002FYOUR_CONDA_ENV_NAME\u002Flib\u002Fpython3.7\u002Fsite-packages\u002Fcarla.pth # python 3.8 also works well, please set YOUR_CONDA_PATH and YOUR_CONDA_ENV_NAME\n    ```\n\n## Eval Tools\n  - Add your agent to leaderboard\u002Fteam_code\u002Fyour_agent.py & Link your model folder under the Bench2Drive directory.\n    ```bash\n        Bench2Drive\\ \n          assets\\\n          docs\\\n          leaderboard\\\n            team_code\\\n              --> Please add your agent HEAR\n          scenario_runner\\\n          tools\\\n          --> Please link your model folder HEAR\n    ```\n  - Debug Mode\n    ```bash\n        # Verify the correctness of the team agent， need to set GPU_RANK, TEAM_AGENT, TEAM_CONFIG\n        bash leaderboard\u002Fscripts\u002Frun_evaluation_debug.sh\n    ```\n  - Multi-Process Multi-GPU Parallel Eval. If your team_agent saves any image for debugging, it might take lots of disk space.\n    ```bash\n        # Please set TASK_NUM, GPU_RANK_LIST, TASK_LIST, TEAM_AGENT, TEAM_CONFIG, recommend GPU: Task(1:2).\n        # It is normal that certain model can not finsih certain routes, no matter how many times we restart the evaluation. It should be treated as failing as it usually happens in the routes where agents behave badly.\n        bash leaderboard\u002Fscripts\u002Frun_evaluation_multi_uniad.sh\n    ```\n  - Visualization - make a video for debugging with canbus info printed on the sequential images.\n    ```bash\n        python tools\u002Fgenerate_video.py -f your_rgb_folder\u002F\n    ```\n  - Metric: **Make sure there are exactly 220 routes in your json. Failed\u002FCrashed status is also acceptable. Otherwise, the metric is inaccurate.**\n    ```bash\n        # Merge eval json and get driving score and success rate\n        # This script will assume the total number of routes with results is 220. If there is not enough, the missed ones will be treated as 0 score.\n        python tools\u002Fmerge_route_json.py -f your_json_folder\u002F\n\n        # Get multi-ability results\n        python tools\u002Fability_benchmark.py -r merge.json\n\n        # Get driving efficiency and driving smoothness results\n        python tools\u002Fefficiency_smoothness_benchmark.py -f merge.json -m your_metric_folder\u002F\n    ```\n## Deal with CARLA\n\n- CARLA has complex dependencies and is not stable. Please check the issue section of CARLA **very carefully**.\n- Use tools\u002Fclean_carla.sh frequently and multiple times. Some CARLA processes are difficult to kill. Be sure to clean_carla could avoid lots of bugs.\n- In our evaluation tools, the launch of CARLA is automatic: https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fmain\u002Fleaderboard\u002Fleaderboard\u002Fleaderboard_evaluator.py#L203. But you could always start CARLA by the one single command line to debug.\n- CARLA is not controlled CUDA_VISIBLE_DEVICES! It is controlled by -graphicsadapter in the command line. **Interestingly, in some machines, for some unknown reasons, -graphicsadapter=1 is not available.** For example, with 4 GPUS, it might be: GPU0 -graphicsadapter=0, GPU1  -graphicsadapter=2, GPU2 -graphicsadapter=3, GPU3  -graphicsadapter=4.\n- The conflict of PORT is frequently happened. Use lsof-i:YOUR_PORT frequently to avoid conflict. Avoid use small port numbers (\u003C10000 could be unsafe).\n- *4.26.2-0+++UE4+Release-4.26 522 0 Disabling core dumps*. Showing these two lines without termination is good. *WARNING: lavapipe is not a conformant vulkan implementation, testing use only.* could be good while sometimes it has bugs.\n- **If you face issues, always try to start CARLA in one single line to make sure CARLA could run.** If CARLA is finished immediately, it is very possible to be related to Vulkan. *Try \u002Fusr\u002Fbin\u002Fvulkaninfo | head -n 5*\n- Re-install vulkan might be helpful *sudo apt install vulkan-tools; sudo apt install vulkan-utils*  In the end, you need to make sure your vulkan is correct. We have tested *Vulkan Instance Version: 1.x WARNING: lavapipe is not a conformant vulkan implementation, testing use only.* and version 1.1\u002F1.2\u002F1.3 works fine.\n- *sleep* is important to avoid crash of CARLA. For example, https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Fleaderboard\u002Fleaderboard\u002Fleaderboard_evaluator.py#L207, the sleep time should be extended for slower machines. When it comes to multi-gpu evaluation, https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Fleaderboard\u002Fscripts\u002Frun_evaluation_multi_uniad.sh#L58, the sleep time should also be extended for slower machines.\n\n## Benchmark \u003Ca name=\"benchmark\">\u003C\u002Fa>\n\n- V0.0.3(Currently in use)\n  - Fix typos in the ability calculation. ([Issue #112](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F112))\n  ![benchmark](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_41696d58c93a.jpg)\n\n- V0.0.2(Depracated)\n  - Fix the BACK CAMERA's extrinsic bug. ([Issue #36](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F36))\n  - Turn up tickruntime (2000 -> 4000).\n  - Drive Score removes min speed penalty.\n  - Code Version\n    - [Bench2Drive](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fcd1883c937470ea4d144bf6c7d8922e76d792f07)\n    - [Bench2DriveZoo](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002F914b328f26b5534fd13b04d5fc644c8d82196d7b)\n  ![depracated benchmark](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_3b49fb21d9d7.png)\n\n- V0.0.1(Depracated)\n  - Initial Version\n  - Code Version\n    - [Bench2Drive](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fee62902eeb8a9f7ab50fa62009c2de12bf645220)\n    - [Bench2DriveZoo](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002F31432e868c3ca1bef5c7fa39ba4bd4e7a3e7538a)\n  ![depracated benchmark](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_5c28d32ce7e3.jpg)\n\n## License \u003Ca name=\"license\">\u003C\u002Fa>\n\nAll assets and code are under the [CC-BY-NC-ND](.\u002FLICENSE) unless specified otherwise.\n\n## Citation \u003Ca name=\"citation\">\u003C\u002Fa>\n\nPlease consider citing our papers if the project helps your research with the following BibTex:\n\n```bibtex\n@inproceedings{jia2024bench,\n  title={Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving},\n  author={Xiaosong Jia and Zhenjie Yang and Qifeng Li and Zhiyuan Zhang and Junchi Yan},\n  booktitle={NeurIPS 2024 Datasets and Benchmarks Track},\n  year={2024}\n}\n\n@inproceedings{li2024think,\n  title={Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving (in CARLA-v2)},\n  author={Qifeng Li and Xiaosong Jia and Shaobo Wang and Junchi Yan},\n  booktitle={ECCV},\n  year={2024}\n}\n```\n\n","\u003Ch2 align=\"center\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_f5cb9de52975.jpg'>\n\u003C\u002Fh2>\n\n\u003Ch2 align=\"center\">\nNeurIPS 2024 数据集与基准测试赛道\n\u003C\u002Fh2>\n\n\n\u003Ch2 align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fthinklab-sjtu.github.io\u002FBench2Drive\u002F\">官网\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive\">Hugging Face\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.03877\">arXiv\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\">模型\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002FuZuU3JXVNV\">Discord\u003C\u002Fa>\n\u003C\u002Fh2>\n\n![overview](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_669e6656f91b.jpg)\n\n\n\u003Ch2 align=\"center\">\nThink2Drive + Bench2Drive 能够提供什么？\u003Cb>请点击观看视频。\u003C\u002Fb>\n\u003Cbr>\n\u003Cb>↓↓↓\u003C\u002Fb>\n\u003C\u002Fh2>\n\n[![Bench2Drive](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_b63d12fac189.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=-osdzJJs2g0 \"Bench2Drive\")\n\n#####\n## 目录： \u003Ca name=\"high\">\u003C\u002Fa>\n1. [新闻](#News)\n2. [数据集](#Dataset)\n3. [基准测试](#Benchmark)\n4. [许可证](#license)\n5. [引用](#citation)\n\n## 新闻 \u003Ca name=\"news\">\u003C\u002Fa>\n  - [2026年3月27日] 查看 [Bench2Drive-Speed](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive-Speed)，它评估了自动驾驶系统的一项全新且实用的功能——速度自定义！\n  - [2025年10月13日] 查看 [Bench2Drive-VL](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive-VL)，该版本实现了针对 VLM4AD 的闭环问答。同时，它还提供了 VLM 环境（Python 3.9 或更高版本）与 CARLA（Python 3.7 和 3.7）之间的高效通信接口。\n  - [2025年2月18日] 在我们最新的工作 [DriveTransformer (ICLR25)](https:\u002F\u002Fopenreview.net\u002Fforum?id=M42KR4W9P5) 中，**提出了一组小型验证集 [Dev10](.\u002Fleaderboard\u002Fdata\u002Fdrivetransformer_bench2drive_dev10.xml)，用于快速开发模型。** 这10段视频是从官方的220条路线中精心挑选出来的，既具有挑战性又具代表性，且方差较小。建议将其用于消融实验，以避免对整个 bench2drive220 条路线过拟合。\n  - [2025年2月5日] 正如 [CARLA_GARGE](https:\u002F\u002Fgithub.com\u002Fautonomousvision\u002Fcarla_garage\u002Fblob\u002Fleaderboard_2\u002Fdocs\u002Fcommon_mistakes_in_benchmarking_ad.md) 中详细描述的那样，L2 误差根本不是一个有意义的指标。我们同意 **作者应停止报告 nuScenes 开环规划的结果，评审者也不应再要求提交此类结果**。nuScenes 开环规划的数据毫无说服力，只会导致不公正和错误的结论，进而阻碍该领域的发展。作为社区的一员，我们也呼吁停止使用 nuScenes 开环规划作为评估标准。\n  - [2024年10月14日] 如 [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F112) 中善意指出的，能力计算中存在错别字。我们已修正这些错误并更新了多能力结果。此次更新 **不会影响驾驶得分和成功率**。\n  - [2024年10月14日] 同样在 [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Fissues\u002F46) 中提到，B2D_vad_dataset 中发现了一个 bug。我们暂时保留该问题，以保持与现有结果的一致性。预计此 bug 不会造成重大影响。用户可根据自身需求自行修复。\n  - [2024年9月26日] Bench2Drive 被 NeurIPS 2024 数据集与基准测试赛道接收。\n  - [2024年8月27日] 我们根据新协议更新了最新结果，引入了 **两项新指标并修复了若干 bug**。\n  - [2024年8月19日] **[重大更新]** 为更好地评估驾驶性能，我们新增了两项指标：驾驶效率和驾驶平顺性。因此，在计算驾驶得分时取消了最低速度惩罚，并将 TickRunTime 从 2000 延长至 4000，以便更宽松地评估驾驶表现。目前我们正在重新评估所有基线模型。\n  - [2024年8月10日] 我们更新了 UniAD 和 VAD 的 team_code 代理，以修复 2024年7月29日提到的相机投影 bug。它们的相应分数将很快随新指标一同发布。\n  - [2024年7月29日] 如 [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F36) 中善意建议的，UniAD 和 VAD 的 team_code 代理在评估过程中存在一个 bug，即 **后视摄像头的外参设置错误**。训练过程本身是正确的。为保持与已公布结果的一致性，我们暂不修改代码。强烈建议用户使用正确的外参设置。\n  - [2024年7月22日] 我们在评估代码中增加了更多提醒，以避免日志丢失。根据 [Haochen](https:\u002F\u002Fgithub.com\u002Fgeorgeliu233) 的好建议，我们在评估工具包中添加了自动清理代码。用户可以在自己的 bash 脚本中设置无限重启评估，直到完成为止，因为 CARLA 容易崩溃。\n  - [2024年7月10日] 我们进一步清理并增加了完整数据集（13638 条片段）。由于 HuggingFace 每个仓库最多只能存储 10000 个文件，我们使用两个仓库来存放完整数据集。根据此 issue [issue](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F17) 的建议，我们为每个子集添加了片段列表和 SHA256 校验值。\n  - [2024年6月19日] 由于上传到 HuggingFace 的脚本中存在一个错别字，HuggingFace 版本中的 VehicleTurningRoutePedestrian 场景的所有片段都为空。我们已经修复了这个问题。请检查您的数据，确保它们不为空。\n  - [2024年6月5日] Bench2Drive 发布了完整数据集（10000 条片段）、评估工具、基线代码以及基准测试结果。\n  - [2024年4月27日] Bench2Drive 发布了官方训练数据的 Mini（10 条片段）和 Base（1000 条片段）划分。\n\n## 数据集 \u003Ca name=\"dataset\">\u003C\u002Fa>\n  - 该数据集包含3个子集，由我们强大的基于强化学习的世界模型专家团队[Think2Drive](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.16720)收集，分别为Mini（10段视频）、Base（1000段视频）和Full（10000段视频），以适应不同计算资源的需求。\n  - 数据集结构、标注信息及数据可视化 [详细说明](docs\u002Fanno.md)。\n\n| 子集  | Hugging Face\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_cfa649417b1d.png\" alt=\"Hugging Face\" width=\"18\"\u002F> | 百度云\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_7f5e5f59ad32.png\" alt=\"Baidu Yun\" width=\"18\"\u002F> | 大约大小 | 文件列表|\n| :---: |  :---: | :---: | :---: | :---: |\n| Mini |   [下载脚本](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Ftools\u002Fdownload_mini.sh) |  - |  4G | [Mini Json文件](.\u002Fdocs\u002Fbench2drive_mini_10.json) |\n| Base |  [Hugging Face链接](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive) |  [百度云链接](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ZIL-MPhLbgdBYmHkHncn8Q?pwd=1234) |  400G |  [Base Json文件](.\u002Fdocs\u002Fbench2drive_base_1000.json)|\n| Full |  [Full HF链接 - 9888个文件](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive-Full)\u002F[Sup HF链接 - 3814个文件](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Frethinklab\u002FBench2Drive-Full-Sup)   | - | 4T | [Full\u002FSup Json文件](.\u002Fdocs\u002Fbench2drive_full+sup_13638.json)|\n\n请注意，Mini数据集包含10个具有代表性的场景。您可以从Base数据集中手动选择文件名来下载这些场景。\n\n使用命令行：*huggingface-cli download --repo-type dataset --resume-download rethinklab\u002FBench2Drive --local-dir Bench2Drive-Base* 从HuggingFace下载数据集。如果HuggingFace被屏蔽，用户可以考虑使用 [镜像站点](https:\u002F\u002Fhf-mirror.com\u002F)。使用 [BaiduPCS-Go](https:\u002F\u002Fgithub.com\u002Fqjfoidnh\u002FBaiduPCS-Go) 从百度云下载数据集。这两个命令行都支持断点续传。\n\n## 学生模型代码（以Think2Drive为教师模型）\n  - Bench2Drive中的[Uniad\u002FVAD](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002Funiad\u002Fvad)\n  - Bench2Drive中的[TCP\u002FADMLP](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002Ftcp\u002Fadmlp)\n## 设置\n  - 下载并设置CARLA 0.9.15\n    ```bash\n        mkdir carla\n        cd carla\n        wget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FCARLA_0.9.15.tar.gz\n        tar -xvf CARLA_0.9.15.tar.gz\n        cd Import && wget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FAdditionalMaps_0.9.15.tar.gz\n        cd .. && bash ImportAssets.sh\n        export CARLA_ROOT=YOUR_CARLA_PATH\n        echo \"$CARLA_ROOT\u002FPythonAPI\u002Fcarla\u002Fdist\u002Fcarla-0.9.15-py3.7-linux-x86_64.egg\" >> YOUR_CONDA_PATH\u002Fenvs\u002FYOUR_CONDA_ENV_NAME\u002Flib\u002Fpython3.7\u002Fsite-packages\u002Fcarla.pth # python 3.8也适用，请设置YOUR_CONDA_PATH和YOUR_CONDA_ENV_NAME\n    ```\n## 评估工具\n  - 将您的智能体添加到排行榜\u002Fteam_code\u002Fyour_agent.py，并将您的模型文件夹链接到Bench2Drive目录下。\n    ```bash\n        Bench2Drive\\ \n          assets\\\n          docs\\\n          leaderboard\\\n            team_code\\\n              --> 请在此处添加您的智能体\n          scenario_runner\\\n          tools\\\n          --> 请在此处链接您的模型文件夹\n    ```\n  - 调试模式\n    ```bash\n        # 验证团队智能体的正确性，需设置GPU_RANK、TEAM_AGENT、TEAM_CONFIG\n        bash leaderboard\u002Fscripts\u002Frun_evaluation_debug.sh\n    ```\n  - 多进程多GPU并行评估。如果您的team_agent保存了任何用于调试的图像，可能会占用大量磁盘空间。\n    ```bash\n        # 请设置TASK_NUM、GPU_RANK_LIST、TASK_LIST、TEAM_AGENT、TEAM_CONFIG，建议GPU数量与任务数比例为1:2。\n        # 某些模型无法完成某些路线是正常现象，无论我们重启多少次评估。这种情况应被视为失败，通常发生在智能体表现不佳的路线上。\n        bash leaderboard\u002Fscripts\u002Frun_evaluation_multi_uniad.sh\n    ```\n  - 可视化——制作带有CAN总线信息打印在序列图像上的调试视频。\n    ```bash\n        python tools\u002Fgenerate_video.py -f your_rgb_folder\u002F\n    ```\n  - 评价指标：**请确保您的json文件中恰好包含220条路线。失败或崩溃状态同样可接受。否则，评价指标将不准确。**\n    ```bash\n        # 合并评估结果json文件，获取驾驶得分和成功率\n        # 该脚本将假定共有220条有结果的路线。若不足，则缺失的路线将被视为0分。\n        python tools\u002Fmerge_route_json.py -f your_json_folder\u002F\n\n        # 获取多能力评估结果\n        python tools\u002Fability_benchmark.py -r merge.json\n\n        # 获取驾驶效率和驾驶平顺性评估结果\n        python tools\u002Fefficiency_smoothness_benchmark.py -f merge.json -m your_metric_folder\u002F\n    ```\n\n## 处理 CARLA\n\n- CARLA 的依赖关系复杂且不够稳定。请**非常仔细地**查看 CARLA 的问题列表。\n- 经常并多次使用 tools\u002Fclean_carla.sh 脚本。某些 CARLA 进程难以终止，务必确保运行 clean_carla.sh 以避免大量错误。\n- 在我们的评估工具中，CARLA 的启动是自动化的：https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fmain\u002Fleaderboard\u002Fleaderboard\u002Fleaderboard_evaluator.py#L203。不过，您也可以始终通过单条命令行启动 CARLA 来进行调试。\n- CARLA 并不受 CUDA_VISIBLE_DEVICES 环境变量控制！它是由命令行中的 -graphicsadapter 参数来控制的。**有趣的是，在某些机器上，由于未知原因，-graphicsadapter=1 可能不可用。** 例如，如果有 4 块 GPU，可能是：GPU0 使用 -graphicsadapter=0，GPU1 使用 -graphicsadapter=2，GPU2 使用 -graphicsadapter=3，GPU3 使用 -graphicsadapter=4。\n- 端口冲突经常发生。请经常使用 lsof-i:YOUR_PORT 命令来避免端口冲突。尽量避免使用较小的端口号（小于 10000 的端口可能不安全）。\n- *4.26.2-0+++UE4+Release-4.26 522 0 禁用核心转储文件*。如果这两行信息出现且程序没有终止，通常是没有问题的。*警告：lavapipe 并非符合规范的 Vulkan 实现，仅供测试使用。* 这样的提示有时会出现，但偶尔也会有 bug。\n- **如果您遇到问题，请始终尝试通过一条命令行启动 CARLA，以确保 CARLA 能够正常运行。** 如果 CARLA 启动后立即退出，很可能是与 Vulkan 相关的问题。*可以尝试运行 \u002Fusr\u002Fbin\u002Fvulkaninfo | head -n 5*\n- 重新安装 Vulkan 可能会有帮助：*sudo apt install vulkan-tools; sudo apt install vulkan-utils*。最终，您需要确保您的 Vulkan 配置正确。我们已经测试过 *Vulkan 实例版本：1.x 警告：lavapipe 并非符合规范的 Vulkan 实现，仅供测试使用。* 以及版本 1.1\u002F1.2\u002F1.3 都能正常工作。\n- 使用 `sleep` 命令对于避免 CARLA 崩溃非常重要。例如，在 https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Fleaderboard\u002Fleaderboard\u002Fleaderboard_evaluator.py#L207 中，对于较慢的机器，应适当延长睡眠时间。在进行多 GPU 评估时，如 https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fblob\u002Fmain\u002Fleaderboard\u002Fscripts\u002Frun_evaluation_multi_uniad.sh#L58 所示，同样也需要为较慢的机器增加睡眠时间。\n\n## 基准测试 \u003Ca name=\"benchmark\">\u003C\u002Fa>\n\n- V0.0.3（当前使用）\n  - 修复了能力计算中的拼写错误。（[Issue #112](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F112)）\n  ![基准测试](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_41696d58c93a.jpg)\n\n- V0.0.2（已弃用）\n  - 修复了后视摄像头的外参错误。（[Issue #36](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F36)）\n  - 提高了 tickruntime 时间（2000 -> 4000）。\n  - Drive Score 移除了最低速度惩罚。\n  - 代码版本：\n    - [Bench2Drive](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fcd1883c937470ea4d144bf6c7d8922e76d792f07)\n    - [Bench2DriveZoo](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002F914b328f26b5534fd13b04d5fc644c8d82196d7b)\n  ![已弃用的基准测试](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_3b49fb21d9d7.png)\n\n- V0.0.1（已弃用）\n  - 初始版本\n  - 代码版本：\n    - [Bench2Drive](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Ftree\u002Fee62902eeb8a9f7ab50fa62009c2de12bf645220)\n    - [Bench2DriveZoo](https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002F31432e868c3ca1bef5c7fa39ba4bd4e7a3e7538a)\n  ![已弃用的基准测试](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_readme_5c28d32ce7e3.jpg)\n\n## 许可证 \u003Ca name=\"license\">\u003C\u002Fa>\n\n除非另有说明，所有资产和代码均采用 [CC-BY-NC-ND](.\u002FLICENSE) 许可协议。\n\n## 引用 \u003Ca name=\"citation\">\u003C\u002Fa>\n\n如果本项目对您的研究有所帮助，请考虑引用我们的论文，引用格式如下：\n\n```bibtex\n@inproceedings{jia2024bench,\n  title={Bench2Drive：迈向闭环端到端自动驾驶的多能力基准测试},\n  author={Xiaosong Jia 和 Zhenjie Yang 和 Qifeng Li 和 Zhiyuan Zhang 和 Junchi Yan},\n  booktitle={NeurIPS 2024 数据集与基准测试赛道},\n  year={2024}\n}\n\n@inproceedings{li2024think,\n  title={Think2Drive：基于潜在世界模型的高效强化学习，用于准真实场景下的自动驾驶（在 CARLA-v2 中）},\n  author={Qifeng Li 和 Xiaosong Jia 和 Shaobo Wang 和 Junchi Yan},\n  booktitle={ECCV},\n  year={2024}\n}\n```","# Bench2Drive 快速上手指南\n\nBench2Drive 是 NeurIPS 2024 收录的自动驾驶数据集与评测基准，基于 CARLA 仿真环境，旨在评估端到端自动驾驶模型的性能。本指南帮助中国开发者快速搭建环境并运行评测。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 18.04\u002F20.04)\n- **Python 版本**: 3.7 或 3.8 (CARLA 0.9.15 强依赖)\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡 (建议显存 >= 8GB)\n- **磁盘空间**: \n  - Mini 集：约 4GB\n  - Base 集：约 400GB\n  - Full 集：约 4TB\n\n### 前置依赖\n- **Conda\u002FMamba**: 用于管理 Python 环境\n- **Vulkan 驱动**: CARLA 渲染必需\n  ```bash\n  sudo apt install vulkan-tools vulkan-utils\n  ```\n- **Git LFS**: 用于大文件下载 (若从 HuggingFace 下载)\n\n## 安装步骤\n\n### 1. 创建 Conda 环境\n```bash\nconda create -n bench2drive python=3.7\nconda activate bench2drive\n```\n\n### 2. 下载并配置 CARLA 0.9.15\n建议使用国内镜像加速下载（如无法访问官方源，可手动下载后上传至服务器）：\n```bash\nmkdir carla && cd carla\n# 官方下载链接，若速度慢请自行寻找国内镜像源替换 URL\nwget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FCARLA_0.9.15.tar.gz\ntar -xvf CARLA_0.9.15.tar.gz\ncd Import && wget https:\u002F\u002Fcarla-releases.s3.us-east-005.backblazeb2.com\u002FLinux\u002FAdditionalMaps_0.9.15.tar.gz\ncd .. && bash ImportAssets.sh\n\n# 设置环境变量 (请替换 YOUR_CARLA_PATH 为实际路径)\nexport CARLA_ROOT=$(pwd)\necho \"$CARLA_ROOT\u002FPythonAPI\u002Fcarla\u002Fdist\u002Fcarla-0.9.15-py3.7-linux-x86_64.egg\" >> $CONDA_PREFIX\u002Flib\u002Fpython3.7\u002Fsite-packages\u002Fcarla.pth\n```\n\n### 3. 克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive.git\ncd Bench2Drive\n```\n\n### 4. 下载数据集\n**推荐方案**：使用 HuggingFace 国内镜像加速下载。\n```bash\n# 安装 huggingface-cli (若未安装)\npip install huggingface_hub\n\n# 使用镜像源下载 Base 数据集 (约 400G)\n# 若网络不通，请设置 HF_ENDPOINT 环境变量\nexport HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\nhuggingface-cli download --repo-type dataset --resume-download rethinklab\u002FBench2Drive --local-dir Bench2Drive-Base\n```\n*注：Mini 集仅 10 个场景，适合快速调试；Full 集分两个仓库存储，需分别下载。*\n\n## 基本使用\n\n### 1. 集成你的算法 Agent\n将你的自动驾驶算法代码放入 `leaderboard\u002Fteam_code\u002F` 目录，例如创建 `my_agent.py`。\n同时，将训练好的模型权重文件夹链接到项目根目录下。\n\n目录结构示例：\n```text\nBench2Drive\u002F\n├── leaderboard\u002F\n│   └── team_code\u002F\n│       └── my_agent.py  \u003C-- 在此处添加你的 Agent\n├── models\u002F              \u003C-- 链接你的模型文件夹至此\n└── ...\n```\n\n### 2. 调试模式运行 (单进程)\n在正式评测前，先验证 Agent 是否能正常加载并跑通单个场景。\n```bash\n# 需设置 GPU 编号、Agent 类名及配置文件路径\nexport GPU_RANK=0\nexport TEAM_AGENT=team_code.my_agent.MyAgent\nexport TEAM_CONFIG=models\u002Fmy_model_config.yaml\n\nbash leaderboard\u002Fscripts\u002Frun_evaluation_debug.sh\n```\n\n### 3. 并行评测 (多进程\u002F多卡)\n完成调试后，使用多卡并行跑完全部 220 条路线。\n```bash\n# 配置任务数、GPU 列表、任务分配等参数\n# 建议 GPU:Task 比例为 1:2\nexport TASK_NUM=10\nexport GPU_RANK_LIST=\"0,1,2,3\"\nexport TASK_LIST=\"...\" \nexport TEAM_AGENT=team_code.my_agent.MyAgent\nexport TEAM_CONFIG=models\u002Fmy_model_config.yaml\n\nbash leaderboard\u002Fscripts\u002Frun_evaluation_multi_uniad.sh\n```\n*注意：评测过程中 CARLA 可能崩溃，脚本已包含自动清理逻辑，但建议监控日志确保完成。*\n\n### 4. 结果统计与指标计算\n评测完成后，合并 JSON 结果并计算驾驶分数（Driving Score）、成功率及多维能力指标。\n```bash\n# 合并所有路线的 JSON 结果 (确保最终包含 220 条路线记录)\npython tools\u002Fmerge_route_json.py -f your_json_folder\u002F\n\n# 计算多维度能力评分\npython tools\u002Fability_benchmark.py -r merge.json\n\n# 计算驾驶效率与平滑度指标\npython tools\u002Fefficiency_smoothness_benchmark.py -f merge.json -m your_metric_folder\u002F\n```\n\n### 5. 可视化调试 (可选)\n生成带有车辆状态信息的视频以便分析失败案例。\n```bash\npython tools\u002Fgenerate_video.py -f your_rgb_folder\u002F\n```","某自动驾驶初创团队正在研发端到端驾驶模型，急需在真实复杂的动态交通流中验证算法的闭环决策能力与安全性。\n\n### 没有 Bench2Drive 时\n- **评估指标失真**：团队依赖 nuScenes 等数据集的开环规划指标（如 L2 误差），导致模型在静态数据上表现优异，但实车部署时因无法处理动态交互而频繁接管。\n- **测试场景单一**：自建仿真测试用例覆盖度低，难以复现极端长尾场景（如突发加塞、复杂路口博弈），无法全面暴露模型缺陷。\n- **开发迭代低效**：缺乏统一的标准评测协议和基线对比，每次调整架构后需耗费数周重新搭建测试环境，且结果难以与学术界前沿工作横向对齐。\n- **过度拟合风险**：在没有小型高方差验证集的情况下，直接在大规模路线上调试，极易导致模型过拟合特定路线特征，泛化能力差。\n\n### 使用 Bench2Drive 后\n- **闭环真实反馈**：利用基于世界模型强化学习专家构建的闭环基准，直接评估模型在动态交互中的驾驶分数与成功率，提前发现并修复决策逻辑漏洞。\n- **场景覆盖全面**：通过官方提供的 220 条精心设计的复杂路线及新增的“驾驶效率”与“平滑度”指标，全方位压力测试模型在各类博弈场景下的表现。\n- **研发加速标准化**：借助 Dev10 小型验证集快速进行消融实验，避免全量测试的资源浪费，同时利用统一的 Leaderboard 实时对标 UniAD、VAD 等主流基线。\n- **结论科学可靠**：摒弃了无意义的开环指标，专注于闭环驾驶表现，确保每一次模型迭代都指向实际路测能力的提升，而非刷榜数字游戏。\n\nBench2Drive 通过提供高保真的闭环评测体系，帮助团队将研发重心从“刷数据指标”真正回归到“解决复杂驾驶难题”，大幅缩短了从算法训练到安全落地的路径。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FThinklab-SJTU_Bench2Drive_669e6656.jpg","Thinklab-SJTU","Thinklab@SJTU","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FThinklab-SJTU_c6a6209f.png","Thinklab at Shanghai Jiao Tong University, led by Prof. Junchi Yan.",null,"http:\u002F\u002Fthinklab.sjtu.edu.cn","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU",[84,88,92,96,100,104,107,110,113],{"name":85,"color":86,"percentage":87},"Python","#3572A5",96.8,{"name":89,"color":90,"percentage":91},"XSLT","#EB8CEB",2.2,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.5,{"name":97,"color":98,"percentage":99},"HTML","#e34c26",0.4,{"name":101,"color":102,"percentage":103},"Dockerfile","#384d54",0,{"name":105,"color":106,"percentage":103},"CSS","#663399",{"name":108,"color":109,"percentage":103},"JavaScript","#f1e05a",{"name":111,"color":112,"percentage":103},"Ruby","#701516",{"name":114,"color":115,"percentage":103},"SCSS","#c6538c",1845,127,"2026-04-14T09:05:38","NOASSERTION",4,"Linux","必需 NVIDIA GPU（用于并行评估），具体型号未说明；需通过 CARLA 的 `-graphicsadapter` 参数指定显卡索引而非 CUDA_VISIBLE_DEVICES；显存大小未说明","未说明（但数据集最大达 4TB，建议大容量内存）",{"notes":125,"python":126,"dependencies":127},"1. 必须安装并正确配置 CARLA 0.9.15 仿真器及其额外地图资源。\n2. 图形渲染依赖 Vulkan，需确保系统 Vulkan 驱动正常（推荐使用 vulkaninfo 验证）。\n3. CARLA 不稳定且易崩溃，评估脚本包含自动清理和重启机制，建议频繁运行清理脚本 (tools\u002Fclean_carla.sh)。\n4. 多 GPU 并行评估时，需注意端口冲突（避免使用小于 10000 的端口）及显卡适配器索引映射问题。\n5. 完整数据集高达 4TB，需准备充足存储空间；HuggingFace 下载可能需要镜像站。","3.7 或 3.8（CARLA 0.9.15 官方支持 3.7，README 指出 3.8 也可用；部分组件如 Bench2Drive-VL 需 3.9+）",[128,129,130],"carla==0.9.15","vulkan-tools","vulkan-utils",[18],"2026-03-27T02:49:30.150509","2026-04-16T08:12:00.343614",[135,140,145,150,155,159,163,168],{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},35183,"运行评估脚本时遇到 CarlaUE4 段错误（Segmentation fault）或内存分配错误怎么办？","这通常与系统环境或 Vulkan 驱动有关。建议尝试以下解决方案：\n1. 使用官方 Docker 镜像：`docker pull carlasim\u002Fcarla:0.9.15` 并在本地自定义。\n2. 确保操作系统为 Ubuntu 22.04 并安装最新的 vulkan-tools。\n3. 如果是 A800 显卡用户，请特别注意上述系统和驱动要求。","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F114",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},35184,"评估过程中出现 'RuntimeError: time-out of 600000ms while waiting for the simulator' 超时错误如何解决？","该错误表示模拟器未就绪或连接失败。请确保：\n1. 模拟器已正确启动并连接到 localhost:30450（或配置的端口）。\n2. 检查 `splite_xml` 文件是否被意外修改，保持其不变。\n3. 如果问题持续，尝试重启模拟器或使用官方推荐的 Docker 环境。","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F72",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},35185,"在 Docker 容器中以 root 用户运行 CarlaUE4 时被拒绝怎么办？","CarlaUE4 出于安全考虑不支持以 root 权限运行。解决方法包括：\n1. 尝试使用非 root 用户运行容器。\n2. 使用官方镜像 `docker pull carlasim\u002Fcarla:0.9.15`。\n3. 尝试不同的启动命令组合，例如：\n   - `.\u002FCarlaUE4.sh -RenderOffScreen -nosound`\n   - `SDL_VIDEODRIVER=offscreen SDL_HINT_CUDA_DEVICE=0 .\u002FCarlaUE4.sh -nosound`\n   注意：Carla 正常启动后应在 'Disabling core dumps' 处阻塞等待，而不是直接退出。","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F37",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},35186,"安装 Bench2Drive 时是否需要单独克隆和安装 MMCV、MMDetection 等仓库？","不需要。只需按照安装文档的第 6 步执行 `pip install -v -e .` 即可，系统会自动处理依赖。无需手动克隆或安装 MMCV、MMDetection、MMDetection3D 等其他仓库。","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F52",{"id":156,"question_zh":157,"answer_zh":158,"source_url":139},35187,"如何获取用于评估的 JSON 配置文件？","评估所需的 JSON 文件已开源，可以直接从以下地址获取：https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2DriveZoo\u002Ftree\u002Funiad\u002Fvad\u002Fanalysis",{"id":160,"question_zh":161,"answer_zh":162,"source_url":149},35188,"为什么 Carla 启动后立即退出而不是停留在 'Disabling core dumps'？","这表明 Carla 未正常启动。可能原因及解决方法：\n1. X11 认证问题：尝试使用 `-RenderOffScreen -nosound` 参数无头运行。\n2. 显卡驱动问题：设置环境变量 `SDL_VIDEODRIVER=offscreen SDL_HINT_CUDA_DEVICE=0`。\n3. 尝试三种启动方式逐一测试：\n   - `.\u002FCarlaUE4.sh`\n   - `.\u002FCarlaUE4.sh -RenderOffScreen -nosound`\n   - `SDL_VIDEODRIVER=offscreen SDL_HINT_CUDA_DEVICE=0 .\u002FCarlaUE4.sh -nosound`",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},35189,"在多卡（如 8 张 A800）服务器上运行 multi_uniad 任务失败，但在主机上正常，可能的原因是什么？","服务器环境可能存在差异。请确认：\n1. 服务器操作系统是否为 Ubuntu 22.04。\n2. 是否安装了最新的 vulkan-tools。\n3. 服务器图形驱动和 Docker 配置是否与主机一致。\n4. 建议使用官方 Docker 镜像 `carlasim\u002Fcarla:0.9.15` 以保证环境一致性。","https:\u002F\u002Fgithub.com\u002FThinklab-SJTU\u002FBench2Drive\u002Fissues\u002F32",{"id":169,"question_zh":170,"answer_zh":171,"source_url":139},35190,"运行评估时遇到 torch.tensor() 相关的警告信息如何处理？","这些是性能警告，不影响功能但建议优化：\n1. 将 numpy 数组列表转换为单个 numpy 数组后再转为 tensor：`numpy.array(list_of_arrays)`。\n2. 复制 tensor 时使用 `.clone().detach()` 而非 `torch.tensor(sourceTensor)`。\n   例如：`sourceTensor.clone().detach().requires_grad_(True)`",[]]