[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-wayveai--Driving-with-LLMs":3,"tool-wayveai--Driving-with-LLMs":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[46,26,43,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":71,"readme_en":72,"readme_zh":73,"quickstart_zh":74,"use_case_zh":75,"hero_image_url":76,"owner_login":77,"owner_name":78,"owner_avatar_url":79,"owner_bio":80,"owner_company":81,"owner_location":81,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":23,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":103,"github_topics":81,"view_count":10,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":134},8290,"wayveai\u002FDriving-with-LLMs","Driving-with-LLMs","PyTorch implementation for the paper \"Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving\"","Driving-with-LLMs 是一个基于 PyTorch 开发的开源项目，旨在利用大型语言模型（LLM）实现可解释的自动驾驶决策。它源自 ICRA 2024 获奖论文，核心思路是将自动驾驶模拟器中的物体级矢量数据（如车辆位置、速度等）与大语言模型相结合，让 AI 不仅能输出转向、加减速等驾驶动作，还能用自然语言清晰解释“为什么这么做”。\n\n传统自动驾驶系统常被视为“黑盒”，难以理解其决策逻辑。Driving-with-LLMs 通过引入语言模型，显著提升了系统的透明度和可解释性，同时支持驾驶问答（DrivingQA），让用户能直接询问路况或决策依据。这一特性对于安全验证、事故分析以及人机协作至关重要。\n\n该工具主要面向自动驾驶领域的研究人员和开发者，特别是那些关注多模态融合、可解释性 AI 或端到端驾驶策略的团队。使用者需要具备一定的深度学习基础，并拥有至少 20GB 显存的 GPU 用于推理评估，若需重新训练则建议配置 40GB 以上显存。\n\n其技术亮点在于巧妙融合了结构化矢量感知信息与预训练语言模型的语义理解能力，在无需复杂视觉编码的情况下，实现了鲁棒且直观的驾驶行为预测与理","Driving-with-LLMs 是一个基于 PyTorch 开发的开源项目，旨在利用大型语言模型（LLM）实现可解释的自动驾驶决策。它源自 ICRA 2024 获奖论文，核心思路是将自动驾驶模拟器中的物体级矢量数据（如车辆位置、速度等）与大语言模型相结合，让 AI 不仅能输出转向、加减速等驾驶动作，还能用自然语言清晰解释“为什么这么做”。\n\n传统自动驾驶系统常被视为“黑盒”，难以理解其决策逻辑。Driving-with-LLMs 通过引入语言模型，显著提升了系统的透明度和可解释性，同时支持驾驶问答（DrivingQA），让用户能直接询问路况或决策依据。这一特性对于安全验证、事故分析以及人机协作至关重要。\n\n该工具主要面向自动驾驶领域的研究人员和开发者，特别是那些关注多模态融合、可解释性 AI 或端到端驾驶策略的团队。使用者需要具备一定的深度学习基础，并拥有至少 20GB 显存的 GPU 用于推理评估，若需重新训练则建议配置 40GB 以上显存。\n\n其技术亮点在于巧妙融合了结构化矢量感知信息与预训练语言模型的语义理解能力，在无需复杂视觉编码的情况下，实现了鲁棒且直观的驾驶行为预测与理由生成。项目已开放部分数据集和完整代码，便于社区复现结果并开展后续研究。","![banner](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_13a100642612.png)\n\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F82a1993e-5948-4f5a-ad9b-849a21fe9a14\n\n\nThis is the PyTorch implementation for inference and training of the LLM-Driver \ndescribed in:\n\n> **Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving**\n>\n>[Long Chen](https:\u002F\u002Flong.ooo\u002F), [Oleg Sinavski](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Foleg-sinavski), [Jan Hünermann](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fjanhuenermann), [Alice Karnsund](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Falice-karnsund), [Andrew James Willmott](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fandrew-willmott-2ba18510), [Danny Birch](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fdannybirch), [Daniel Maund](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fdanmaund), [Jamie Shotton](https:\u002F\u002Fjamie.shotton.org\u002F)\n>\n> *ICRA 2024* \u003C\u002Fbr>\n>[[preprint]](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Fblob\u002Fmain\u002Fassets\u002Fpreprint.pdf) [[arxiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.01957)\n\n\u003Cp align=\"center\">\n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_18a25156ac67.png\" alt=\"LLM-Driver\" width=\"500px\">\n     \u003Cbr\u002F> The LLM-Driver utilises object-level vector input from our driving simulator to predict explanable actions using pretrained Language Models, providing a robust and interpretable solution for autonomous driving. \n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_621a812bc17b.gif\" alt=\"LLM-Driver\">\n    \u003Cbr\u002F> The LLM-Driver running in open-loop prediction using the vector inputs (top-left BEV view), with the results of action prediction (steering angles and acceleration\u002Fbrake pedals), action justification (captions on the rendered video), Driving Question Answering (table at the bottom).\n\u003C\u002Fp>\n\n## News\n\n- **`[2024\u002F01\u002F29]`** Thrilled to share that our paper has been accepted by [ICRA 2024](https:\u002F\u002F2024.ieee-icra.org\u002F)!\n- **`[2023\u002F12\u002F21]`** Please checkout our follow-up work `LingoQA`: [[code]](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FLingoQA) [[arxiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.14115)\n- **`[2023\u002F10\u002F03]`** The paper is now avaliable on [[arxiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.01957)\n- **`[2023\u002F07\u002F06]`** The paper and code have been made available under the [paper_code](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Ftree\u002Fpaper_code) branch for anonymous submission.\n\n\n## Getting Started\n### Prerequisites\n- Python 3.x\n- pip\n- Minimum of 20GB VRAM for running evaluations\n- Minimum of 40GB VRAM for training (default setting)\n\n### ⚙ Setup\n1. **Set up a virtual environment (tested with Python 3.8-3.11)**  \n\n    ```sh\n    python3 -m venv env\n    source env\u002Fbin\u002Factivate\n    ```\n\n2. **Install required dependencies**  \n\n    ```sh\n    pip install -r requirements.txt.lock\n    ```\n   \nNote: `requirements.txt.lock` is generated with `pip-compile` from original `requirements.txt` for reproducibility. \n\n3. **Set up WandB API key**  \n\n    Set up your [WandB](https:\u002F\u002Fwandb.ai\u002F) API key for training and evaluation logging.\n\n    ```sh\n    export WANDB_API_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\n    ```\n    \n### 💿 Dataset\n- **Training\u002Ftesting data**:\nThe datasets have already been checked into the codebase. To unarchive them, use the following commands:\n    ```\n    tar -xzvf data\u002Fvqa_train_10k.tar.gz -C data\u002F\n    tar -xzvf data\u002Fvqa_test_1k.tar.gz -C data\u002F\n    ```\n\n- **Re-collect DrivingQA data**:\nWhile the training and evaluation datasets already include pre-collected DrivingQA data, we also offer a script that illustrates how to collect DrivingQA data using the OpenAI ChatGPT API. If you wish to re-collect the DrivingQA data, simplely run the following command with your OpenAI API key:\n    ```sh\n    python scripts\u002Fcollect_vqa.py -i data\u002Fvqa_test_1k.pkl -o output_folder\u002F --openai_api xxxxxxxx\n    ```\n### 🏄 Evaluation\n\n1. **Evaluate for Perception and Action Prediction**\n\n    Run the following command:\n\n    ```sh\n    python train.py \\\n        --mode eval \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --eval_items caption,action \\\n        --vqa\n    ```\n\n2. **Evaluate for DrivingQA**\n\n    Run the following command:\n\n    ```sh\n    python train.py \\\n        --mode eval \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --eval_items vqa \\\n        --vqa\n    ```\n\n3. **View Results**  \n\n    The results can be viewed on the WandB project \"llm-driver\".\n\n4. **Grade DrivingQA Results with GPT API**  \n\n    To grade the results with GPT API, run the following command:\n    ```sh\n    python scripts\u002Fgrade_vqa.py \\\n        -i data\u002Fvqa_test_1k.pkl \\\n        -o results\u002F10k_ft.pkl \\\n        -r results\u002F10k_ft.json \\\n        --openai_api xxxxxxxx\n    ```\n    Replace the `results\u002F10k_ft.json` with the `val_results.table.json` downloaded from WandB to grade your results.\n### 🏊 Training\n\n1. **Run LLM-Driver Training**\n\n    Execute the following command to start training:\n\n    ```sh\n    python train.py \\\n        --mode train \\\n        --eval_steps 50 \\\n        --val_set_size 32 \\\n        --num_epochs 5 \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage1_pretrained_model\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --vqa\n    ```\n2. **Follow the previous section for evaluating LLM-Driver**\n\n3. **[optional] Train and evaluate Perceiver-BC**\n\n    Execute the following command to start training and evaluation:\n\n    ```sh\n    python train_bc.py \\\n        --num_epochs 25 \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl\n    ```\n\n### 📝 Citation\n\nIf you find our work useful in your research, please consider citing:\n\n```bibtex\n@inproceedings{chen2024drivingwithllms,\n  title={Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving},\n  author={Long Chen and Oleg Sinavski and Jan Hünermann and Alice Karnsund and Andrew James Willmott and Danny Birch and Daniel Maund and Jamie Shotton},\n  booktitle={2024 IEEE International Conference on Robotics and Automation (ICRA)},\n  year={2024}\n}\n```\n\n```bibtex\n@article{marcu2023lingoqa,\n  title={LingoQA: Video Question Answering for Autonomous Driving}, \n  author={Ana-Maria Marcu and Long Chen and Jan Hünermann and Alice Karnsund and Benoit Hanotte and Prajwal Chidananda and Saurabh Nair and Vijay Badrinarayanan and Alex Kendall and Jamie Shotton and Oleg Sinavski},\n  journal={arXiv preprint arXiv:2312.14115},\n  year={2023},\n}\n```\n\n### 🙌 Acknowledgements\n\nThis project has drawn inspiration from the [Alpaca LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora) repository. We would like to express our appreciation for their contributions to the open-source community.\n","![banner](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_13a100642612.png)\n\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F82a1993e-5948-4f5a-ad9b-849a21fe9a14\n\n\n这是LLM-Driver的PyTorch实现，用于推理和训练，相关论文如下：\n\n> **用大语言模型驾驶：融合对象级向量模态以实现可解释的自动驾驶**\n>\n>[Long Chen](https:\u002F\u002Flong.ooo\u002F)、[Oleg Sinavski](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Foleg-sinavski)、[Jan Hünermann](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fjanhuenermann)、[Alice Karnsund](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Falice-karnsund)、[Andrew James Willmott](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fandrew-willmott-2ba18510)、[Danny Birch](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fdannybirch)、[Daniel Maund](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fdanmaund)、[Jamie Shotton](https:\u002F\u002Fjamie.shotton.org\u002F)\n>\n> *ICRA 2024* \u003C\u002Fbr>\n>[[预印本]](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Fblob\u002Fmain\u002Fassets\u002Fpreprint.pdf) [[arXiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.01957)\n\n\u003Cp align=\"center\">\n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_18a25156ac67.png\" alt=\"LLM-Driver\" width=\"500px\">\n     \u003Cbr\u002F> LLM-Driver利用我们驾驶模拟器提供的对象级向量输入，通过预训练的语言模型预测可解释的动作，为自动驾驶提供了一种鲁棒且可解释的解决方案。 \n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_readme_621a812bc17b.gif\" alt=\"LLM-Driver\">\n    \u003Cbr\u002F> LLM-Driver在开环预测模式下运行，使用向量输入（左上角俯视图），显示动作预测结果（转向角度和油门\u002F刹车踏板）、动作理由说明（渲染视频上的字幕）以及驾驶问答（底部表格）。\n\u003C\u002Fp>\n\n## 最新消息\n\n- **`[2024\u002F01\u002F29]`** 我们非常高兴地宣布，我们的论文已被[ICRA 2024](https:\u002F\u002F2024.ieee-icra.org\u002F)接收！\n- **`[2023\u002F12\u002F21]`** 欢迎查看我们的后续工作`LingoQA`：[[代码]](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FLingoQA) [[arXiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.14115)\n- **`[2023\u002F10\u002F03]`** 论文现已发布于[[arXiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.01957)\n- **`[2023\u002F07\u002F06]`** 论文和代码已通过[paper_code](https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Ftree\u002Fpaper_code)分支公开，便于匿名投稿。\n\n\n## 快速入门\n### 前提条件\n- Python 3.x\n- pip\n- 运行评估至少需要20GB显存\n- 训练至少需要40GB显存（默认设置）\n\n### ⚙ 设置步骤\n1. **搭建虚拟环境（经测试兼容Python 3.8至3.11）**\n\n    ```sh\n    python3 -m venv env\n    source env\u002Fbin\u002Factivate\n    ```\n\n2. **安装所需依赖**\n\n    ```sh\n    pip install -r requirements.txt.lock\n    ```\n   \n注意：`requirements.txt.lock`是通过`pip-compile`从原始`requirements.txt`生成的，以确保复现性。\n\n3. **配置WandB API密钥**\n\n    请设置您的[WandB](https:\u002F\u002Fwandb.ai\u002F) API密钥，以便记录训练和评估过程。\n\n    ```sh\n    export WANDB_API_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\n    ```\n    \n### 💿 数据集\n- **训练\u002F测试数据**：\n数据集已包含在代码库中。解压命令如下：\n    ```\n    tar -xzvf data\u002Fvqa_train_10k.tar.gz -C data\u002F\n    tar -xzvf data\u002Fvqa_test_1k.tar.gz -C data\u002F\n    ```\n\n- **重新收集DrivingQA数据**：\n虽然训练和评估数据集中已包含预先收集的DrivingQA数据，但我们还提供了一个脚本，演示如何使用OpenAI ChatGPT API收集DrivingQA数据。如果您希望重新收集DrivingQA数据，请使用您的OpenAI API密钥运行以下命令：\n    ```sh\n    python scripts\u002Fcollect_vqa.py -i data\u002Fvqa_test_1k.pkl -o output_folder\u002F --openai_api xxxxxxxx\n    ```\n### 🏄 评估\n\n1. **感知与动作预测评估**\n\n    运行以下命令：\n\n    ```sh\n    python train.py \\\n        --mode eval \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --eval_items caption,action \\\n        --vqa\n    ```\n\n2. **DrivingQA评估**\n\n    运行以下命令：\n\n    ```sh\n    python train.py \\\n        --mode eval \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --eval_items vqa \\\n        --vqa\n    ```\n\n3. **查看结果**  \n\n    结果可在WandB项目“llm-driver”中查看。\n\n4. **使用GPT API评分DrivingQA结果**  \n\n    要使用GPT API对结果进行评分，请运行以下命令：\n    ```sh\n    python scripts\u002Fgrade_vqa.py \\\n        -i data\u002Fvqa_test_1k.pkl \\\n        -o results\u002F10k_ft.pkl \\\n        -r results\u002F10k_ft.json \\\n        --openai_api xxxxxxxx\n    ```\n    将`results\u002F10k_ft.json`替换为从WandB下载的`val_results.table.json`，即可对您的结果进行评分。\n### 🏊 训练\n\n1. **运行LLM-Driver训练**\n\n    执行以下命令开始训练：\n\n    ```sh\n    python train.py \\\n        --mode train \\\n        --eval_steps 50 \\\n        --val_set_size 32 \\\n        --num_epochs 5 \\\n        --resume_from_checkpoint models\u002Fweights\u002Fstage1_pretrained_model\u002F \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl \\\n        --vqa\n    ```\n2. **按照前一节内容评估LLM-Driver**\n\n3. **[可选] 训练并评估Perceiver-BC**\n\n    执行以下命令开始训练和评估：\n\n    ```sh\n    python train_bc.py \\\n        --num_epochs 25 \\\n        --data_path data\u002Fvqa_train_10k.pkl \\\n        --val_data_path data\u002Fvqa_test_1k.pkl\n    ```\n### 📝 引用\n\n如果您在研究中使用了我们的工作，请考虑引用以下内容：\n\n```bibtex\n@inproceedings{chen2024drivingwithllms,\n  title={Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving},\n  author={Long Chen and Oleg Sinavski and Jan Hünermann and Alice Karnsund and Andrew James Willmott and Danny Birch and Daniel Maund and Jamie Shotton},\n  booktitle={2024 IEEE International Conference on Robotics and Automation (ICRA)},\n  year={2024}\n}\n```\n\n```bibtex\n@article{marcu2023lingoqa,\n  title={LingoQA: Video Question Answering for Autonomous Driving}, \n  author={Ana-Maria Marcu and Long Chen and Jan Hünermann and Alice Karnsund and Benoit Hanotte and Prajwal Chidananda and Saurabh Nair and Vijay Badrinarayanan and Alex Kendall and Jamie Shotton and Oleg Sinavski},\n  journal={arXiv preprint arXiv:2312.14115},\n  year={2023},\n}\n```\n\n### 🙌 致谢\n\n本项目受到了[Alpaca LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)仓库的启发。我们在此向他们对开源社区的贡献表示感谢。","# Driving-with-LLMs 快速上手指南\n\n**Driving-with-LLMs** 是一个基于 PyTorch 实现的开源项目，旨在利用预训练语言模型（LLM）融合对象级矢量模态，实现可解释的自动驾驶决策。该项目支持动作预测、行为理由生成以及驾驶问答（DrivingQA）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下硬件和软件要求：\n\n*   **操作系统**: Linux \u002F macOS (推荐 Linux)\n*   **Python 版本**: 3.8 - 3.11\n*   **显卡显存 (VRAM)**:\n    *   **推理\u002F评估**: 至少 20GB\n    *   **训练**: 至少 40GB (默认设置)\n*   **依赖管理工具**: `pip`\n*   **账号准备**:\n    *   [Weights & Biases (WandB)](https:\u002F\u002Fwandb.ai\u002F) 账号（用于记录训练和评估日志）\n    *   (可选) OpenAI API Key（用于重新收集或评分 DrivingQA 数据）\n\n## 安装步骤\n\n### 1. 创建虚拟环境\n建议使用 Python 虚拟环境来隔离依赖。\n\n```sh\npython3 -m venv env\nsource env\u002Fbin\u002Factivate\n```\n\n### 2. 安装依赖\n项目提供了锁定的依赖文件以确保复现性。\n\n```sh\npip install -r requirements.txt.lock\n```\n\n> **提示**：国内开发者若下载缓慢，可添加清华或阿里镜像源加速：\n> `pip install -r requirements.txt.lock -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 配置 WandB API Key\n设置环境变量以启用日志记录功能。\n\n```sh\nexport WANDB_API_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\n```\n\n### 4. 准备数据集\n训练和测试数据已包含在代码库中，需要解压使用。\n\n```sh\ntar -xzvf data\u002Fvqa_train_10k.tar.gz -C data\u002F\ntar -xzvf data\u002Fvqa_test_1k.tar.gz -C data\u002F\n```\n\n## 基本使用\n\n本项目主要包含**评估 (Evaluation)** 和 **训练 (Training)** 两个核心流程。以下提供最常用的评估示例。\n\n### 场景一：评估感知与动作预测\n此命令将加载预训练权重，对感知（生成描述）和动作（转向、加减速）进行预测评估。\n\n```sh\npython train.py \\\n    --mode eval \\\n    --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n    --data_path data\u002Fvqa_train_10k.pkl \\\n    --val_data_path data\u002Fvqa_test_1k.pkl \\\n    --eval_items caption,action \\\n    --vqa\n```\n\n### 场景二：评估驾驶问答 (DrivingQA)\n此命令专门用于评估模型的驾驶场景问答能力。\n\n```sh\npython train.py \\\n    --mode eval \\\n    --resume_from_checkpoint models\u002Fweights\u002Fstage2_with_pretrained\u002F \\\n    --data_path data\u002Fvqa_train_10k.pkl \\\n    --val_data_path data\u002Fvqa_test_1k.pkl \\\n    --eval_items vqa \\\n    --vqa\n```\n\n*执行完成后，请登录您的 WandB 项目页面（默认为 \"llm-driver\"）查看详细结果表格和可视化图表。*\n\n### 场景三：开始训练\n若需从头或基于预训练模型微调，可运行以下命令启动训练流程。\n\n```sh\npython train.py \\\n    --mode train \\\n    --eval_steps 50 \\\n    --val_set_size 32 \\\n    --num_epochs 5 \\\n    --resume_from_checkpoint models\u002Fweights\u002Fstage1_pretrained_model\u002F \\\n    --data_path data\u002Fvqa_train_10k.pkl \\\n    --val_data_path data\u002Fvqa_test_1k.pkl \\\n    --vqa\n```\n\n> **注意**：训练完成后，请参照上述“评估”部分的命令对模型进行测试。","某自动驾驶算法团队正在开发新一代城市道路测试车辆，急需解决复杂路况下决策逻辑不透明导致的安全验证难题。\n\n### 没有 Driving-with-LLMs 时\n- **决策如“黑盒”**：传统端到端模型仅输出转向角度和加减速指令，工程师无法得知车辆为何在路口突然刹车，排查隐患如同盲人摸象。\n- **长尾场景难覆盖**：面对罕见的交通参与者行为（如行人挥手示意让行），基于规则的系统难以泛化，往往直接失效或做出错误判断。\n- **数据标注成本高昂**：为了让模型理解场景，需要人工逐帧标注大量物体属性和驾驶意图，耗时耗力且难以保证语义一致性。\n- **缺乏自然语言交互**：测试人员无法直接用自然语言询问车辆“刚才为什么变道”，只能依赖枯燥的数据日志进行事后推测。\n\n### 使用 Driving-with-LLMs 后\n- **决策可解释性强**：Driving-with-LLMs 能融合物体级向量信息，不仅输出驾驶动作，还能实时生成如“因左侧有车强行切入，故执行减速”的自然语言解释，让决策逻辑一目了然。\n- **泛化能力显著提升**：借助预训练大语言模型的常识推理能力，系统能灵活应对未见过的复杂交互场景，准确理解行人手势等非标准信号。\n- **自动化语义标注**：利用其内置的 DrivingQA 机制，可自动将传感器数据转化为高质量的问答对，大幅减少人工标注依赖，加速模型迭代。\n- **支持交互式调试**：工程师可直接通过文本提问复盘测试过程，系统能结合视频画面回答具体驾驶疑问，极大提升了事故归因效率。\n\nDriving-with-LLMs 通过将大语言模型的推理能力引入自动驾驶，成功将不可知的“黑盒”决策转化为安全、可信且可对话的智能驾驶体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_Driving-with-LLMs_13a10064.png","wayveai","Wayve","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fwayveai_4fba921b.png","",null,"wayve.ai","https:\u002F\u002Fgithub.com\u002Fwayveai",[85],{"name":86,"color":87,"percentage":88},"Python","#3572A5",100,575,51,"2026-04-12T16:55:57","Apache-2.0","未说明","必需 NVIDIA GPU。评估最低需 20GB 显存，训练（默认设置）最低需 40GB 显存。",{"notes":96,"python":97,"dependencies":98},"1. 项目使用 `requirements.txt.lock` 锁定依赖以确保可复现性，建议使用该文件安装。2. 需要配置 WandB API 密钥用于训练和评估日志记录。3. 部分功能（如重新收集 DrivingQA 数据或评分结果）需要 OpenAI API 密钥。4. 数据集已包含在代码库中，但需要手动解压 tar.gz 归档文件。5. 提供了预训练模型权重用于评估和继续训练。","3.8 - 3.11",[99,100,101,102],"torch (通过 requirements.txt.lock 安装)","transformers","wandb","pip-compile (用于生成锁文件)",[15,46],"2026-03-27T02:49:30.150509","2026-04-17T09:54:09.121909",[107,112,116,121,126,130],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},37121,"为什么在预训练过程中需要将向量与大语言模型（LLM）对齐？预训练阶段的输入和标签分别是什么？","主要目的是证明可以将驾驶场景的向量与 LLM 进行对齐，其方法类似于 Lingo 工作中将图像与 LLM 对齐的方法（参考论文：https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.14115）。通过这种对齐，模型能够基于提示词进一步理解驾驶场景。虽然具体标签细节未在评论中完全展开，但核心逻辑是利用类似多模态对齐的技术，让 LLM 理解非文本的驾驶数据向量。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Fissues\u002F24",{"id":113,"question_zh":114,"answer_zh":115,"source_url":111},37122,"LanGen 在预训练和微调阶段是如何使用的？它的输出是否作为伪真实值（pseudo ground truth）？","根据维护者的回复，项目的核心目标是验证向量与 LLM 的对齐能力，具体采用了与 Lingo 工作类似的图像 - 文本对齐方法。关于 LanGen 是否直接作为预训练的伪真实值或损失函数的计算对象，以及是否在微调阶段用于生成场景描述，现有回复主要强调了对齐方法的来源（Lingo 论文），建议参考该论文以获取更详细的架构实现细节。",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},37123,"运行多 GPU 评估时出现 'RuntimeError: Expected all tensors to be on the same device' 错误怎么办？","该错误通常出现在使用多张 GPU（如 cuda:0 和 cuda:1）运行时，而单 GPU 环境下不会出现。这表示张量设备不一致。虽然当前讨论中未提供具体的代码修复补丁，但遇到此问题的用户通常在运行 'Evaluate for DrivingQA' 命令时触发。解决思路通常需要检查代码中是否显式指定了设备，或使用 `model.to(device)` 确保所有模型权重和输入张量位于同一设备上。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Fissues\u002F21",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},37124,"无法从 Hugging Face 下载 'decapoda-research\u002Fllama-7b-hf' 模型报错怎么办？","这是因为原始模型路径可能已失效或权限受限。解决方案是将配置文件或代码中的模型标识符从 \"decapoda-research\u002Fllama-7b-hf\" 修改为 \"meta-llama\u002FLlama-2-7b-chat-hf\"。修改后即可正常下载和运行。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002FDriving-with-LLMs\u002Fissues\u002F20",{"id":127,"question_zh":128,"answer_zh":129,"source_url":111},37125,"预训练过程中使用的 100k 问答对有什么作用？","这些问答对主要用于预训练阶段，旨在帮助模型学习如何将驾驶场景的向量表示与大语言模型的语言能力对齐。其目的类似于其他多模态任务中使用的图文对，为了让模型能够根据向量输入生成符合驾驶场景的逻辑回答，从而验证向量与 LLM 对齐的有效性。",{"id":131,"question_zh":132,"answer_zh":133,"source_url":125},37126,"如果遇到 Hugging Face 模型下载权限错误（OSError: ... is not a valid model identifier），该如何处理？","首先检查模型名称是否正确，许多旧模型地址已迁移。例如，将 \"decapoda-research\u002Fllama-7b-hf\" 替换为官方推荐的 \"meta-llama\u002FLlama-2-7b-chat-hf\" 可解决问题。如果确实是私有仓库，则需要使用 `huggingface-cli login` 登录并传递 token，或在代码中设置 `use_auth_token=True`。",[]]