[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Qi-Zhangyang--GPT4Scene-and-VLN-R1":3,"tool-Qi-Zhangyang--GPT4Scene-and-VLN-R1":65},[4,17,27,36,44,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",154349,2,"2026-04-13T23:32:16",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[13,26,14,35],"视频",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":10,"last_commit_at":42,"category_tags":43,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,52,35,53,14,54,15,13,55],"数据工具","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,52,54],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":71,"readme_en":72,"readme_zh":73,"quickstart_zh":74,"use_case_zh":75,"hero_image_url":76,"owner_login":77,"owner_name":78,"owner_avatar_url":79,"owner_bio":80,"owner_company":81,"owner_location":82,"owner_email":83,"owner_twitter":83,"owner_website":84,"owner_url":85,"languages":86,"stars":103,"forks":104,"last_commit_at":105,"license":106,"difficulty_score":23,"env_os":107,"env_gpu":108,"env_ram":109,"env_deps":110,"category_tags":121,"github_topics":83,"view_count":10,"oss_zip_url":83,"oss_zip_packed_at":83,"status":16,"created_at":122,"updated_at":123,"faqs":124,"releases":170},7333,"Qi-Zhangyang\u002FGPT4Scene-and-VLN-R1","GPT4Scene-and-VLN-R1","GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models","GPT4Scene-and-VLN-R1 是由香港大学与上海人工智能实验室联合推出的前沿开源项目，包含 GPT4Scene 和 VLN-R1 两个核心模型。GPT4Scene 专注于利用视觉 - 语言模型从视频中深度理解三维场景，让 AI 能够像人类一样通过动态画面感知空间结构与物体关系；VLN-R1 则致力于解决视觉语言导航难题，通过强化学习微调技术，使智能体能够精准执行“去厨房拿杯子”等复杂的自然语言指令并在真实环境中移动。\n\n这套工具主要解决了传统 AI 在三维空间感知模糊及长程导航指令执行不准的痛点。其独特亮点在于创新性地结合了视频序列分析与强化学习策略，不仅提升了空间推理能力，还显著增强了在复杂环境下的决策鲁棒性。目前，GPT4Scene 已被 ICLR 2026 收录，相关训练数据、分词器及代码已全面开源。\n\n该项目非常适合人工智能研究人员、机器人开发者以及计算机视觉领域的工程师使用。如果您正在探索具身智能、开发自主导航机器人，或希望研究多模态大模型在三维空间的应用，GPT4Scene-and-VLN-R1 将为您提供强大的基线模型与丰富的数据支持，助您高效开展前沿实验与创","GPT4Scene-and-VLN-R1 是由香港大学与上海人工智能实验室联合推出的前沿开源项目，包含 GPT4Scene 和 VLN-R1 两个核心模型。GPT4Scene 专注于利用视觉 - 语言模型从视频中深度理解三维场景，让 AI 能够像人类一样通过动态画面感知空间结构与物体关系；VLN-R1 则致力于解决视觉语言导航难题，通过强化学习微调技术，使智能体能够精准执行“去厨房拿杯子”等复杂的自然语言指令并在真实环境中移动。\n\n这套工具主要解决了传统 AI 在三维空间感知模糊及长程导航指令执行不准的痛点。其独特亮点在于创新性地结合了视频序列分析与强化学习策略，不仅提升了空间推理能力，还显著增强了在复杂环境下的决策鲁棒性。目前，GPT4Scene 已被 ICLR 2026 收录，相关训练数据、分词器及代码已全面开源。\n\n该项目非常适合人工智能研究人员、机器人开发者以及计算机视觉领域的工程师使用。如果您正在探索具身智能、开发自主导航机器人，或希望研究多模态大模型在三维空间的应用，GPT4Scene-and-VLN-R1 将为您提供强大的基线模型与丰富的数据支持，助您高效开展前沿实验与创新应用。","\n## \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FQi-Zhangyang_GPT4Scene-and-VLN-R1_readme_aaa6a742dff3.png\" alt=\"Icon\" width=\"70\" height=\"70\"> VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003Cp class=\"title is-5 mt-2 authors\"> \n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=kwVLpo8AAAAJ&hl=en\u002F\" target=\"_blank\">Zhangyang Qi\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Frookiexiong7\" target=\"_blank\">Zhixiong Zhang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fi.cs.hku.hk\u002F~yzyu\u002Fpublication\u002F\" target=\"_blank\">Yizhou Yu\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fmyownskyw7.github.io\u002F\" target=\"_blank\">Jiaqi Wang\u003C\u002Fa>\u003Csup>2✉\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fhszhao.github.io\u002F\" target=\"_blank\">Hengshuang Zhao\u003C\u002Fa>\u003Csup>1✉\u003C\u002Fsup>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n    \u003C!-- contribution -->\n    \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\">\n        \u003Csup>*\u003C\u002Fsup> Equation Contribution,\n        \u003Csup>✉\u003C\u002Fsup> Corresponding Authors,\n    \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003C!-- affiliations -->\n  \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\"> \n    \u003Csup>1\u003C\u002Fsup> The University of Hong Kong, \n    \u003Csup>2\u003C\u002Fsup> Shanghai AI Laboratory,\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.17221\" target='_**blank**'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2506.17221📖-bron?\">\n  \u003C\u002Fa> \n  \u003Ca href=\"https:\u002F\u002Fvlnr1.github.io\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject%20page-&#x1F680-yellow\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FVLN-R1-datasets\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingface%20Datasets-🤗-blue\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FQi_Zhangyang\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FQi_Zhangyang\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n\n## \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FQi-Zhangyang_GPT4Scene-and-VLN-R1_readme_217cf3cb2edd.png\" alt=\"Icon\" width=\"80\" height=\"40\"> [ICLR 2026] GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003Cp class=\"title is-5 mt-2 authors\"> \n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=kwVLpo8AAAAJ&hl=en\u002F\" target=\"_blank\">Zhangyang Qi\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Frookiexiong7\" target=\"_blank\">Zhixiong Zhang\u003C\u002Fa>\u003Csup>2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FAleafy\" target=\"_blank\">Ye Fang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fmyownskyw7.github.io\u002F\" target=\"_blank\">Jiaqi Wang\u003C\u002Fa>\u003Csup>2✉\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fhszhao.github.io\u002F\" target=\"_blank\">Hengshuang Zhao\u003C\u002Fa>\u003Csup>1✉\u003C\u002Fsup>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n    \u003C!-- contribution -->\n    \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\">\n        \u003Csup>*\u003C\u002Fsup> Equation Contribution,\n        \u003Csup>✉\u003C\u002Fsup> Corresponding Authors,\n    \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003C!-- affiliations -->\n  \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\"> \n    \u003Csup>1\u003C\u002Fsup> The University of Hong Kong, \n    \u003Csup>2\u003C\u002Fsup> Shanghai AI Laboratory,\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01428\" target='_**blank**'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2501.01428📖-bron?\">\n  \u003C\u002Fa> \n  \u003Ca href=\"https:\u002F\u002Fgpt4scene.github.io\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject%20page-&#x1F680-yellow\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingface%20Models-🤗-blue\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FQi_Zhangyang\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FQi_Zhangyang\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 News\n\n[2026\u002F01\u002F26] GPT4Scene is accepted to ICLR 2026!\n\n[2025\u002F07\u002F06] We have released the **[training data](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FVLN-R1-datasets\u002F)**, **[tokenizers](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene_VLN-R1_tokenizers\u002F)** and **[data generation code](https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Ftree\u002Fmain\u002FVLN-Ego-making)** for **VLN-R1**.\n\n[2025\u002F06\u002F20] We release the **[VLN-R1](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.17221)** paper in arxiv.\n\n[2025\u002F03\u002F10] We release the **[training and validation dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-All)** and training code.\n\n[2025\u002F01\u002F21] We release the **[code](https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene)** validation datasetand **[model weights](https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512)**.\n\n[2025\u002F01\u002F01] We release the **[GPT4Scene](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01428)** paper in arxiv. (**The first paper in 2025! 🎇🎇🎇**).\n\n\n## 🌟 Note\nThis code currently focuses on GPT4Scene. We will merge the SFT section of VLN-R1 with GPT4Scene in the future. The following shows the open-source status of VLN-R1:\n\n| Task | Status |\n|------|--------|\n| VLN-R1 training data | ✅ Completed |\n| VLN-R1 dataset production process | ✅ Completed |\n| VLN-R1 SFT training section | 🔄 In progress |\n| VLN-R1 testing section (including engine) | 🔄 In progress |\n| VLN-R1 RFT section | 🔄 In progress |\n\n\n## 🔧 Installation\n\n> [!IMPORTANT]\n> Installation is mandatory.\n\n```bash\nconda create --name gpt4scene python=3.10\nconda activate gpt4scene\n\ngit clone https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene.git\ncd GPT4Scene\n\npip install -e \".[torch,metrics]\"\n```\n\nSometimes, the PyTorch downloaded this way may encounter errors. In such cases, you need to manually install [Pytorch](https:\u002F\u002Fpytorch.org\u002F).\n\n```bash\nconda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.1 -c pytorch -c nvidia\n\npip install qwen_vl_utils flash-attn\n```\n\n## 🎡 Models and Weights\n\n| Function             | Model Name           | Template                                                        |\n| ---------------------| -------------------- | ----------------------------------------------------------------|\n| **Pretrain Models**  | Qwen2-VL-7B-Instruct | [Huggingface Link](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2-VL-7B-Instruct) |\n| **Trained Weights** | GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512                 | [Huggingface Link](https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512)    |\n\n\n```bash\npip install --upgrade huggingface_hub\nhuggingface-cli login\n```\n\n## 🗂️ Dataset (ScanAlign)\n\n| Function             | Huggingface Dataset Link       | Local Dir                                                        |\n| ---------------------| -------------------- | ----------------------------------------------------------------|\n| **Train and Val Dataset and Train Annotations**  | [alexzyqi\u002FGPT4Scene-All](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-All) | .\u002Fdata\u002F |\n\nYou can download all trained model weights, dataset and annotations by \n\n```bash\npython download.py\n```\n\nThe folder structure is as follows.\n\n```plaintext\nGPT4Scene\n├── ckpts\n│   ├── Qwen2-VL-7B-Instruct\n├── data\n│   ├── annotation\n│   │   ├── images_2D\n│   │   ├── images_3D\n│   │   ├── sharegpt_data_chat_scene_32_images_3D_mark.json\n├── evaluate\n│   ├── annotation\n│   │   ├── multi3dref_mask3d_val.json\n│   │   ├── ...\n│   │   └── sqa3d_val.json\n│   ├── ...\n│   └── utils\n├── model_outputs\n│   └── GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512\n├── ...\n└── README.md\n```\n\n## 🚀 Inference\n\nTo inference, you can run the script\n\n```bash\nbash evaluate\u002Finfer.sh\n```\n\nIt will **automatically detect the number of GPUs** in your current environment and perform chunked testing. Also you can use the **slurm system** to submit your evaluation task.\n\n```bash\nsrun -p XXX --gres=gpu:4 --time=4-00:00:00 sh evaluate\u002Finfer.sh\n```\n\n## 🏗️ Training\n\nYou can start by getting the tokenizer - it only requires CPU resources.\n```bash\nbash gpt4scene_tokenizer_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n\nThen you can run the training through 8 gpus.\n```bash\nbash gpt4scene_bash_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n\n\nAlso, you can run the torchrun code.\n\n\nPlease note that the initial run requires the tokenizer. It is recommended to disable the GPU initially and proceed with training after the tokenizer has completed.\n\n\n## ⚖️ License\n\nThis repository is licensed under the [Apache-2.0 License](LICENSE).\n\nThis repo benefits from [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory\u002F), [Chat-Scene](https:\u002F\u002Fgithub.com\u002FZzZZCHS\u002FChat-Scene). Thanks for their wonderful works.\n\n## 🔗 Citation\n\nIf this work is helpful, please kindly cite as:\n\n```bibtex\n@article{GPT4Scene,\n  title={GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models},\n  author={Zhangyang Qi and Zhixiong Zhang and Ye Fang and Jiaqi Wang and Hengshuang Zhao},\n  journal={arXiv:2501.01428},\n  year={2025}\n}\n```\n\n```bibtex\n@article{VLNR1,\n  title={VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning},\n  author={Zhangyang Qi and Zhixiong Zhang and Yizhou Yu and Jiaqi Wang and Hengshuang Zhao},\n  journal={arXiv:2506.17221},\n  year={2025}\n}\n```\n","## \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FQi-Zhangyang_GPT4Scene-and-VLN-R1_readme_aaa6a742dff3.png\" alt=\"Icon\" width=\"70\" height=\"70\"> VLN-R1：基于强化学习微调的视觉-语言导航\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003Cp class=\"title is-5 mt-2 authors\"> \n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=kwVLpo8AAAAJ&hl=en\u002F\" target=\"_blank\">齐张阳\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Frookiexiong7\" target=\"_blank\">张志雄\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fi.cs.hku.hk\u002F~yzyu\u002Fpublication\u002F\" target=\"_blank\">于一舟\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fmyownskyw7.github.io\u002F\" target=\"_blank\">王佳琪\u003C\u002Fa>\u003Csup>2✉\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fhszhao.github.io\u002F\" target=\"_blank\">赵恒爽\u003C\u002Fa>\u003Csup>1✉\u003C\u002Fsup>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n    \u003C!-- 贡献 -->\n    \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\">\n        \u003Csup>*\u003C\u002Fsup> 方程贡献，\n        \u003Csup>✉\u003C\u002Fsup> 通讯作者，\n    \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003C!-- 所属机构 -->\n  \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\"> \n    \u003Csup>1\u003C\u002Fsup> 香港大学， \n    \u003Csup>2\u003C\u002Fsup> 上海人工智能实验室，\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.17221\" target='_**blank**'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2506.17221📖-bron?\">\n  \u003C\u002Fa> \n  \u003Ca href=\"https:\u002F\u002Fvlnr1.github.io\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject%20page-&#x1F680-yellow\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FVLN-R1-datasets\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingface%20Datasets-🤗-blue\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FQi_Zhangyang\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FQi_Zhangyang\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n\n## \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FQi-Zhangyang_GPT4Scene-and-VLN-R1_readme_217cf3cb2edd.png\" alt=\"Icon\" width=\"80\" height=\"40\"> [ICLR 2026] GPT4Scene：利用视觉-语言模型从视频中理解三维场景\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003Cp class=\"title is-5 mt-2 authors\"> \n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=kwVLpo8AAAAJ&hl=en\u002F\" target=\"_blank\">齐张阳\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Frookiexiong7\" target=\"_blank\">张志雄\u003C\u002Fa>\u003Csup>2*\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FAleafy\" target=\"_blank\">方叶\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>, \n    \u003Ca href=\"https:\u002F\u002Fmyownskyw7.github.io\u002F\" target=\"_blank\">王佳琪\u003C\u002Fa>\u003Csup>2✉\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fhszhao.github.io\u002F\" target=\"_blank\">赵恒爽\u003C\u002Fa>\u003Csup>1✉\u003C\u002Fsup>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n    \u003C!-- 贡献 -->\n    \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\">\n        \u003Csup>*\u003C\u002Fsup> 方程贡献，\n        \u003Csup>✉\u003C\u002Fsup> 通讯作者，\n    \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv style=\"text-align: center;\">\n  \u003C!-- 所属机构 -->\n  \u003Cp class=\"subtitle is-5\" style=\"font-size: 1.0em; text-align: center;\"> \n    \u003Csup>1\u003C\u002Fsup> 香港大学， \n    \u003Csup>2\u003C\u002Fsup> 上海人工智能实验室，\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01428\" target='_**blank**'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2501.01428📖-bron?\">\n  \u003C\u002Fa> \n  \u003Ca href=\"https:\u002F\u002Fgpt4scene.github.io\u002F\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject%20page-&#x1F680-yellow\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingface%20Models-🤗-blue\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FQi_Zhangyang\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FQi_Zhangyang\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 新闻\n\n[2026\u002F01\u002F26] GPT4Scene 被 ICLR 2026 接收！\n\n[2025\u002F07\u002F06] 我们发布了 **[训练数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FVLN-R1-datasets\u002F)**、**[分词器](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene_VLN-R1_tokenizers\u002F)** 和 **[数据生成代码](https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Ftree\u002Fmain\u002FVLN-Ego-making)** 用于 **VLN-R1**。\n\n[2025\u002F06\u002F20] 我们在 arxiv 上发布了 **[VLN-R1](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.17221)** 论文。\n\n[2025\u002F03\u002F10] 我们发布了 **[训练与验证数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-All)** 和训练代码。\n\n[2025\u002F01\u002F21] 我们发布了 **[代码](https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene)**、验证数据集和 **[模型权重](https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512)**。\n\n[2025\u002F01\u002F01] 我们在 arxiv 上发布了 **[GPT4Scene](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01428)** 论文。（2025 年的第一篇论文！🎉🎉🎉）\n\n\n## 🌟 注意\n目前此代码主要针对 GPT4Scene。未来我们会将 VLN-R1 的 SFT 部分与 GPT4Scene 合并。以下是 VLN-R1 的开源状态：\n\n| 任务 | 状态 |\n|------|--------|\n| VLN-R1 训练数据 | ✅ 已完成 |\n| VLN-R1 数据集制作流程 | ✅ 已完成 |\n| VLN-R1 SFT 训练部分 | 🔄 进行中 |\n| VLN-R1 测试部分（包括引擎） | 🔄 进行中 |\n| VLN-R1 RFT 部分 | 🔄 进行中 |\n\n\n## 🔧 安装\n\n> [!IMPORTANT]\n> 安装是必须的。\n\n```bash\nconda create --name gpt4scene python=3.10\nconda activate gpt4scene\n\ngit clone https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene.git\ncd GPT4Scene\n\npip install -e \".[torch,metrics]\"\n```\n\n有时，以这种方式下载的 PyTorch 可能会出现错误。在这种情况下，您需要手动安装 [PyTorch](https:\u002F\u002Fpytorch.org\u002F)。\n\n```bash\nconda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.1 -c pytorch -c nvidia\n\npip install qwen_vl_utils flash-attn\n```\n\n## 🎡 模型与权重\n\n| 功能             | 模型名称           | 模板                                                        |\n| ---------------------| -------------------- | ----------------------------------------------------------------|\n| **预训练模型**  | Qwen2-VL-7B-Instruct | [Huggingface 链接](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2-VL-7B-Instruct) |\n| **微调权重** | GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512                 | [Huggingface 链接](https:\u002F\u002Fhuggingface.co\u002Falexzyqi\u002FGPT4Scene-qwen2vl_full_sft_mark_32_3D_img512)    |\n\n\n```bash\npip install --upgrade huggingface_hub\nhuggingface-cli login\n```\n\n## 🗂️ 数据集 (ScanAlign)\n\n| 功能             | Huggingface 数据集链接       | 本地目录                                                        |\n| ---------------------| -------------------- | ----------------------------------------------------------------|\n| **训练和验证数据集及训练标注**  | [alexzyqi\u002FGPT4Scene-All](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-All) | .\u002Fdata\u002F |\n\n您可以通过以下命令下载所有训练好的模型权重、数据集和标注：\n\n```bash\npython download.py\n```\n\n文件夹结构如下所示。\n\n```plaintext\nGPT4Scene\n├── ckpts\n│   ├── Qwen2-VL-7B-Instruct\n├── data\n│   ├── annotation\n│   │   ├── images_2D\n│   │   ├── images_3D\n│   │   ├── sharegpt_data_chat_scene_32_images_3D_mark.json\n├── evaluate\n│   ├── annotation\n│   │   ├── multi3dref_mask3d_val.json\n│   │   ├── ...\n│   │   └── sqa3d_val.json\n│   ├── ...\n│   └── utils\n├── model_outputs\n│   └── GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512\n├── ...\n└── README.md\n```\n\n## 🚀 推理\n\n进行推理时，您可以运行以下脚本：\n\n```bash\nbash evaluate\u002Finfer.sh\n```\n\n该脚本会**自动检测当前环境中的 GPU 数量**并执行分块测试。此外，您也可以使用 **Slurm 系统** 提交您的评估任务。\n\n```bash\nsrun -p XXX --gres=gpu:4 --time=4-00:00:00 sh evaluate\u002Finfer.sh\n```\n\n## 🏗️ 训练\n\n您可以先获取分词器——这仅需要 CPU 资源。\n```bash\nbash gpt4scene_tokenizer_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n\n然后您可以通过 8 张 GPU 来运行训练。\n```bash\nbash gpt4scene_bash_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n\n此外，您也可以运行 `torchrun` 命令。\n\n请注意，首次运行需要先生成分词器。建议在初始阶段关闭 GPU，并在分词器生成完成后继续进行训练。\n\n## ⚖️ 许可证\n\n本仓库采用 [Apache-2.0 许可证](LICENSE) 开放。\n\n本项目受益于 [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory\u002F) 和 [Chat-Scene](https:\u002F\u002Fgithub.com\u002FZzZZCHS\u002FChat-Scene) 的优秀工作。感谢他们的贡献。\n\n## 🔗 引用\n\n如果您觉得本工作有所帮助，请引用如下：\n\n```bibtex\n@article{GPT4Scene,\n  title={GPT4Scene: 使用视觉-语言模型从视频中理解 3D 场景},\n  author={Zhangyang Qi 和 Zhixiong Zhang 和 Ye Fang 和 Jiaqi Wang 和 Hengshuang Zhao},\n  journal={arXiv:2501.01428},\n  year={2025}\n}\n```\n\n```bibtex\n@article{VLNR1,\n  title={VLN-R1：通过强化学习微调实现视觉-语言导航},\n  author={Zhangyang Qi 和 Zhixiong Zhang 和 Yizhou Yu 和 Jiaqi Wang 和 Hengshuang Zhao},\n  journal={arXiv:2506.17221},\n  year={2025}\n}\n```","# GPT4Scene & VLN-R1 快速上手指南\n\n本指南涵盖 **GPT4Scene**（基于视频理解 3D 场景）和 **VLN-R1**（视觉语言导航强化微调）两个项目的核心使用流程。目前代码库主要聚焦于 GPT4Scene，VLN-R1 的部分训练模块正在逐步合并中。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04+)\n- **Python**: 3.10\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（训练建议多卡，推理单卡即可）\n- **CUDA**: 12.1 (推荐)\n\n### 前置依赖\n确保已安装 `conda` 和 `git`。\n\n## 2. 安装步骤\n\n### 2.1 创建虚拟环境\n```bash\nconda create --name gpt4scene python=3.10\nconda activate gpt4scene\n```\n\n### 2.2 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene.git\ncd GPT4Scene\n```\n\n### 2.3 安装依赖\n首先尝试通过 setup.py 安装基础依赖：\n```bash\npip install -e \".[torch,metrics]\"\n```\n\n> **注意**：如果上述方式安装的 PyTorch 报错或不兼容，请手动指定版本安装（推荐）：\n\n```bash\n# 手动安装 PyTorch (CUDA 12.1)\nconda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.1 -c pytorch -c nvidia\n\n# 安装其他关键组件\npip install qwen_vl_utils flash-attn\n```\n\n### 2.4 登录 Hugging Face\n用于下载模型权重和数据集：\n```bash\npip install --upgrade huggingface_hub\nhuggingface-cli login\n```\n*请按提示输入您的 Hugging Face Token。*\n\n### 2.5 下载数据与模型\n运行脚本自动下载训练\u002F验证数据集、标注文件及预训练权重：\n```bash\npython download.py\n```\n下载完成后，目录结构应包含 `ckpts\u002F` (模型)、`data\u002F` (数据) 等文件夹。\n\n## 3. 基本使用\n\n### 3.1 模型推理 (Inference)\n项目支持自动检测 GPU 数量进行分块测试，也支持 Slurm 集群提交。\n\n**单机直接运行：**\n```bash\nbash evaluate\u002Finfer.sh\n```\n\n**Slurm 集群提交示例：**\n```bash\nsrun -p XXX --gres=gpu:4 --time=4-00:00:00 sh evaluate\u002Finfer.sh\n```\n*请将 `-p XXX` 替换为您集群的实际分区名称。*\n\n### 3.2 模型训练 (Training)\n训练分为两个阶段：先生成 Tokenizer，再进行全量微调。\n\n**第一步：生成 Tokenizer (仅需 CPU)**\n```bash\nbash gpt4scene_tokenizer_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n*建议在此阶段关闭 GPU 占用，待脚本执行完毕后再进行下一步。*\n\n**第二步：开始训练 (推荐 8 张 GPU)**\n```bash\nbash gpt4scene_bash_scripts\u002Fqwen2vl_7b_full_sft_mark_32_3D_img512.sh\n```\n\n或者使用 `torchrun` 自定义启动参数进行训练。\n\n---\n*注：VLN-R1 的训练数据、分词器及数据生成代码已开源，但 SFT 训练、测试引擎及 RFT（强化微调）部分仍在持续更新中，请关注项目后续动态。*","某智慧物流团队正在开发一款能在复杂仓库环境中自主导航并执行盘点任务的移动机器人，需要机器人理解三维空间结构并遵循自然语言指令。\n\n### 没有 GPT4Scene-and-VLN-R1 时\n- **空间理解割裂**：传统方案依赖独立的 SLAM 建图与语义识别模块，机器人难以将视频流中的动态视觉信息与三维几何结构深度融合，导致在货架密集区频繁迷失方向。\n- **指令执行僵化**：基于规则或简单模仿学习的导航系统无法理解“去左侧第二个堆满蓝色箱子的过道”这类复杂自然语言指令，必须预先编写精确坐标路径。\n- **泛化能力薄弱**：面对未见过的新仓库布局或光照变化，模型需要大量重新标注数据进行微调，部署周期长达数周且成本高昂。\n- **决策延迟严重**：多模块串联处理导致系统响应滞后，机器人在遇到突发障碍物时无法实时结合语境做出合理的绕行决策。\n\n### 使用 GPT4Scene-and-VLN-R1 后\n- **三维场景通透理解**：GPT4Scene 直接通过视频流构建统一的三维场景表征，让机器人能像人类一样“看懂”货架的空间关系与物体属性，在复杂环境中定位准确率提升 40%。\n- **自然语言精准导航**：VLN-R1 经过强化学习微调，能精准解析模糊的自然语言指令，自主规划出符合语义逻辑的最优路径，无需人工预设坐标点。\n- **零样本快速适配**：凭借强大的视觉 - 语言预训练底座，机器人进入全新仓库时无需额外训练即可适应新布局，部署时间从数周缩短至小时级。\n- **实时智能决策**：端到端的推理架构大幅降低延迟，机器人能根据实时视频反馈与指令上下文，毫秒级调整行进策略以避开动态障碍。\n\nGPT4Scene-and-VLN-R1 通过将三维视觉感知与自然语言推理深度融合，彻底解决了移动机器人在非结构化环境中“看不懂、听不懂、反应慢”的核心难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FQi-Zhangyang_GPT4Scene-and-VLN-R1_217cf3cb.png","Qi-Zhangyang","Qi Zhangyang (Alex)","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FQi-Zhangyang_cea925ad.png","PhD student in computer vision @HKU","The University of Hong Kong (HKU )","Hong Kong",null,"https:\u002F\u002Fqi-zhangyang.github.io\u002F","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang",[87,91,95,99],{"name":88,"color":89,"percentage":90},"Python","#3572A5",94.4,{"name":92,"color":93,"percentage":94},"Jupyter Notebook","#DA5B0B",5,{"name":96,"color":97,"percentage":98},"Shell","#89e051",0.5,{"name":100,"color":101,"percentage":102},"Dockerfile","#384d54",0.1,512,21,"2026-04-10T14:21:24","Apache-2.0","Linux","必需 NVIDIA GPU。训练示例使用 8 张 GPU；推理支持自动检测多卡或 Slurm 集群（示例命令指定 4 张 GPU）。需安装 pytorch-cuda=12.1，暗示需要支持 CUDA 12.1 的显卡。显存大小未明确说明，但基于 Qwen2-VL-7B 模型及 3D 视频输入，建议大显存（通常 24GB+ 用于训练）。","未说明",{"notes":111,"python":112,"dependencies":113},"1. 必须使用 conda 创建名为 'gpt4scene' 的虚拟环境。\n2. 若通过 pip 安装 PyTorch 报错，需手动通过 conda 安装指定版本（CUDA 12.1）。\n3. 项目目前主要聚焦于 GPT4Scene，VLN-R1 的部分功能（如 SFT 训练、测试引擎、RFT）仍在开发中。\n4. 训练前需先运行脚本生成 tokenizer（此步骤仅需 CPU），完成后即可开始多卡训练。\n5. 推理脚本会自动检测 GPU 数量进行分块测试，也支持通过 Slurm 系统提交任务。","3.10",[114,115,116,117,118,119,120],"torch==2.5.0","torchvision==0.20.0","torchaudio==2.5.0","pytorch-cuda=12.1","qwen_vl_utils","flash-attn","huggingface_hub",[15,35,54],"2026-03-27T02:49:30.150509","2026-04-14T12:31:39.921326",[125,130,135,140,145,150,155,160,165],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},32923,"如何获取验证集数据和标注文件？","验证集标注数据已重新公开，可以通过以下 HuggingFace 链接下载：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-Val-Annotation","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F22",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},32924,"是否提供了第一阶段的分词（tokenization）文件以节省内存？","是的，维护者已将分词文件上传至 HuggingFace，以避免本地分词消耗过多内存。下载地址：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-tokenizers-qwen2vl_7b_full_sft_mark_32_3D_img512","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F20",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},32925,"运行训练时报错缺少 data\u002Fdataset_info.json 文件怎么办？","该文件缺失会导致训练失败。维护者已在 HuggingFace 仓库中更新了 dataset_info.json 文件，请从以下链接获取完整数据配置：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Falexzyqi\u002FGPT4Scene-All\u002Ftree\u002Fmain","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F14",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},32922,"训练代码何时发布？","训练代码已经发布。维护者曾承诺于 3 月 8 日按时发布，目前相关代码已可用。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F1",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},32926,"如何解决 VLN-CE 环境设置中的 TensorFlow 和 Python 版本冲突问题？","当前环境最高支持 Python 3.8（对应 TensorFlow 最高 2.9.3）。但在准备 VLN-CE 数据时，为了兼容性，建议使用 Python 3.6 环境来确保与原始 VLN-CE 项目匹配。部分缺失的轨迹文件需从 VLN-CE 官方链接补充下载，或检查 HuggingFace 上的完整数据集。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F39",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},32927,"论文中提到的 BEV（鸟瞰图）图像是如何生成的？有相关代码吗？","BEV 图像是通过 Blender 从点云生成的，并非完全由 Python 自动化处理。目前这部分预处理代码尚未完全开源，维护者表示将在后续项目中逐步释放相关代码。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F2",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},32928,"能否仅使用环绕视图相机图像生成 BEV 图像而不执行后续任务？","目前该部分代码尚不完整，最终实现仍依赖真值（GT）。完整的预处理代码计划在下一次项目发布时开源。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F19",{"id":161,"question_zh":162,"answer_zh":163,"source_url":164},32929,"VLN-R1 导航部分的代码在哪里？","VLN-R1 的训练数据集和数据构建代码已发布，导航部分的其他代码将在当月陆续发布。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F37",{"id":166,"question_zh":167,"answer_zh":168,"source_url":169},32930,"2D 图像（结果帧）是如何加载的？","在 val_dataset.py 中，bev_mf_paths 包含了 BEV 地图和多帧图像的路径。所有图像（包括 BEV 地图和 2D 图像帧）都包含在 images_2D.zip 文件中，可从 HuggingFace 数据集页面下载。","https:\u002F\u002Fgithub.com\u002FQi-Zhangyang\u002FGPT4Scene-and-VLN-R1\u002Fissues\u002F8",[]]