[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-SWE-bench--SWE-bench":3,"tool-SWE-bench--SWE-bench":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156033,2,"2026-04-14T23:32:00",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[46,26,43,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":71,"readme_en":72,"readme_zh":73,"quickstart_zh":74,"use_case_zh":75,"hero_image_url":76,"owner_login":68,"owner_name":68,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":23,"env_os":95,"env_gpu":96,"env_ram":97,"env_deps":98,"category_tags":104,"github_topics":105,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":109,"updated_at":110,"faqs":111,"releases":141},7610,"SWE-bench\u002FSWE-bench","SWE-bench","SWE-bench: Can Language Models Resolve Real-world Github Issues?","SWE-bench 是一个专为评估大语言模型在真实软件开发场景中表现而设计的基准测试工具。它收集了来自 GitHub 的真实项目代码库及对应的实际_issue_（如 Bug 报告或功能请求），要求模型在理解现有代码的基础上，自动生成能够解决问题的代码补丁。\n\n这一工具主要解决了以往 AI 编程评测多依赖合成数据或简化任务，难以反映模型在复杂、真实工程环境中实战能力的痛点。通过提供基于真实开源项目的测试集，SWE-bench 能更准确地衡量 AI 系统是否具备像人类软件工程师一样定位并修复问题的能力。\n\nSWE-bench 特别适合 AI 研究人员、大模型开发者以及关注代码智能领域的技术团队使用。无论是用于训练新模型、验证算法效果，还是追踪行业技术进展，它都提供了标准化的评估框架。其独特亮点在于采用了完全容器化的 Docker 评估环境，确保测试结果的高度可复现性；此外，项目还推出了经人类工程师验证的\"SWE-bench Verified\"子集，并扩展支持多模态软件任务，进一步提升了评测的严谨性与前沿性。作为普林斯顿大学 NLP 团队的开源成果，SWE-bench 正逐渐成为衡量代码大模","SWE-bench 是一个专为评估大语言模型在真实软件开发场景中表现而设计的基准测试工具。它收集了来自 GitHub 的真实项目代码库及对应的实际_issue_（如 Bug 报告或功能请求），要求模型在理解现有代码的基础上，自动生成能够解决问题的代码补丁。\n\n这一工具主要解决了以往 AI 编程评测多依赖合成数据或简化任务，难以反映模型在复杂、真实工程环境中实战能力的痛点。通过提供基于真实开源项目的测试集，SWE-bench 能更准确地衡量 AI 系统是否具备像人类软件工程师一样定位并修复问题的能力。\n\nSWE-bench 特别适合 AI 研究人员、大模型开发者以及关注代码智能领域的技术团队使用。无论是用于训练新模型、验证算法效果，还是追踪行业技术进展，它都提供了标准化的评估框架。其独特亮点在于采用了完全容器化的 Docker 评估环境，确保测试结果的高度可复现性；此外，项目还推出了经人类工程师验证的\"SWE-bench Verified\"子集，并扩展支持多模态软件任务，进一步提升了评测的严谨性与前沿性。作为普林斯顿大学 NLP 团队的开源成果，SWE-bench 正逐渐成为衡量代码大模型实力的重要标尺。","\u003Cp align=\"center\">\n  \u003Ca href=\"http:\u002F\u002Fswe-bench.github.io\">\n    \u003Cimg src=\"docs\u002Fassets\u002Ffigures\u002Fswellama_banner.svg\" style=\"height: 10em\" alt=\"Kawi the SWE-Llama\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\u003Cstrong>[ \u003Ca href=\"https:\u002F\u002Fswebench.com\u002FSWE-bench\u002F\">Read the Docs\u003C\u002Fa> ]\u003C\u002Fstrong>\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_JP.md\">日本語\u003C\u002Fa> |\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_CN.md\">中文简体\u003C\u002Fa> |\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_TW.md\">中文繁體\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fwww.python.org\u002F\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.8+-1f425f.svg?color=purple\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fcopyright.princeton.edu\u002Fpolicy\">\n        \u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fswebench\">\n        \u003Cimg src=\"https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fswebench.svg\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n---\n\nCode and data for the following works:\n* [ICLR 2025] \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.03859\">SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?\u003C\u002Fa>\n* [ICLR 2024 Oral] \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.06770\">SWE-bench: Can Language Models Resolve Real-World GitHub Issues?\u003C\u002Fa>\n\n## 📰 News\n* **[Jan. 13, 2025]**: We've integrated [SWE-bench Multimodal](https:\u002F\u002Fswebench.com\u002Fmultimodal) ([paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.03859), [dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Multimodal)) into this repository! Unlike SWE-bench, we've kept evaluation for the test split *private*. Submit to the leaderboard using [sb-cli](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002Fsb-cli\u002Ftree\u002Fmain), our new cloud-based evaluation tool.\n* **[Jan. 11, 2025]**: Thanks to [Modal](https:\u002F\u002Fmodal.com\u002F), you can now run evaluations entirely on the cloud! See [here](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fdocs\u002Fassets\u002Fevaluation.md#%EF%B8%8F-evaluation-with-modal) for more details.\n* **[Aug. 13, 2024]**: Introducing *SWE-bench Verified*! Part 2 of our collaboration with [OpenAI Preparedness](https:\u002F\u002Fopenai.com\u002Fpreparedness\u002F). A subset of 500 problems that real software engineers have confirmed are solvable. Check out more in the [report](https:\u002F\u002Fopenai.com\u002Findex\u002Fintroducing-swe-bench-verified\u002F)!\n* **[Jun. 27, 2024]**: We have an exciting update for SWE-bench - with support from [OpenAI's Preparedness](https:\u002F\u002Fopenai.com\u002Fpreparedness\u002F) team: We're moving to a fully containerized evaluation harness using Docker for more reproducible evaluations! Read more in our [report](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fdocs\u002F20240627_docker\u002FREADME.md).\n* **[Apr. 2, 2024]**: We have released [SWE-agent](https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-agent), which sets the state-of-the-art on the full SWE-bench test set! ([Tweet 🔗](https:\u002F\u002Ftwitter.com\u002Fjyangballin\u002Fstatus\u002F1775114444370051582))\n* **[Jan. 16, 2024]**: SWE-bench has been accepted to ICLR 2024 as an oral presentation! ([OpenReview 🔗](https:\u002F\u002Fopenreview.net\u002Fforum?id=VTF8yNQM66))\n\n## 👋 Overview\nSWE-bench is a benchmark for evaluating large language models on real world software issues collected from GitHub.\nGiven a *codebase* and an *issue*, a language model is tasked with generating a *patch* that resolves the described problem.\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSWE-bench_SWE-bench_readme_9738c977b159.png\">\n\nTo access SWE-bench, copy and run the following code:\n```python\nfrom datasets import load_dataset\nswebench = load_dataset('princeton-nlp\u002FSWE-bench', split='test')\n```\n\n## 🚀 Set Up\nSWE-bench uses Docker for reproducible evaluations.\nFollow the instructions in the [Docker setup guide](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002F) to install Docker on your machine.\nIf you're setting up on Linux, we recommend seeing the [post-installation steps](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002Flinux-postinstall\u002F) as well.\n\nFinally, to build SWE-bench from source, follow these steps:\n```bash\ngit clone git@github.com:princeton-nlp\u002FSWE-bench.git\ncd SWE-bench\npip install -e .\n```\n\nTest your installation by running:\n```bash\npython -m swebench.harness.run_evaluation \\\n    --predictions_path gold \\\n    --max_workers 1 \\\n    --instance_ids sympy__sympy-20590 \\\n    --run_id validate-gold\n```\n> [!NOTE]\n> If using a MacOS M-series or other ARM-based systems, add `--namespace ''` to the above script.\n> By default, the evaluation script pulls images (built for Linux) from [DockerHub](https:\u002F\u002Fhub.docker.com\u002Fu\u002Fswebench).\n> Adding `--namespace ''` will cause evaluation images to be built locally instead.\n\n## 💽 Usage\nEvaluate patch predictions on SWE-bench Lite with the following command:\n```bash\npython -m swebench.harness.run_evaluation \\\n    --dataset_name princeton-nlp\u002FSWE-bench_Lite \\\n    --predictions_path \u003Cpath_to_predictions> \\\n    --max_workers \u003Cnum_workers> \\\n    --run_id \u003Crun_id>\n    # use --predictions_path 'gold' to verify the gold patches\n    # use --run_id to name the evaluation run\n    # use --modal true to run on Modal\n```\n\nThis command will generate docker build logs (`logs\u002Fbuild_images`) and evaluation logs (`logs\u002Frun_evaluation`) in the current directory.\n\nThe final evaluation results will be stored in the `evaluation_results` directory.\n\n> [!WARNING]\n> SWE-bench evaluation can be resource intensive\n> We recommend running on an `x86_64` machine with at least 120GB of free storage, 16GB of RAM, and 8 CPU cores.\n> We recommend using fewer than `min(0.75 * os.cpu_count(), 24)` for `--max_workers`.\n>\n> If running with Docker desktop, make sure to increase your virtual disk space to ~120 free GB. Set max_workers to be consistent with the above for the CPUs available to Docker.\n>\n> Support for `arm64` machines is experimental.\n\nTo see the full list of arguments for the evaluation harness, run:\n```bash\npython -m swebench.harness.run_evaluation --help\n```\n\nSee the [evaluation tutorial](docs\u002Fguides\u002Fevaluation.md) for the full rundown on datasets you can evaluate.\nIf you're looking for non-local, cloud based evaluations, check out...\n* [sb-cli](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002Fsb-cli), our tool for running evaluations automatically on AWS, or...\n* Running SWE-bench evaluation on [Modal](https:\u002F\u002Fmodal.com\u002F). Details [here](docs\u002Fguides\u002Fevaluation.md#Cloud-Based-Evaluation)\n\nAdditionally, you can also:\n* [Train](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Ftree\u002Fmain\u002Fswebench\u002Finference\u002Fmake_datasets) your own models on our pre-processed datasets. (🆕 Check out [SWE-smith](https:\u002F\u002Fswesmith.com\u002F), a dedicated toolkit for creating SWE training data.)\n* Run [inference](docs\u002Freference\u002Finference.md) on existing models (both local and API models). The inference step is where you give the model a repo + issue and have it generate a fix.\n*  Run SWE-bench's [data collection procedure](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fswebench\u002Fcollect\u002F) ([tutorial](docs\u002Fguides\u002Fcollection.md)) on your own repositories, to make new SWE-Bench tasks.\n    * ⚠️ We are temporarily pausing support for queries around creating SWE-bench instances. Please see the note in the tutorial.\n\n## ⬇️ Downloads\n| Datasets | Models | RAG |\n| - | - | - |\n| [💿 SWE-bench](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench) | [🦙 SWE-Llama 13b](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-13b) | [🤗 \"Oracle\" Retrieval](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_oracle) |\n| [💿 SWE-bench Lite](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Lite) | [🦙 SWE-Llama 13b (PEFT)](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-13b-peft) | [🤗 BM25 Retrieval 13K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_13K) |\n| [💿 SWE-bench Verified](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Verified) | [🦙 SWE-Llama 7b](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-7b) | [🤗 BM25 Retrieval 27K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_27K) |\n| [💿 SWE-bench Multimodal](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Multimodal) | [🦙 SWE-Llama 7b (PEFT)](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-7b-peft) | [🤗 BM25 Retrieval 40K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_40K) |\n| | | [🤗 BM25 Retrieval 50K (Llama tokens)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_50k_llama) |\n\n## 💫 Contributions\nWe would love to hear from the broader NLP, Machine Learning, and Software Engineering research communities, and we welcome any contributions, pull requests, or issues!\nTo do so, please either file a new pull request or issue and fill in the corresponding templates accordingly. We'll be sure to follow up shortly!\n\nContact person: [Carlos E. Jimenez](http:\u002F\u002Fwww.carlosejimenez.com\u002F) and [John Yang](https:\u002F\u002Fjohn-b-yang.github.io\u002F) (Email: carlosej@princeton.edu, johnby@stanford.edu).\n\n## ✍️ Citation & license\nMIT license. Check `LICENSE.md`.\n\nIf you find our work helpful, please use the following citations.\n\nFor SWE-bench (Verified):\n```bibtex\n@inproceedings{\n    jimenez2024swebench,\n    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},\n    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},\n    booktitle={The Twelfth International Conference on Learning Representations},\n    year={2024},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=VTF8yNQM66}\n}\n```\n\nFor SWE-bench Multimodal\n```bibtex\n@inproceedings{\n    yang2024swebenchmultimodal,\n    title={{SWE}-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?},\n    author={John Yang and Carlos E. Jimenez and Alex L. Zhang and Kilian Lieret and Joyce Yang and Xindi Wu and Ori Press and Niklas Muennighoff and Gabriel Synnaeve and Karthik R. Narasimhan and Diyi Yang and Sida I. Wang and Ofir Press},\n    booktitle={The Thirteenth International Conference on Learning Representations},\n    year={2025},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=riTiq3i21b}\n}\n```\n\nFor SWE-bench Multilingual\n```bibtex\n@misc{yang2025swesmith,\n    title={SWE-smith: Scaling Data for Software Engineering Agents},\n    author={John Yang and Kilian Lieret and Carlos E. Jimenez and Alexander Wettig and Kabir Khandpur and Yanzhe Zhang and Binyuan Hui and Ofir Press and Ludwig Schmidt and Diyi Yang},\n    year={2025},\n    eprint={2504.21798},\n    archivePrefix={arXiv},\n    primaryClass={cs.SE},\n    url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.21798},\n}\n```\n\n## Our Other Projects\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-bench\u002Fsb-cli\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fsbcli_logo_text_below.svg\" alt=\"sb-cli\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-smith\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fswesmith_logo_text_below.svg\" alt=\"SWE-smith\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-agent\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fsweagent_logo_text_below.svg\" alt=\"SWE-agent\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcodeclash-ai\u002Fcodeclash\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fcodeclash_logo_text_below.svg\" alt=\"CodeClash\" height=\"120px\">\u003C\u002Fa>\n    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FMini-SWE-Agent\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fmini_logo_text_below.svg\" alt=\"Mini-SWE-Agent\" height=\"120px\">\u003C\u002Fa>\n    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-ReX\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fswerex_logo_text_below.svg\" alt=\"SWE-ReX\" height=\"120px\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n","\u003Cp align=\"center\">\n  \u003Ca href=\"http:\u002F\u002Fswe-bench.github.io\">\n    \u003Cimg src=\"docs\u002Fassets\u002Ffigures\u002Fswellama_banner.svg\" style=\"height: 10em\" alt=\"Kawi the SWE-Llama\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\u003Cstrong>[ \u003Ca href=\"https:\u002F\u002Fswebench.com\u002FSWE-bench\u002F\">阅读文档\u003C\u002Fa> ]\u003C\u002Fstrong>\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_JP.md\">日语\u003C\u002Fa> |\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_CN.md\">中文简体\u003C\u002Fa> |\n  \u003Ca href=\"docs\u002Fother_languages\u002FREADME_TW.md\">中文繁體\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fwww.python.org\u002F\">\n        \u003Cimg alt=\"构建\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.8+-1f425f.svg?color=purple\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fcopyright.princeton.edu\u002Fpolicy\">\n        \u003Cimg alt=\"许可证\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fswebench\">\n        \u003Cimg src=\"https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fswebench.svg\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n---\n\n以下工作的代码和数据：\n* [ICLR 2025] \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.03859\">SWE-bench 多模态：AI 系统能否泛化到视觉软件领域？\u003C\u002Fa>\n* [ICLR 2024 口头报告] \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.06770\">SWE-bench：语言模型能否解决真实的 GitHub 问题？\u003C\u002Fa>\n\n## 📰 新闻\n* **[2025年1月13日]**：我们已将 [SWE-bench 多模态](https:\u002F\u002Fswebench.com\u002Fmultimodal)（[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.03859)，[数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Multimodal)) 集成到本仓库！与 SWE-bench 不同的是，我们对测试集的评估结果仍保持 *私密*。请使用我们的全新云端评估工具 [sb-cli](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002Fsb-cli\u002Ftree\u002Fmain) 提交排行榜。\n* **[2025年1月11日]**：感谢 [Modal](https:\u002F\u002Fmodal.com\u002F)，现在您可以在云端完全运行评估！详情请参阅 [这里](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fdocs\u002Fassets\u002Fevaluation.md#%EF%B8%8F-evaluation-with-modal)。\n* **[2024年8月13日]**：隆重推出 *SWE-bench Verified*！这是我们与 [OpenAI Preparedness](https:\u002F\u002Fopenai.com\u002Fpreparedness\u002F) 合作的第二部分。这是一个由 500 个问题组成的子集，这些问题是经真实软件工程师确认可解的。更多内容请参阅 [报告](https:\u002F\u002Fopenai.com\u002Findex\u002Fintroducing-swe-bench-verified\u002F)！\n* **[2024年6月27日]**：在 [OpenAI's Preparedness](https:\u002F\u002Fopenai.com\u002Fpreparedness\u002F) 团队的支持下，我们为 SWE-bench 带来了令人振奋的更新：我们将采用 Docker 实现完全容器化的评估框架，以提高评估的可重复性！更多信息请参阅我们的 [报告](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fdocs\u002F20240627_docker\u002FREADME.md)。\n* **[2024年4月2日]**：我们发布了 [SWE-agent](https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-agent)，它在完整的 SWE-bench 测试集上达到了最先进的水平！（[推文 🔗](https:\u002F\u002Ftwitter.com\u002Fjyangballin\u002Fstatus\u002F1775114444370051582)）\n* **[2024年1月16日]**：SWE-bench 已被 ICLR 2024 接受为口头报告！（[OpenReview 🔗](https:\u002F\u002Fopenreview.net\u002Fforum?id=VTF8yNQM66)）\n\n## 👋 概述\nSWE-bench 是一个用于评估大型语言模型在来自 GitHub 的真实软件问题上的表现的基准测试集。\n给定一个 *代码库* 和一个问题，语言模型的任务是生成一个能够解决该问题的 *补丁*。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSWE-bench_SWE-bench_readme_9738c977b159.png\">\n\n要访问 SWE-bench，复制并运行以下代码：\n```python\nfrom datasets import load_dataset\nswebench = load_dataset('princeton-nlp\u002FSWE-bench', split='test')\n```\n\n## 🚀 设置\nSWE-bench 使用 Docker 进行可重复的评估。\n请按照 [Docker 安装指南](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002F) 中的说明，在您的机器上安装 Docker。\n如果您是在 Linux 上设置，我们也建议您查看 [安装后步骤](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002Flinux-postinstall\u002F)。\n\n最后，要从源代码构建 SWE-bench，请按照以下步骤操作：\n```bash\ngit clone git@github.com:princeton-nlp\u002FSWE-bench.git\ncd SWE-bench\npip install -e .\n```\n\n通过运行以下命令来测试您的安装：\n```bash\npython -m swebench.harness.run_evaluation \\\n    --predictions_path gold \\\n    --max_workers 1 \\\n    --instance_ids sympy__sympy-20590 \\\n    --run_id validate-gold\n```\n> [!注意]\n> 如果您使用的是 macOS M 系列或其他基于 ARM 的系统，请在上述脚本中添加 `--namespace ''`。\n> 默认情况下，评估脚本会从 [DockerHub](https:\u002F\u002Fhub.docker.com\u002Fu\u002Fswebench) 拉取针对 Linux 构建的镜像。\n> 添加 `--namespace ''` 将使评估镜像在本地构建，而不是从远程拉取。\n\n## 💽 使用方法\n使用以下命令在 SWE-bench Lite 上评估补丁预测：\n```bash\npython -m swebench.harness.run_evaluation \\\n    --dataset_name princeton-nlp\u002FSWE-bench_Lite \\\n    --predictions_path \u003C预测文件路径> \\\n    --max_workers \u003C工作线程数> \\\n    --run_id \u003C运行标识> \\\n    # 使用 --predictions_path 'gold' 来验证黄金补丁\n    # 使用 --run_id 为评估运行命名\n    # 使用 --modal true 在 Modal 上运行\n```\n\n此命令将在当前目录下生成 Docker 构建日志（`logs\u002Fbuild_images`）和评估日志（`logs\u002Frun_evaluation`）。\n\n最终的评估结果将存储在 `evaluation_results` 目录中。\n\n> [!警告]\n> SWE-bench 评估可能会占用大量资源。\n> 我们建议在至少拥有 120GB 可用存储空间、16GB 内存和 8 个 CPU 核心的 `x86_64` 机器上运行。\n> 我们建议将 `--max_workers` 设置为不超过 `min(0.75 * os.cpu_count(), 24)`。\n>\n> 如果使用 Docker Desktop，请确保将虚拟磁盘空间增加到约 120GB。并将 `max_workers` 设置为与 Docker 可用 CPU 核心数一致。\n>\n> 对 `arm64` 机器的支持目前仍处于实验阶段。\n\n要查看评估框架的所有参数列表，请运行：\n```bash\npython -m swebench.harness.run_evaluation --help\n```\n\n有关您可以评估的数据集的完整说明，请参阅 [评估教程](docs\u002Fguides\u002Fevaluation.md)。\n如果您需要非本地的云端评估，可以考虑：\n* [sb-cli](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002Fsb-cli)，我们的工具可在 AWS 上自动运行评估；或\n* 在 [Modal](https:\u002F\u002Fmodal.com\u002F) 上运行 SWE-bench 评估。详细信息请参阅 [这里](docs\u002Fguides\u002Fevaluation.md#Cloud-Based-Evaluation)。\n\n此外，您还可以：\n* [训练](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Ftree\u002Fmain\u002Fswebench\u002Finference\u002Fmake_datasets) 您自己的模型，使用我们预处理过的数据集。（🆕 请查看 [SWE-smith](https:\u002F\u002Fswesmith.com\u002F)，一个专门用于创建 SWE 训练数据的工具包。）\n* 对现有模型进行 [推理](docs\u002Freference\u002Finference.md)（包括本地模型和 API 模型）。推理步骤是指您向模型提供代码库和问题，并让其生成修复方案。\n* 在您自己的代码库上运行 SWE-bench 的 [数据收集流程](https:\u002F\u002Fgithub.com\u002Fswe-bench\u002FSWE-bench\u002Fblob\u002Fmain\u002Fswebench\u002Fcollect\u002F)（[教程](docs\u002Fguides\u002Fcollection.md)），以创建新的 SWE-bench 任务。\n    * ⚠️ 我们暂时暂停了关于创建 SWE-bench 实例的相关支持。请参阅教程中的说明。\n\n## ⬇️ 下载\n| 数据集 | 模型 | RAG |\n| - | - | - |\n| [💿 SWE-bench](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench) | [🦙 SWE-Llama 13b](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-13b) | [🤗 \"Oracle\" 检索](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_oracle) |\n| [💿 SWE-bench Lite](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Lite) | [🦙 SWE-Llama 13b (PEFT)](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-13b-peft) | [🤗 BM25 检索 13K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_13K) |\n| [💿 SWE-bench Verified](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Verified) | [🦙 SWE-Llama 7b](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-7b) | [🤗 BM25 检索 27K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_27K) |\n| [💿 SWE-bench 多模态](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSWE-bench\u002FSWE-bench_Multimodal) | [🦙 SWE-Llama 7b (PEFT)](https:\u002F\u002Fhuggingface.co\u002Fprinceton-nlp\u002FSWE-Llama-7b-peft) | [🤗 BM25 检索 40K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_40K) |\n| | | [🤗 BM25 检索 50K (Llama 令牌)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fprinceton-nlp\u002FSWE-bench_bm25_50k_llama) |\n\n## 💫 贡献\n我们非常期待来自更广泛的自然语言处理、机器学习和软件工程研究社区的反馈，并欢迎任何贡献、拉取请求或问题！\n如需参与，请提交新的拉取请求或问题，并按照相应的模板填写。我们会尽快跟进！\n\n联系人：[卡洛斯·E·希门尼斯](http:\u002F\u002Fwww.carlosejimenez.com\u002F) 和 [约翰·杨](https:\u002F\u002Fjohn-b-yang.github.io\u002F)（邮箱：carlosej@princeton.edu, johnby@stanford.edu）。\n\n## ✍️ 引用与许可\nMIT 许可证。请查看 `LICENSE.md`。\n\n如果您觉得我们的工作有所帮助，请使用以下引用。\n\n关于 SWE-bench (Verified)：\n```bibtex\n@inproceedings{\n    jimenez2024swebench,\n    title={{SWE}-bench: 语言模型能否解决真实的 GitHub 问题？},\n    author={卡洛斯·E·希门尼斯、约翰·杨、亚历山大·韦蒂格、孙宇尧、凯欣·裴、奥菲尔·普雷斯、卡尔蒂克·R·纳拉西曼},\n    booktitle={第十二届国际学习表征会议},\n    year={2024},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=VTF8yNQM66}\n}\n```\n\n关于 SWE-bench 多模态：\n```bibtex\n@inproceedings{\n    yang2024swebenchmultimodal,\n    title={{SWE}-bench 多模态：AI 系统能否泛化到视觉软件领域？},\n    author={约翰·杨、卡洛斯·E·希门尼斯、亚历克斯·L·张、基利安·利埃雷特、乔伊斯·杨、辛迪·吴、奥里·普雷斯、尼克拉斯·穆恩尼霍夫、加布里埃尔·辛纳耶夫、卡尔蒂克·R·纳拉西曼、狄伊·杨、西达·I·王、奥菲尔·普雷斯},\n    booktitle={第十三届国际学习表征会议},\n    year={2025},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=riTiq3i21b}\n}\n```\n\n关于 SWE-bench 多语言：\n```bibtex\n@misc{yang2025swesmith,\n    title={SWE-smith：为软件工程代理扩展数据规模},\n    author={约翰·杨、基利安·利埃雷特、卡洛斯·E·希门尼斯、亚历山大·韦蒂格、卡比尔·坎德普尔、严哲张、宾远辉、奥菲尔·普雷斯、路德维希·施密特、狄伊·杨},\n    year={2025},\n    eprint={2504.21798},\n    archivePrefix={arXiv},\n    primaryClass={cs.SE},\n    url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.21798},\n}\n```\n\n## 我们的其他项目\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-bench\u002Fsb-cli\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fsbcli_logo_text_below.svg\" alt=\"sb-cli\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-smith\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fswesmith_logo_text_below.svg\" alt=\"SWE-smith\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-agent\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fsweagent_logo_text_below.svg\" alt=\"SWE-agent\" height=\"120px\">\u003C\u002Fa>\n     \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcodeclash-ai\u002Fcodeclash\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fcodeclash_logo_text_below.svg\" alt=\"CodeClash\" height=\"120px\">\u003C\u002Fa>\n    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FMini-SWE-Agent\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fmini_logo_text_below.svg\" alt=\"Mini-SWE-Agent\" height=\"120px\">\u003C\u002Fa>\n    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FSWE-agent\u002FSWE-ReX\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSWE-agent\u002Fswe-agent-media\u002Frefs\u002Fheads\u002Fmain\u002Fmedia\u002Flogos_banners\u002Fswerex_logo_text_below.svg\" alt=\"SWE-ReX\" height=\"120px\">\u003C\u002Fa>\n\u003C\u002Fdiv>","# SWE-bench 快速上手指南\n\nSWE-bench 是一个用于评估大语言模型解决真实世界 GitHub 软件问题能力的基准测试工具。给定一个代码库和一个 Issue，模型需要生成能够修复该问题的补丁（Patch）。\n\n## 环境准备\n\n### 系统要求\n为了获得最佳的重现性和性能，建议满足以下硬件配置：\n*   **架构**：推荐 `x86_64` 架构机器（`arm64` 支持尚处于实验阶段）。\n*   **存储**：至少预留 **120GB** 可用磁盘空间（用于存放 Docker 镜像和构建日志）。\n*   **内存**：至少 **16GB** RAM。\n*   **CPU**：至少 **8 核**。\n*   **操作系统**：Linux 或 macOS（M 系列芯片需特殊配置，见下文）。\n\n### 前置依赖\n1.  **Python**: 版本需为 3.8 或更高。\n2.  **Docker**: 必须安装 Docker Engine 以支持容器化评估。\n    *   安装指南：[Docker 官方安装文档](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002F)\n    *   **Linux 用户注意**：安装后请执行 [后安装步骤](https:\u002F\u002Fdocs.docker.com\u002Fengine\u002Finstall\u002Flinux-postinstall\u002F) 以配置非 root 用户权限。\n    *   **Docker Desktop 用户**：请在设置中将虚拟磁盘空间增加至约 120GB。\n\n## 安装步骤\n\n### 1. 克隆仓库\n从 GitHub 克隆 SWE-bench 源代码：\n```bash\ngit clone git@github.com:princeton-nlp\u002FSWE-bench.git\ncd SWE-bench\n```\n\n### 2. 安装依赖\n使用 pip 以可编辑模式安装包：\n```bash\npip install -e .\n```\n> **提示**：国内开发者若下载缓慢，可指定清华或阿里镜像源：\n> `pip install -e . -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 验证安装\n运行以下命令测试安装是否成功（此命令将验证一个金色的标准补丁）：\n```bash\npython -m swebench.harness.run_evaluation \\\n    --predictions_path gold \\\n    --max_workers 1 \\\n    --instance_ids sympy__sympy-20590 \\\n    --run_id validate-gold\n```\n\n> **⚠️ macOS M 系列\u002FARM 用户注意**：\n> 默认脚本会从 DockerHub 拉取为 Linux 构建的镜像。若在 ARM 架构机器上运行，**必须**添加 `--namespace ''` 参数以在本地构建镜像：\n> ```bash\n> python -m swebench.harness.run_evaluation \\\n>     --predictions_path gold \\\n>     --max_workers 1 \\\n>     --instance_ids sympy__sympy-20590 \\\n>     --run_id validate-gold \\\n>     --namespace ''\n> ```\n\n## 基本使用\n\n评估模型生成的补丁预测结果，主要使用 `run_evaluation` 模块。\n\n### 评估示例\n假设你已经有了一组模型生成的补丁文件（JSON 格式），可以使用以下命令在 **SWE-bench Lite** 数据集上进行评估：\n\n```bash\npython -m swebench.harness.run_evaluation \\\n    --dataset_name princeton-nlp\u002FSWE-bench_Lite \\\n    --predictions_path \u003Cpath_to_predictions> \\\n    --max_workers \u003Cnum_workers> \\\n    --run_id \u003Crun_id>\n```\n\n**参数说明：**\n*   `--dataset_name`: 指定评估数据集（如 `princeton-nlp\u002FSWE-bench_Lite` 或 `princeton-nlp\u002FSWE-bench_Verified`）。\n*   `--predictions_path`: 指向包含模型预测补丁的文件路径。若需验证官方金标数据，可设为 `'gold'`。\n*   `--max_workers`: 并行工作的数量。建议设置为 `min(0.75 * CPU 核心数，24)` 以避免资源过载。\n*   `--run_id`: 自定义本次评估运行的标识名称。\n*   `--modal true`: (可选) 若需在 Modal 云端运行评估，添加此参数。\n\n### 输出结果\n运行结束后，当前目录下将生成：\n*   `logs\u002Fbuild_images`: Docker 镜像构建日志。\n*   `logs\u002Frun_evaluation`: 评估过程日志。\n*   `evaluation_results`: **最终评估结果文件**。\n\n### 查看完整参数\n如需查看所有可用的评估参数选项，可运行：\n```bash\npython -m swebench.harness.run_evaluation --help\n```","某开源 Python 数据分析库的维护团队，正面临 GitHub 上积压的大量复杂 Issue，急需评估新引入的 AI 编程助手是否具备真正修复生产环境代码的能力。\n\n### 没有 SWE-bench 时\n- **评估标准模糊**：团队只能依靠人工抽查几个简单 Bug 来测试 AI，无法判断其在处理涉及多文件修改、依赖冲突等真实复杂场景时的表现。\n- **环境复现困难**：每个 Issue 依赖特定的代码版本和运行环境，人工搭建测试现场耗时极长，导致验证一个补丁往往需要数小时。\n- **回归风险不可控**：难以确保 AI 生成的代码不仅修复了当前问题，还没有意外破坏原有的功能逻辑，缺乏自动化的回归测试机制。\n- **进步难以量化**：在迭代优化 AI 模型时，缺乏统一的基准数据集，无法客观对比不同版本模型在解决真实工程问题上的能力提升。\n\n### 使用 SWE-bench 后\n- **真实场景全覆盖**：直接调用 SWE-bench 中收录的真实 GitHub Issue 数据集，让 AI 在涵盖各种边缘情况和复杂依赖的标准考题中进行“实战演习”。\n- **一键容器化验证**：利用 SWE-bench 基于 Docker 的评估框架，自动为每个问题构建隔离环境，几分钟内即可完成从代码生成到补丁验证的全流程。\n- **自动化回归检测**：SWE-bench 自动运行项目原有的测试套件，精准判断生成的补丁是否通过了所有单元测试，确保修复方案的安全性与有效性。\n- **客观能力标尺**：团队获得了统一的量化评分（如解决率），清晰看到 AI 模型从仅能处理简单语法错误，进化到能独立解决深层逻辑漏洞的具体幅度。\n\nSWE-bench 将原本主观且低效的 AI 代码能力评估，转变为可复现、自动化且基于真实世界难题的标准化基准测试。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSWE-bench_SWE-bench_9738c977.png","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FSWE-bench_8c8506e2.png","Organization for maintaining SWE-bench and related projects",null,"https:\u002F\u002Fswebench.com\u002F","https:\u002F\u002Fgithub.com\u002FSWE-bench",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",99.2,{"name":88,"color":89,"percentage":90},"Shell","#89e051",0.8,4694,827,"2026-04-14T18:54:32","MIT","Linux, macOS","未说明 (主要依赖 CPU 进行 Docker 容器化评估)","推荐 16GB+",{"notes":99,"python":100,"dependencies":101},"1. 必须安装 Docker 以进行可复现的容器化评估。\n2. 推荐在 x86_64 架构机器上运行，需至少 120GB 可用存储空间和 8 核 CPU。\n3. ARM 架构（如 macOS M 系列）支持处于实验阶段，运行评估时需添加 '--namespace '' '参数以本地构建镜像。\n4. 若使用 Docker Desktop，需将虚拟磁盘空间增加至约 120GB。\n5. 并行工作线程数 (--max_workers) 建议设置为 min(0.75 * CPU 核心数，24)。","3.8+",[102,103],"Docker","swebench (自安装)",[46,15],[106,107,108],"benchmark","language-model","software-engineering","2026-03-27T02:49:30.150509","2026-04-15T08:11:01.629737",[112,117,122,127,132,137],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},34087,"在 SWE-bench Verified 评估中，Agent 如何利用仓库状态漏洞获取未来提交信息？","已发现多种漏洞，Agent 可通过直接查询或特定方法查看未来的仓库状态（包含解决方案或详细修复步骤）。例如：\n1. 使用 `git log --all` 命令泄露直接修复问题的未来提交。\n2. 使用 `git log --grep=[issue ID]` 直接揭示包含修复的未来 PR。\n\n维护者确认该问题已在 SWE-bench Verified 和 SWE-bench Multilingual 版本中修复。如果不希望重建镜像，可以使用社区提供的脚本来动态解决 git 镜像黑客问题，通过移除特定标签来防止访问未来状态。","https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-bench\u002Fissues\u002F465",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},34088,"运行评估脚本时遇到 'CalledProcessError' 或 Conda 环境激活失败怎么办？","这是一个常见的环境配置问题，主要解决方案包括：\n1. **替换命令**：在脚本中使用 `.` 代替 `source` 命令来激活环境（例如：`. \u002Fpath\u002Fto\u002Factivate`）。\n2. **检查 Conda 版本**：确保安装的 Conda 版本兼容，某些版本可能导致路径解析错误。\n3. **使用 Docker**：官方已推出基于 Docker 容器的新版评估 harness，可消除不同机器\u002F操作系统导致的环境差异。\n4. **参考修复报告**：查看官方发布的评估 bug 修复报告以获取详细的安装规范。","https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-bench\u002Fissues\u002F55",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},34089,"SWE-bench 是否存在“熟练人类的上限分数”？任务是否对人类来说也太难了？","早期版本的 SWE-bench 确实存在任务描述不明确、隐藏测试用例检查实现细节而非需求的问题，导致熟练人类也难以满分解决。\n\n针对此问题，官方推出了 **SWE-bench Verified** 版本。在该版本中，所有任务都经过人工验证，确保任务描述清晰且测试用例合理。在 SWE-bench Verified 上，熟练人类的上限分数应接近 100%。建议用户直接使用 SWE-bench Verified 进行评估以获得准确结果。","https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-bench\u002Fissues\u002F72",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},34090,"运行 sb-cli submit 时遇到 'SSL Certificate Expired' (SSL 证书过期) 错误如何解决？","当执行 `sb-cli submit` 命令时，如果出现 `SSLCertVerificationError: certificate has expired` 错误，通常是因为服务器端的 SSL 证书过期或配置问题。\n\n解决方法：\n1. 等待维护者更新服务器证书（维护者通常会迅速修复此类服务端问题）。\n2. 如果是本地时间设置错误，请校准系统时间。\n3. 临时规避（不推荐用于生产）：在某些 CLI 工具中可尝试添加忽略证书验证的标志，但最佳方案是联系维护者或等待官方修复确认。","https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-bench\u002Fissues\u002F500",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},34091,"运行评估脚本时报错 'ModuleNotFoundError: No module named conda' 是什么原因？","该错误通常发生在评估 harness 下载并安装了 Miniconda，但在首次调用 `conda` 命令（如获取环境列表）时，Python 环境中找不到 `conda` 模块。\n\n常见原因及解决思路：\n1. **环境变量未生效**：新安装的 conda 可能未正确添加到当前 shell 的 PATH 中。\n2. **初始化问题**：需要在安装后运行 `conda init` 并重启 shell，或者在脚本中显式 source conda 的配置文件。\n3. **版本冲突**：确保使用的 Python 环境与安装的 conda 版本兼容。建议完全清理旧的 conda 安装，按照 README 最新指示重新创建 `swe-bench` 环境。","https:\u002F\u002Fgithub.com\u002FSWE-bench\u002FSWE-bench\u002Fissues\u002F77",{"id":138,"question_zh":139,"answer_zh":140,"source_url":116},34092,"在哪里可以查看不同模型（如 Qwen, GPT-4, Claude 等）在 SWE-bench 上的 Bash 轨迹数据？","官方已将大多数仅使用 Bash 的模型运行轨迹托管在 **Docent** 平台上，用户可以在线查看详细的执行日志和仪表盘。\n\n支持的模型包括但不限于：\n- qwen2-5-coder-32b-instruct\n- o4-mini, gpt-4.1, gpt-5, gpt-5-mini\n- glm-4.5\n- qwen3-coder-480b\n- claude-4-opus\n- gemini-2.5-flash\n\n访问地址示例：https:\u002F\u002Fdocent.transluce.org\u002Fdashboard\u002F[具体ID]，具体链接可在项目讨论区找到。",[]]