[ 阅读文档 ]

日语 | 中文简体 | 中文繁體

---

以下工作的代码和数据：

• [ICLR 2025] SWE-bench 多模态：AI 系统能否泛化到视觉软件领域？
• [ICLR 2024 口头报告] SWE-bench：语言模型能否解决真实的 GitHub 问题？

📰 新闻

• [2025年1月13日]：我们已将 SWE-bench 多模态（论文，数据集) 集成到本仓库！与 SWE-bench 不同的是，我们对测试集的评估结果仍保持 私密。请使用我们的全新云端评估工具 sb-cli 提交排行榜。
• [2025年1月11日]：感谢 Modal，现在您可以在云端完全运行评估！详情请参阅 这里。
• [2024年8月13日]：隆重推出 SWE-bench Verified！这是我们与 OpenAI Preparedness 合作的第二部分。这是一个由 500 个问题组成的子集，这些问题是经真实软件工程师确认可解的。更多内容请参阅 报告！
• [2024年6月27日]：在 OpenAI's Preparedness 团队的支持下，我们为 SWE-bench 带来了令人振奋的更新：我们将采用 Docker 实现完全容器化的评估框架，以提高评估的可重复性！更多信息请参阅我们的 报告。
• [2024年4月2日]：我们发布了 SWE-agent，它在完整的 SWE-bench 测试集上达到了最先进的水平！（推文 🔗）
• [2024年1月16日]：SWE-bench 已被 ICLR 2024 接受为口头报告！（OpenReview 🔗）

👋 概述

SWE-bench 是一个用于评估大型语言模型在来自 GitHub 的真实软件问题上的表现的基准测试集。 给定一个 代码库 和一个问题，语言模型的任务是生成一个能够解决该问题的 补丁。

要访问 SWE-bench，复制并运行以下代码：

from datasets import load_dataset
swebench = load_dataset('princeton-nlp/SWE-bench', split='test')

🚀 设置

SWE-bench 使用 Docker 进行可重复的评估。 请按照 Docker 安装指南 中的说明，在您的机器上安装 Docker。 如果您是在 Linux 上设置，我们也建议您查看 安装后步骤。

最后，要从源代码构建 SWE-bench，请按照以下步骤操作：

git clone git@github.com:princeton-nlp/SWE-bench.git
cd SWE-bench
pip install -e .

通过运行以下命令来测试您的安装：

python -m swebench.harness.run_evaluation \
    --predictions_path gold \
    --max_workers 1 \
    --instance_ids sympy__sympy-20590 \
    --run_id validate-gold

[!注意] 如果您使用的是 macOS M 系列或其他基于 ARM 的系统，请在上述脚本中添加 --namespace ''。 默认情况下，评估脚本会从 DockerHub 拉取针对 Linux 构建的镜像。 添加 --namespace '' 将使评估镜像在本地构建，而不是从远程拉取。

💽 使用方法

使用以下命令在 SWE-bench Lite 上评估补丁预测：

python -m swebench.harness.run_evaluation \
    --dataset_name princeton-nlp/SWE-bench_Lite \
    --predictions_path <预测文件路径> \
    --max_workers <工作线程数> \
    --run_id <运行标识> \
    # 使用 --predictions_path 'gold' 来验证黄金补丁
    # 使用 --run_id 为评估运行命名
    # 使用 --modal true 在 Modal 上运行

此命令将在当前目录下生成 Docker 构建日志（logs/build_images）和评估日志（logs/run_evaluation）。

最终的评估结果将存储在 evaluation_results 目录中。

[!警告] SWE-bench 评估可能会占用大量资源。 我们建议在至少拥有 120GB 可用存储空间、16GB 内存和 8 个 CPU 核心的 x86_64 机器上运行。 我们建议将 --max_workers 设置为不超过 min(0.75 * os.cpu_count(), 24)。

如果使用 Docker Desktop，请确保将虚拟磁盘空间增加到约 120GB。并将 max_workers 设置为与 Docker 可用 CPU 核心数一致。

对 arm64 机器的支持目前仍处于实验阶段。

要查看评估框架的所有参数列表，请运行：

python -m swebench.harness.run_evaluation --help

有关您可以评估的数据集的完整说明，请参阅 评估教程。 如果您需要非本地的云端评估，可以考虑：

• sb-cli，我们的工具可在 AWS 上自动运行评估；或
• 在 Modal 上运行 SWE-bench 评估。详细信息请参阅 这里。

此外，您还可以：

• 训练 您自己的模型，使用我们预处理过的数据集。（🆕 请查看 SWE-smith，一个专门用于创建 SWE 训练数据的工具包。）
• 对现有模型进行 推理（包括本地模型和 API 模型）。推理步骤是指您向模型提供代码库和问题，并让其生成修复方案。
• 在您自己的代码库上运行 SWE-bench 的 数据收集流程（教程），以创建新的 SWE-bench 任务。
  • ⚠️ 我们暂时暂停了关于创建 SWE-bench 实例的相关支持。请参阅教程中的说明。

⬇️ 下载

数据集	模型	RAG
💿 SWE-bench	🦙 SWE-Llama 13b	🤗 "Oracle" 检索
💿 SWE-bench Lite	🦙 SWE-Llama 13b (PEFT)	🤗 BM25 检索 13K
💿 SWE-bench Verified	🦙 SWE-Llama 7b	🤗 BM25 检索 27K
💿 SWE-bench 多模态	🦙 SWE-Llama 7b (PEFT)	🤗 BM25 检索 40K
		🤗 BM25 检索 50K (Llama 令牌)

💫 贡献

我们非常期待来自更广泛的自然语言处理、机器学习和软件工程研究社区的反馈，并欢迎任何贡献、拉取请求或问题！ 如需参与，请提交新的拉取请求或问题，并按照相应的模板填写。我们会尽快跟进！

联系人：卡洛斯·E·希门尼斯 和 约翰·杨（邮箱：carlosej@princeton.edu, johnby@stanford.edu）。

✍️ 引用与许可

MIT 许可证。请查看 LICENSE.md。

如果您觉得我们的工作有所帮助，请使用以下引用。

关于 SWE-bench (Verified)：

@inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: 语言模型能否解决真实的 GitHub 问题？},
    author={卡洛斯·E·希门尼斯、约翰·杨、亚历山大·韦蒂格、孙宇尧、凯欣·裴、奥菲尔·普雷斯、卡尔蒂克·R·纳拉西曼},
    booktitle={第十二届国际学习表征会议},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}

关于 SWE-bench 多模态：

@inproceedings{
    yang2024swebenchmultimodal,
    title={{SWE}-bench 多模态：AI 系统能否泛化到视觉软件领域？},
    author={约翰·杨、卡洛斯·E·希门尼斯、亚历克斯·L·张、基利安·利埃雷特、乔伊斯·杨、辛迪·吴、奥里·普雷斯、尼克拉斯·穆恩尼霍夫、加布里埃尔·辛纳耶夫、卡尔蒂克·R·纳拉西曼、狄伊·杨、西达·I·王、奥菲尔·普雷斯},
    booktitle={第十三届国际学习表征会议},
    year={2025},
    url={https://openreview.net/forum?id=riTiq3i21b}
}

关于 SWE-bench 多语言：

@misc{yang2025swesmith,
    title={SWE-smith：为软件工程代理扩展数据规模},
    author={约翰·杨、基利安·利埃雷特、卡洛斯·E·希门尼斯、亚历山大·韦蒂格、卡比尔·坎德普尔、严哲张、宾远辉、奥菲尔·普雷斯、路德维希·施密特、狄伊·杨},
    year={2025},
    eprint={2504.21798},
    archivePrefix={arXiv},
    primaryClass={cs.SE},
    url={https://arxiv.org/abs/2504.21798},
}

我们的其他项目

SWE-bench 快速上手指南

SWE-bench 是一个用于评估大语言模型解决真实世界 GitHub 软件问题能力的基准测试工具。给定一个代码库和一个 Issue，模型需要生成能够修复该问题的补丁（Patch）。

环境准备

系统要求

为了获得最佳的重现性和性能，建议满足以下硬件配置：

• 架构：推荐 x86_64 架构机器（arm64 支持尚处于实验阶段）。
• 存储：至少预留 120GB 可用磁盘空间（用于存放 Docker 镜像和构建日志）。
• 内存：至少 16GB RAM。
• CPU：至少 8 核。
• 操作系统：Linux 或 macOS（M 系列芯片需特殊配置，见下文）。

前置依赖

1. Python: 版本需为 3.8 或更高。
2. Docker: 必须安装 Docker Engine 以支持容器化评估。
   • 安装指南：Docker 官方安装文档
   • Linux 用户注意：安装后请执行 后安装步骤 以配置非 root 用户权限。
   • Docker Desktop 用户：请在设置中将虚拟磁盘空间增加至约 120GB。

安装步骤

1. 克隆仓库

从 GitHub 克隆 SWE-bench 源代码：

git clone git@github.com:princeton-nlp/SWE-bench.git
cd SWE-bench

2. 安装依赖

使用 pip 以可编辑模式安装包：

pip install -e .

提示：国内开发者若下载缓慢，可指定清华或阿里镜像源： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证安装

运行以下命令测试安装是否成功（此命令将验证一个金色的标准补丁）：

python -m swebench.harness.run_evaluation \
    --predictions_path gold \
    --max_workers 1 \
    --instance_ids sympy__sympy-20590 \
    --run_id validate-gold

⚠️ macOS M 系列/ARM 用户注意： 默认脚本会从 DockerHub 拉取为 Linux 构建的镜像。若在 ARM 架构机器上运行，必须添加 --namespace '' 参数以在本地构建镜像：

python -m swebench.harness.run_evaluation \
    --predictions_path gold \
    --max_workers 1 \
    --instance_ids sympy__sympy-20590 \
    --run_id validate-gold \
    --namespace ''

基本使用

评估模型生成的补丁预测结果，主要使用 run_evaluation 模块。

评估示例

假设你已经有了一组模型生成的补丁文件（JSON 格式），可以使用以下命令在 SWE-bench Lite 数据集上进行评估：

python -m swebench.harness.run_evaluation \
    --dataset_name princeton-nlp/SWE-bench_Lite \
    --predictions_path <path_to_predictions> \
    --max_workers <num_workers> \
    --run_id <run_id>

参数说明：

• --dataset_name: 指定评估数据集（如 princeton-nlp/SWE-bench_Lite 或 princeton-nlp/SWE-bench_Verified）。
• --predictions_path: 指向包含模型预测补丁的文件路径。若需验证官方金标数据，可设为 'gold'。
• --max_workers: 并行工作的数量。建议设置为 min(0.75 * CPU 核心数，24) 以避免资源过载。
• --run_id: 自定义本次评估运行的标识名称。
• --modal true: (可选) 若需在 Modal 云端运行评估，添加此参数。

输出结果

运行结束后，当前目录下将生成：

• logs/build_images: Docker 镜像构建日志。
• logs/run_evaluation: 评估过程日志。
• evaluation_results: 最终评估结果文件。

查看完整参数

如需查看所有可用的评估参数选项，可运行：

python -m swebench.harness.run_evaluation --help