😺 Agentless

😽 新闻 | 🐈 设置 | 🧶 对比 | 🐈‍⬛ 产物 | 📝 引用 | 😻 致谢

😽 新闻

• 2024 年 12 月 2 日: 我们将 Agentless 与 Claude 3.5 Sonnet 集成，在 SWE-bench lite 和 Verified 上分别实现了 40.7% 和 50.8% 的解决率
• 2024 年 10 月 28 日: 我们刚刚发布了 OpenAutoCoder-Agentless 1.5！
• 2024 年 7 月 1 日: 我们刚刚发布了 OpenAutoCoder-Agentless 1.0！Agentless 目前在 SWE-bench lite 上是最佳的开源方法，拥有 82 个修复（27.3%），平均每问题成本为 $0.34。

😺 关于

Agentless 是一种用于自动解决软件开发问题的 无代理（agentless） 方法。为了解决每个问题，Agentless 遵循一个简单的三阶段流程：定位（Localization）、修复（Repair）和补丁验证（Patch Validation）。

• 🙀 定位（Localization）：Agentless 采用分层过程，首先将故障定位到具体文件，然后到相关类或函数，最后到细粒度的编辑位置
• 😼 修复（Repair）：Agentless 获取编辑位置，并以简单的 diff 格式为每个错误采样多个候选补丁
• 😸 补丁验证（Patch Validation）：Agentless 选择要运行的回归测试（regression tests），并生成额外的复现测试（reproduction test）以重现原始错误。使用测试结果，Agentless 重新对所有剩余补丁进行排序，选择一个提交

🐈 设置

首先创建环境

git clone https://github.com/OpenAutoCoder/Agentless.git
cd Agentless

conda create -n agentless python=3.11 
conda activate agentless
pip install -r requirements.txt
export PYTHONPATH=$PYTHONPATH:$(pwd)

# for contribution, please install the pre-commit hook.
pre-commit install  # this allows a more standardized code style

然后导出你的 OpenAI API 密钥

export OPENAI_API_KEY={key_here}

现在你已准备好在 SWE-bench 的问题上运行 Agentless！

[!NOTE]

若要复现完整的 SWE-bench lite 实验并遵循我们在论文中描述的确切设置，请参阅此 README

🧶 对比

下方展示了 Agentless 与 SWE-bench lite 上最佳开源基于代理（agent-based）方法的对比图

🐈‍⬛ 产物

您可以在我们的 v1.5.0 release 下载 Agentless 的完整产物：

• 🐈‍⬛ agentless_swebench_lite：SWE-bench Lite 上的完整 Agentless 运行结果
• 🐈‍⬛ agentless_swebench_verified：SWE-bench Verified 上的完整 Agentless 运行结果
• 🐈‍⬛ swebench_repo_structure：每个 SWE-Bench 问题的预处理结构信息

您也可以查看 classification/ 文件夹，获取我们对 SWE-bench-lite 的人工分类以及我们过滤后的 SWE-bench-lite-S 问题。

📝 引用

@article{agentless,
  author    = {Xia, Chunqiu Steven and Deng, Yinlin and Dunn, Soren and Zhang, Lingming},
  title     = {Agentless: Demystifying LLM-based Software Engineering Agents},
  year      = {2024},
  journal   = {arXiv preprint},
}

[!NOTE]

前两位作者对本工作贡献同等，作者顺序通过 Nigiri 确定

😻 致谢

• SWE-bench
• Aider
• SWE-bench-docker

Agentless 快速上手指南

Agentless 是一个开源的自动化软件开发问题解决工具。它采用“无代理”（agentless）架构，通过定位、修复和补丁验证三个阶段自动解决软件问题。目前它是 SWE-bench lite 上表现最佳的开源方案之一。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows (建议使用 WSL)
• Python 版本: 3.11
• 包管理器: Conda (推荐)
• 外部依赖: OpenAI API Key (支持集成 Claude 3.5 Sonnet 等模型)

安装步骤

1. 克隆项目仓库

   git clone https://github.com/OpenAutoCoder/Agentless.git
   cd Agentless
   

2. 创建并激活 Conda 环境

   conda create -n agentless python=3.11 
   conda activate agentless
   

3. 安装项目依赖

   💡 提示：国内网络环境下，建议在 pip install 时指定镜像源以提升速度。

   pip install -r requirements.txt
   

4. 设置 Python 路径

   export PYTHONPATH=$PYTHONPATH:$(pwd)
   

基本使用

完成环境配置后，您只需设置 API 密钥即可开始运行。

1. 配置 API 密钥 将 {key_here} 替换为您实际的 OpenAI API Key：

   export OPENAI_API_KEY={key_here}
   

2. 执行任务 此时已准备好在 SWE-bench 问题上运行 Agentless。如需复现论文中的完整实验流程或获取具体的运行脚本，请参考项目内的详细文档：README_swebench.md。

开发者提示：如果您计划参与贡献，建议安装 pre-commit 钩子以保持代码规范。

pre-commit install