智能体系统的自动化设计

ICLR 2025

🏆 杰出论文奖 (NeurIPS 2024 开放世界智能体研讨会) [推文]

在这项工作中，我们描述了一个正在形成的新研究领域——智能体系统的自动化设计（Automated Design of Agentic Systems，简称 ADAS）。其目标是自动创建强大的智能体系统设计，包括发明新颖的构建模块和/或以新的方式组合它们。

我们提出了一个简单而有效的 ADAS 算法，名为 元智能体搜索（Meta Agent Search），以证明智能体能够发明新颖且强大的智能体设计。在元智能体搜索中，一个“元”智能体基于先前的发现，迭代地以代码形式编程出有趣的新智能体。

环境设置

conda create -n adas python=3.11
conda activate adas
pip install -r requirements.txt

# 提供你的 OpenAI API 密钥
export OPENAI_API_KEY="YOUR KEY HERE"

运行说明

运行元智能体搜索

要为每个领域运行实验，请导航到其相应的文件夹。每个文件夹中的代码是自包含的。使用每个领域文件夹中的 search.py 脚本来启动实验。

python {DOMAIN}/search.py

将 {DOMAIN} 替换为特定的领域文件夹名称 {_arc, _drop, _mgsm, ...} 以运行相应实验。

为新领域定制元智能体搜索

你可以轻松地调整代码以搜索新的领域。为此，请遵循以下步骤：

1. 修改 search.py 文件中的 evaluate_forward_fn() 函数，并调整任何必要的格式化提示（例如，这一行）。

2. 考虑为元智能体在设计过程中使用添加一些基础函数（类似于这一行）。

3. 更新提示中的领域特定信息，以匹配你新领域的要求（例如，这一行）。

4. 在你的新领域上运行搜索和评估。

安全考虑

[!WARNING] 此仓库中的代码涉及执行不受信任的模型生成代码。我们强烈建议用户注意此安全问题。尽管在我们当前的设置和使用的模型下，模型生成的代码极不可能执行明显的恶意操作，但由于模型能力或对齐（alignment）的限制，此类代码仍可能具有破坏性。使用此仓库即表示您知晓并接受这些风险。

引用

如果你觉得这个项目有用，请考虑引用：

@article{hu2024ADAS,
title={Automated Design of Agentic Systems},
author={Hu, Shengran and Lu, Cong and Clune, Jeff},
journal={arXiv preprint arXiv:2408.08435},
year={2024}
}

ADAS 快速上手指南

工具简介

ADAS (Automated Design of Agentic Systems) 是一个用于自动化设计智能体系统的开源框架。其核心算法 Meta Agent Search 能让一个“元”智能体通过迭代编程，自动发现并组合新颖、高效的智能体设计方案。

环境准备

• 操作系统: Linux / macOS / Windows (WSL2 推荐)
• Python: 版本 3.11
• 包管理: Conda (推荐) 或 pip
• API 密钥: 需要有效的 OpenAI API Key

安装步骤

1. 创建并激活 Conda 环境

   conda create -n adas python=3.11
   conda activate adas
   

2. 克隆仓库并安装依赖

   git clone https://github.com/ShengranHu/ADAS.git
   cd ADAS
   pip install -r requirements.txt
   

   （国内用户可使用清华 PyPI 镜像加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple）

3. 设置 API 密钥 在终端中执行以下命令，将 YOUR KEY HERE 替换为你的实际 OpenAI API Key。

   export OPENAI_API_KEY="YOUR KEY HERE"
   

   （Windows 用户请使用 set OPENAI_API_KEY=YOUR KEY HERE）

基本使用

运行 Meta Agent Search 实验

ADAS 为不同任务领域（如 ARC、DROP、MGSM 等）提供了独立的实验目录。要运行特定领域的实验，请进入对应目录并执行 search.py 脚本。

例如，运行 ARC 领域的实验：

python _arc/search.py

只需将 _arc 替换为其他领域文件夹的名称（如 _drop, _mgsm），即可运行对应实验。

为新领域定制 Meta Agent Search

你可以通过以下步骤将 ADAS 适配到新的任务领域：

1. 在目标领域的 search.py 文件中，修改 evaluate_forward_fn() 函数及相关提示词格式。
2. 根据需要，为元智能体添加新的基础功能函数。
3. 更新提示词中的领域特定信息。
4. 运行搜索与评估流程。

安全警告

[!WARNING] 本仓库代码会执行模型生成的不受信任代码。用户必须意识到此安全风险。尽管在当前设置和所用模型下，生成的代码极不可能执行明显的恶意操作，但由于模型能力或对齐性的限制，此类代码仍可能具有破坏性。使用本仓库即表示您知晓并接受这些风险。