[!NOTE] 📢 Agent-as-a-Judge 不仅限于本仓库的内容，更是一种用于评估智能体工作并跨领域生成高质量智能体数据集的理念。

🔥 已被 ICML 2025 接收！

🔥 我们构建了一个开源的 DeepWiki（OpenWiki），只需在本仓库中添加两行代码即可实现（以下是演示）。

🤠 特性

Agent-as-a-Judge 提供两大优势：

• 自动化评估：Agent-as-a-Judge 可以在任务执行期间或完成后进行评估，相比人类专家可节省 97.72% 的时间与 97.64% 的成本。
• 提供奖励信号：它能够提供连续、分步骤的反馈，这些反馈可用作奖励信号，用于进一步的智能体训练与改进。

🎮 快速入门

1. 安装

git clone https://github.com/metauto-ai/agent-as-a-judge.git
cd agent-as-a-judge/
conda create -n aaaj python=3.11
conda activate aaaj
pip install poetry
poetry install

2. 配置 LLM 和 API

运行前，请将 .env.sample 重命名为 .env，并在主仓库文件夹中填写 所需的 API 和设置，以支持 LLM 调用。LiteLLM 工具支持多种 LLM。

cp .env.sample .env
# 然后配置 .env 文件，请根据实际情况修改，例如：
# OPENAI_API_KEY="sk-***"
# ...

3. 运行

[!TIP] 更多详细的 使用脚本 请参阅。

使用 A：针对任意工作空间的 Ask Anything：

PYTHONPATH=. python scripts/run_ask.py \
  --workspace $(pwd)/benchmark/workspaces/OpenHands/39_Drug_Response_Prediction_SVM_GDSC_ML \
  --question "这个工作空间包含什么内容？"

您可以参考 示例，了解 Ask Anything 的具体操作方式。

使用 B：针对 DevAI 的 Agent-as-a-Judge

PYTHONPATH=. python scripts/run_aaaj.py \
  --developer_agent "OpenHands" \
  --setting "black_box" \
  --planning "efficient (no planning)" \
  --benchmark_dir $(pwd)/benchmark

💡 有一个 示例，展示了 Agent-as-a-Judge 如何收集证据来进行评判的过程。

使用 C：OpenWiki 🔥🔥🔥

python scripts/run_wiki.py https://github.com/metauto-ai/GPTSwarm

🤗 DevAI 数据集

[!IMPORTANT] 作为 概念验证，我们将 Agent-as-a-Judge 应用于代码生成任务，使用的基准是 DevAI，该基准包含 55 个真实的 AI 开发任务，共 365 个层次化的用户需求。结果表明，Agent-as-a-Judge 显著优于传统评估方法，能够为智能体系统的规模化自我改进提供可靠的奖励信号。

您可以在 Hugging Face 🤗 上查看该数据集。 请参阅 指南，了解如何使用此数据集。

参考文献

如果您认为 Agent-as-a-Judge 的理念对您的工作有所帮助，欢迎引用：

@article{zhuge2024agent,
  title={Agent-as-a-Judge: Evaluate Agents with Agents},
  author={Zhuge, Mingchen and Zhao, Changsheng and Ashley, Dylan and Wang, Wenyi and Khizbullin, Dmitrii and Xiong, Yunyang and Liu, Zechun and Chang, Ernie and Krishnamoorthi, Raghuraman and Tian, Yuandong and Shi, Yangyang and Chandra, Vikas and Schmidhuber, J{\"u}rgen},
  journal={arXiv preprint arXiv:2410.10934},
  year={2024}
}

Agent-as-a-Judge 快速上手指南

Agent-as-a-Judge 是一个用于自动化评估智能体（Agent）工作并生成高质量数据集的框架。它不仅能大幅节省人工评估的时间和成本，还能为智能体的强化学习提供连续的奖励信号。该项目已被 ICML 2025 接收。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python 版本: 3.11 (必须)
• 依赖管理工具: Conda, Poetry
• API Key: 需要配置大模型 API（如 OpenAI），项目使用 LiteLLM 支持多种模型。

安装步骤

请按照以下命令依次执行，完成环境搭建和依赖安装：

# 1. 克隆仓库
git clone https://github.com/metauto-ai/agent-as-a-judge.git
cd agent-as-a-judge/

# 2. 创建并激活 Python 3.11 虚拟环境
conda create -n aaaj python=3.11
conda activate aaaj

# 3. 安装 Poetry 并使用其安装项目依赖
pip install poetry
poetry install

提示：如果在国内网络环境下 pip install poetry 较慢，可使用国内镜像源： pip install poetry -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 配置 API 密钥

在项目根目录下，将示例环境变量文件复制为 .env，并填入您的大模型 API Key 及其他必要设置。

cp .env.sample .env

编辑 .env 文件，填入类似以下内容（以 OpenAI 为例）：

OPENAI_API_KEY="sk-***"
# 根据您使用的模型提供商填写其他配置

2. 运行示例

本项目提供三种主要使用模式，以下是各模式的最简启动命令：

模式 A：任意工作区问答 (Ask Anything)

用于查询特定工作区的内容。

PYTHONPATH=. python scripts/run_ask.py \
  --workspace $(pwd)/benchmark/workspaces/OpenHands/39_Drug_Response_Prediction_SVM_GDSC_ML \
  --question "What does this workspace contain?"

模式 B：智能体评估 (Agent-as-a-Judge for DevAI)

用于对开发型智能体（如 OpenHands）进行自动化评估。

PYTHONPATH=. python scripts/run_aaaj.py \
  --developer_agent "OpenHands" \
  --setting "black_box" \
  --planning "efficient (no planning)" \
  --benchmark_dir $(pwd)/benchmark

模式 C：构建开源 DeepWiki (OpenWiki)

仅需一行代码即可为指定 GitHub 仓库构建深度百科。

python scripts/run_wiki.py https://github.com/metauto-ai/GPTSwarm

注意：更多详细用法脚本请参考项目内的 scripts/README.md 文件。