AgentBench

🌐 排行榜（新） | 🐦 Twitter | ✉️ Google Group | 📃 论文

👋 欢迎加入我们的 Slack，参与问答或协作开发AgentBench的下一版本！

🔥[2025.10.10] 基于AgentRL推出AgentBench FC（函数调用）

当前仓库包含与AgentRL集成的函数调用版AgentBench，AgentRL是一个端到端的多任务、多轮次大模型代理强化学习框架。若需使用旧版本，可回退至v0.1和v0.2。

相较于原始AgentBench，此版本采用函数调用风格的提示，并为以下任务增加了完全容器化的部署支持：

• alfworld (AF)
• dbbench (DB)
• knowledgegraph (KG)
• os_interaction (OS)
• webshop (WS)

快速入门

我们支持使用Docker Compose一键快速搭建上述所有任务。

在开始之前，请下载或构建各任务所需的以下Docker镜像：

# dbbench
docker pull mysql:8

# os_interaction
docker build -t local-os/default -f ./data/os_interaction/res/dockerfiles/default data/os_interaction/res/dockerfiles
docker build -t local-os/packages -f ./data/os_interaction/res/dockerfiles/packages data/os_interaction/res/dockerfiles
docker build -t local-os/ubuntu -f ./data/os_interaction/res/dockerfiles/ubuntu data/os_interaction/res/dockerfiles

运行KG Freebase服务器时，还需准备位于此处的数据副本。请下载、解压并将数据放置于./virtuoso_db/virtuoso.db（或修改extra/docker-compose.yml，将挂载点设置为您存放数据的位置）。

随后，可通过以下命令启动整个栈：

docker compose -f extra/docker-compose.yml up

该命令将下载或构建所需Docker镜像，并在Docker中启动以下服务：

• AgentRL控制器
• alfworld任务工作器（x1，可根据需要增加）
• dbbench任务工作器（x1，可根据需要增加）
• knowledgegraph任务工作器（x1，可根据需要增加）
• os_interaction任务工作器（x1，可根据需要增加）
• webshop任务工作器（x1，可根据需要增加）
• Freebase服务器（用于knowledgegraph任务）
• Redis服务器（用于容器分配）

若您的机器已运行Redis（版本7及以上），可在docker-compose.yml中省略Redis服务。

[!WARNING]
请注意，webshop环境启动时约需16GB内存，且当前alfworld实现存在内存和磁盘空间泄漏问题，直到重启任务工作器才会缓解。请确保您的机器具备足够的资源后再运行。

基准测试结果

我们报告了多种模型在AgentBench FC测试集上的表现。

完整结果请参阅我们的排行榜。如有任何疑问或希望提交您的结果，请联系agentbench_fc@googlegroups.com。

---

🔥[2024.08.13] 推出VisualAgentBench

VisualAgentBench旨在评估和训练基于大型多模态模型（LMMs）的视觉基础代理。我们引入了5个不同的环境，涵盖：

• 身体化：VAB-OmniGibson、VAB-Minecraft
• GUI：VAB-Mobile、VAB-WebArena-Lite
• 视觉设计：VAB-CSS

以系统性地基准测试17种LMMs（专有及开源）。此外，我们还提供了行为克隆训练的轨迹数据集，供您开发自己的视觉基础代理！

---

以下是原始AgentBench（v0.2）的介绍。

AgentBench：评估大模型作为代理

https://github.com/THUDM/AgentBench/assets/129033897/656eed6e-d9d9-4d07-b568-f43f5a451f04

AgentBench是首个针对大模型作为代理设计的基准测试，覆盖多样化的不同环境。它包含8个独特的环境，以便更全面地评估大模型在各种场景中作为自主代理的能力。这些环境包括5个全新创建的领域：

• 操作系统（OS）
• 数据库（DB）
• 知识图谱（KG）
• 数字卡牌游戏（DCG）
• 侧向思维谜题（LTP）

以及3个基于公开数据集重新编译的领域：

• 家务管理（HH）（ALFWorld）
• 网上购物（WS）（WebShop）
• 网页浏览（WB）（Mind2Web）

目录

• 数据集概览
• 排行榜
• 快速入门
• 后续步骤
• 引用

数据集概览

我们为每个数据集提供两个划分：开发集和测试集。多轮次交互分别要求大模型生成约4千和1万3千次响应。

排行榜

以下是AgentBench测试集（标准）上的得分。

尽管大模型在“大模型作为代理”方面逐渐展现出能力，但不同模型之间的差距以及距离实际应用仍有较大距离。

快速入门

本节将指导您如何快速使用gpt-3.5-turbo-0613作为代理来启动dbbench-std和os-std任务。有关具体框架结构，请参阅框架介绍。更多详细配置和启动方法，请查看配置指南和程序入口指南。

第 1 步：先决条件

克隆此仓库并安装依赖项。

Python 版本说明： AgentBench 锁定了较旧的科学计算 Python 依赖包版本（例如 numpy~=1.23.x）。 使用推荐的 Python 3.9（通过 conda 安装）是安装依赖项最可靠的方式。

cd AgentBench
conda create -n agent-bench python=3.9
conda activate agent-bench
pip install -r requirements.txt

确保已正确安装 Docker。

docker ps

为 dbbench-std 和 os-std 构建所需的镜像。

docker pull mysql
docker pull ubuntu
docker build -f data/os_interaction/res/dockerfiles/default data/os_interaction/res/dockerfiles --tag local-os/default
docker build -f data/os_interaction/res/dockerfiles/packages data/os_interaction/res/dockerfiles --tag local-os/packages
docker build -f data/os_interaction/res/dockerfiles/ubuntu data/os_interaction/res/dockerfiles --tag local-os/ubuntu

第 2 步：配置代理

在 configs/agents/openai-chat.yaml 中的正确位置填写您的 OpenAI API 密钥。（例如 gpt-3.5-turbo-0613）

您可以尝试使用 python -m src.client.agent_test 来检查您的代理是否配置正确。

默认情况下，将启动 gpt-3.5-turbo-0613。您可以通过修改参数将其替换为其他代理：

python -m src.client.agent_test --config configs/agents/api_agents.yaml --agent gpt-3.5-turbo-0613

### 第 3 步：启动任务服务器

启动任务工作进程涉及一些特定步骤。手动启动可能会比较繁琐，因此我们提供了一个自动化脚本。

此步骤的前提是端口 5000 到 5015 是可用的。对于 Mac OS 系统，您可能需要参考 [这里](https://stackoverflow.com/questions/69955686/why-cant-i-run-the-project-on-port-5000) 来释放端口 5000 以供使用。

```bash
python -m src.start_task -a

这将为 dbbench-std 和 os-std 任务分别启动五个任务工作进程，并自动将它们连接到端口 5000 上的控制器。执行此命令后，请预留大约 1 分钟的时间等待任务设置完成。 如果终端显示“.... 200 OK”，则可以打开另一个终端并按照第 4 步操作。

轻量级预设（笔记本电脑/内存有限）

如果您希望以最小并发数（每个任务 1 个工作进程）启动，可以使用轻量级预设：

python -m src.start_task -a --config configs/start_task_lite.yaml

第 4 步：启动分配器

此步骤用于实际启动任务。

如果到目前为止所有配置都正确无误，现在就可以开始进行任务测试了。

python -m src.assigner

如果您使用轻量级预设启动了任务服务器，也可以运行轻量级评估预设：

python -m src.assigner --config configs/assignments/lite.yaml

后续步骤

如果您希望启动更多任务或使用其他模型，可以参考 配置指南 和 程序入口指南 中的内容。

对于剩余五项任务的环境，您需要下载我们提供的 Docker 镜像：

longinyu/agentbench-ltp
longinyu/agentbench-webshop
longinyu/agentbench-mind2web
longinyu/agentbench-card_game
longinyu/agentbench-alfworld

八项任务中单个任务工作进程的资源消耗大致如下，请在启动时予以考虑：

任务名称	启动速度	内存消耗
webshop	~3 分钟	~15G
mind2web	~5 分钟	~1G
db	~20 秒	< 500M
alfworld	~10 秒	< 500M
card_game	~5 秒	< 500M
ltp	~5 秒	< 500M
os	~5 秒	< 500M
kg	~5 秒	< 500M

在本地部署 KnowledgeGraph 服务

KnowledgeGraph 任务依赖于一个目前尚不稳定的在线服务。如果您希望在本地部署该服务，可以按照以下步骤操作：

步骤 1.
下载数据库并设置服务 freebase-setup。

步骤 2.
将 /configs/tasks/kg.yaml 文件中的这一行 sparql_url: "http://164.107.116.56:3093/sparql" 修改为 sparql_url: "<您的 SPARQL 服务 API 地址>"。

附注： 您应在启动代理任务服务之前先启动 KG 服务。

扩展 AgentBench

如果您希望向 AgentBench 添加新任务，可以参考 扩展指南。

参考文献

Avalon 任务源自 AvalonBench 的合并，后者实现了一个多智能体框架。

引用

@article{liu2023agentbench,
  title   = {AgentBench: Evaluating LLMs as Agents},
  author  = {Xiao Liu and Hao Yu and Hanchen Zhang and Yifan Xu and Xuanyu Lei and Hanyu Lai and Yu Gu and Hangliang Ding and Kaiwen Men and Kejuan Yang and Shudan Zhang and Xiang Deng and Aohan Zeng and Zhengxiao Du and Chenhui Zhang and Sheng Shen and Tianjun Zhang and Yu Su and Huan Sun and Minlie Huang and Yuxiao Dong and Jie Tang},
  year    = {2023},
  journal = {arXiv preprint arXiv: 2308.03688}
}

AgentBench 快速上手指南

AgentBench 是首个旨在评估大语言模型（LLM）作为智能体（Agent）在不同环境中表现的综合基准测试工具。本指南基于最新的 AgentBench FC (Function Calling) 版本，帮助您快速搭建环境并运行评测。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Docker：必须安装 Docker Engine 和 Docker Compose。
  • 验证安装：docker ps
• 硬件资源：
  • 内存：建议至少 16GB RAM。webshop 环境启动需约 16GB 内存；alfworld 存在内存泄漏问题，需定期重启容器。
  • 磁盘：预留足够空间用于拉取镜像和存储数据库文件（特别是 KnowledgeGraph 任务）。
• 网络：需要能够访问 GitHub 和 Docker Hub（国内用户建议配置镜像加速）。

安装步骤

1. 克隆项目

git clone https://github.com/THUDM/AgentBench.git
cd AgentBench

2. 准备基础镜像

根据官方文档，需预先拉取或构建任务所需的 Docker 镜像。

拉取数据库镜像：

docker pull mysql:8

构建操作系统交互镜像：

docker build -t local-os/default -f ./data/os_interaction/res/dockerfiles/default data/os_interaction/res/dockerfiles
docker build -t local-os/packages -f ./data/os_interaction/res/dockerfiles/packages data/os_interaction/res/dockerfiles
docker build -t local-os/ubuntu -f ./data/os_interaction/res/dockerfiles/ubuntu data/os_interaction/res/dockerfiles

3. 配置 KnowledgeGraph (KG) 数据（可选但推荐）

若需运行 knowledgegraph 任务，需本地部署 Freebase 服务：

1. 从 Freebase-Setup 下载数据。
2. 解压并将数据放置在 ./virtuoso_db/virtuoso.db 目录下。
3. 或者，修改 extra/docker-compose.yml 中的挂载点指向您的数据位置。

注意：如果不运行 KG 任务或希望使用简化模式，可跳过此步并在后续启动时调整配置。

基本使用

AgentBench FC 版本支持通过一条命令利用 Docker Compose 启动所有服务（包括控制器、各任务 Worker、Redis 及 Freebase 服务器）。

1. 启动服务栈

在项目根目录执行以下命令：

docker compose -f extra/docker-compose.yml up

该命令将自动完成以下操作：

• 拉取或构建缺失的镜像。
• 启动 AgentRL Controller。
• 为 alfworld, dbbench, knowledgegraph, os_interaction, webshop 各启动一个 Task Worker。
• 启动 Redis 服务器（用于容器分配）和 Freebase 服务器（如需）。

提示：如果您的机器已运行 Redis (v7+)，可编辑 extra/docker-compose.yml 注释掉 Redis 服务部分以避免端口冲突。

2. 运行评测

服务启动完成后（终端显示日志正常滚动），您可以在另一个终端窗口通过 AgentRL 框架提交评测任务。具体的评测脚本和参数配置请参考 AgentRL 项目的文档，因为 AgentBench FC 已深度集成该框架。

3. 旧版本使用 (v0.2)

如果您需要使用传统的非 Function Calling 版本（支持 OS, DB, KG, DCG, LTP, HH, WS, WB 八大环境），请切换至 v0.2 分支：

git checkout v0.2

v0.2 版本快速运行示例：

1. 安装依赖 (推荐使用 Python 3.9):

   conda create -n agent-bench python=3.9
   conda activate agent-bench
   pip install -r requirements.txt
   

2. 配置 API Key: 编辑 configs/agents/openai-chat.yaml，填入您的 OpenAI API Key。

3. 启动任务服务器 (以 dbbench 和 os 任务为例):

   # 全量模式（需较多端口和资源）
   python -m src.start_task -a
   
   # 轻量模式（适合笔记本，每个任务仅 1 个 worker）
   python -m src.start_task -a --config configs/start_task_lite.yaml
   

   等待终端显示 ".... 200 OK" 表示服务就绪。

4. 开始评测:

   # 全量评测
   python -m src.assigner
   
   # 轻量评测
   python -m src.assigner --config configs/assignments/lite.yaml
   

查看结果

评测完成后，您可以查看本地生成的日志或通过 AgentBench 官方 Leaderboard 对比不同模型的表现。