AgentSims：用于大型语言模型评估的开源沙盒

在类似ChatGPT的大型语言模型风靡整个社区之后，如何评估这些模型的能力仍是一个开放性问题。现有的评估方法存在以下不足：(1) 评估能力受限；(2) 基准测试容易被攻破；(3) 指标不够客观。我们提出，基于任务的评估——即让LLM智能体在模拟环境中完成任务——是一种能够一劳永逸地解决上述问题的方法。

我们推出了AgentSims,这是一个易于使用的基础设施，供各学科的研究人员测试他们感兴趣的特定能力。研究人员可以通过在交互式GUI上添加智能体和建筑物来构建自己的评估任务，也可以通过几行代码部署并测试新的支持机制，例如记忆系统和规划系统。演示地址为：https://agentsims.com/。

与其他类似系统相比，我们的系统具有更强的定制化能力，因为它专为开源自定义任务构建而设计。详情请参阅我们的arXiv论文。

依赖项

Python: 3.9.x
MySQL: 8.0.31

为了获得更好的稳定性，我们建议在MacOS或Linux上进行部署。

API密钥

为确保您的API密钥安全，我们未将参数文件纳入git仓库。请自行创建以下文件：

config/api_key.json

并务必不要将其推送到git仓库。

文件参数示例如下：

{"gpt-4": "xxxx", "gpt-3.5": "xxxx"}

如果您希望部署自己的模型，请参阅DOCS。

文件夹创建

在运行之前，请执行以下命令：

mkdir snapshot
mkdir logs

此外，我们建议在运行前修改config/app.json中的count_limit（每次运行的循环次数）和cooldown（两次运行之间的冷却时间），以找到合适的值，从而在保护您的API密钥和提高实验运行效率之间取得平衡。

如果在运行过程中遇到任何问题，请首先参考wiki中的DOCS。若问题仍未解决，请提交issue或直接联系我们。

---

要使用我们的系统，请按照以下步骤操作：

1.MySQL初始化

MySQL用于服务器端的数据存储。安装适当版本的MySQL后，启动SQL服务并按如下方式初始化：

use mysql
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '';
flush privileges;

create database `llm_account` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game0001` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game0002` default character set utf8mb4 collate utf8mb4_unicode_ci;

2.安装

pip install tornado
pip install mysql-connector-python
pip install websockets
pip install openai_async

或者

pip install -r requirements.txt

3.设计任务

此时您可以开始构建任务。如果您只是想先试用一下系统，可以跳过此步骤。有关任务构建，请参阅wiki中的DOCS，或我们arXiv论文中第4.2节“开发者模式”。

4.运行服务器

启动服务器：

./restart.sh

当您在服务器终端看到

--------Server Started--------

时，说明服务器已成功启动。

5.运行客户端

服务器成功启动后，请启动客户端。当前版本提供基于网页的客户端。请在浏览器中打开client/index.html。

注意：有时网页客户端可能无法正确打开。我们建议在您的Python IDE中右键单击index.html，然后选择“在浏览器中打开”。如果您熟悉nginx，这也是一个不错的选择。

当您在服务器终端看到

somebody linked.

时，说明客户端已成功启动。

6.创建智能体和建筑物

此时您可以创建智能体和建筑物。有关创建方法，请参阅wiki中的DOCS，或我们arXiv论文中第4.1节“用户模式”。

7.设置评估目标和指标

在AgentSims中，评估是通过问答形式进行的。每k个tick，系统会向目标智能体提出一个评估问题。您可以在config/eval.json中自定义目标智能体、评估问题以及响应的衡量标准。config/eval.json中的示例展示了一个名为“了解pH”的实验。该实验将每1个tick询问智能体Alan：“你是否了解pH？”如果回答为“是”，则评估函数将返回True。

{
  "id": "know pH", # 评估的易读名称，
  "target_nickname": "Alan", # 目标智能体的名称
  "query": "Are you acquainted with pH ?", # 评估问题
  "measurement": " 'Yes' in response" # 衡量标准，
  "interval": 1 # 每1个tick评估一次
}

8.运行模拟

您可以通过网页客户端上的按钮启动tick或mayor。您也可以通过以下命令启动：

python -u tick.py

python -u mayor.py

关于tick和mayor的区别，请参阅我们的arXiv论文。

9.重启

每次重启时，都需要执行以下重置步骤：

  rm -rf snapshot/app.json

  sudo mysql
  drop database llm_account;
  drop database llm_game0001;
  create database `llm_game0001` default character set utf8mb4 collate utf8mb4_unicode_ci;
  create database `llm_account` default character set utf8mb4 collate utf8mb4_unicode_ci;

 ./restart.sh

---

作者及引用

作者：Jiaju Lin,Haoran Zhao*,Aochi Zhang,Yiting Wu, Huqiuyue Ping,Qin Chen

关于我们：PTA Studio是一家初创公司，致力于为NLP社区提供更优秀的开源架构，并为玩家带来更多有趣的AI游戏。

联系我们：zhaohaoran@buaa.edu.cn

如果您使用了本仓库中的代码或数据，请引用我们的论文。

@misc{lin2023agentsims,
      title={AgentSims: An Open-Source Sandbox for Large Language Model Evaluation}, 
      author={Jiaju Lin and Haoran Zhao and Aochi Zhang and Yiting Wu and Huqiuyue Ping and Qin Chen},
      year={2023},
      eprint={2308.04026},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

AgentSims 快速上手指南

AgentSims 是一个开源的大语言模型（LLM）评估沙盒。它允许研究人员在模拟环境中通过任务驱动的方式，自定义智能体（Agents）和建筑（Buildings），以客观评估 LLM 的各项能力。

1. 环境准备

系统要求

• 操作系统：推荐 macOS 或 Linux（以获得更好的稳定性）。
• Python：3.9.x
• 数据库：MySQL 8.0.31

前置依赖 请确保已安装上述版本的 Python 和 MySQL，并启动 MySQL 服务。

2. 安装步骤

2.1 配置 API Key

出于安全考虑，项目中未包含 API 密钥文件。请在项目根目录下手动创建 config/api_key.json 文件，并填入你的模型密钥（切勿提交到 Git）：

{"gpt-4": "xxxx", "gpt-3.5": "xxxx"}

注：若需部署自有模型，请参考项目 Wiki 文档。

2.2 初始化目录

在项目根目录下运行以下命令创建必要文件夹：

mkdir snapshot
mkdir logs

2.3 初始化 MySQL 数据库

登录 MySQL 并执行以下 SQL 语句以初始化所需数据库：

use mysql
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '';
flush privileges;

create database `llm_account` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game0001` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_game0002` default character set utf8mb4 collate utf8mb4_unicode_ci;

2.4 安装 Python 依赖

建议使用国内镜像源加速安装（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

或者手动安装核心依赖：

pip install tornado mysql-connector-python websockets openai_async -i https://pypi.tuna.tsinghua.edu.cn/simple

2.5 调整配置（可选）

编辑 config/app.json，根据实际需求修改 count_limit（单次运行循环次数）和 cooldown（运行间隔时间），以平衡 API 成本与实验效率。

3. 基本使用

3.1 启动服务端

运行重启脚本启动服务器：

./restart.sh

当终端显示 --------Server Started-------- 时，表示服务端启动成功。

3.2 启动客户端

在浏览器中打开 client/index.html。 提示：若在 IDE 中直接打开失败，可右键选择"Open in Browser"或使用 Nginx 部署。 当服务端终端显示 somebody linked. 时，表示客户端连接成功。

3.3 创建评估任务

1. 创建实体：在网页客户端界面中创建所需的 Agents（智能体）和 Buildings（建筑）。
2. 配置评估指标：编辑 config/eval.json 定义评估逻辑。例如，以下配置将每隔 1 个时间步询问智能体 "Alan" 是否知道 pH 值：

{
  "id": "know pH",
  "target_nickname": "Alan",
  "query": "Are you acquainted with pH ?",
  "measurement": " 'Yes' in response",
  "interval": 1
}

3.4 运行仿真

你可以通过网页客户端点击按钮启动仿真，或在终端运行以下命令：

python -u tick.py

或

python -u mayor.py

3.5 重置环境（重新开始时必做）

每次重新开始实验前，需清理快照并重置数据库：

rm -rf snapshot/app.json

sudo mysql
drop database llm_account;
drop database llm_game0001;
create database `llm_game0001` default character set utf8mb4 collate utf8mb4_unicode_ci;
create database `llm_account` default character set utf8mb4 collate utf8mb4_unicode_ci;

最后再次运行启动脚本：

./restart.sh