AgentTuning：为大语言模型赋能通用代理能力

🤗 模型（AgentLM-70B） • 🤗 数据集（AgentInstruct） • 📃 论文 • 🌐 项目主页

中文版

AgentTuning 是首次尝试使用多任务代理交互轨迹对大语言模型进行指令微调的方法。评估结果表明，AgentTuning 能够在未见过的代理任务上实现鲁棒的泛化能力，同时保持强大的通用语言能力。我们已开源了 AgentInstruct 数据集和 AgentLM 模型。

主要成果

图1  我们在内部保留任务和外部保留任务中的综合得分

AgentInstruct

AgentInstruct 是一个精心构建的数据集，包含 1,866 条高质量交互记录，旨在提升 AI 代理在 6 种不同现实场景中的表现。

• 🔍 CoT - 借助 ReAct 的强大能力，为每一步动作提供详细的思维链解释，确保对模型决策过程的深入理解。
• 🌍 多样性 - 涵盖从日常家务到数据库操作等 6 种真实场景，平均每轮对话包含 5 到 35 步。
• 🎯 精确性 - 并非所有 GPT-4 的轨迹都有效！我们的数据经过严格奖励机制筛选，以确保最高质量。
• ✅ 可靠性 - 进行了严格的检查以避免数据泄露，确保数据集的纯净度。

AgentInstruct 数据集可在 🤗Huggingface Repo 上获取。

AgentLM

AgentLM 模型是通过混合训练 AgentInstruct 数据集和来自 Llama2-chat 系列的 ShareGPT 数据集而生成的。

这些模型遵循 Llama-2-chat 的对话格式，系统提示固定为 You are a helpful, respectful and honest assistant.。

7B、13B 和 70B 模型已在 Huggingface 模型库中发布。

模型	Huggingface Repo
AgentLM-7B	🤗Huggingface Repo
AgentLM-13B	🤗Huggingface Repo
AgentLM-70B	🤗Huggingface Repo

运行 AgentLM

我们使用 Text-Generation-Inference 来加速评估过程。

您可以通过以下命令启动一个 AgentLM-70b 实例：

cd docker
docker compose -f agentlm-70b.yml up

成功运行后，客户端将在端口 30070 上可用。以下是发起请求的示例：

curl 127.0.0.1:30070/generate \
    -X POST \
    -H 'Content-Type: application/json' \
    -d '{"inputs": "[INST] <<SYS>>\nYou are a helpful, respectful and honest assistant.\n<</SYS>>\n\nHello! [/INST]", "parameters":{"temperature": 1.0}}'

# {"generated_text":"Hello! How can I help you today? "}

如果有多块 GPU 可用，您可以复制 Docker Compose 文件中的服务配置来创建多个推理实例。

评估

以下是我们的评估任务详情，包括 6 个内部保留任务和 6 个外部保留任务。

内部保留任务

这 6 个内部保留任务选自 AgentBench。然而，由于 AgentBench 仍在积极开发中，最新分支的结果可能无法完全复现论文中报告的结果。本项目的评估代码位于 ./AgentBench.old。

外部保留任务

外部保留任务基于以下框架重新构建：

任务	AgentTuning 设置	原始仓库
SciWorld	📂 eval_heldout/science-world	💻 allenai/ScienceWorld
MiniWoB++	📂 eval_heldout/miniwob++	💻 Farama-Foundation/miniwob-plusplus
HotpotQA	📂 eval_heldout/hotpotQA	💻 salesforce/BOLAA
ReWOO	📂 eval_heldout/rewoo	💻 billxbf/ReWOO
WebArena	📂 eval_heldout/webarena	💻 web-arena-x/webarena
数字卡牌游戏	💻 AgentBench.old ( Extend Split )	💻 THUDM/AgentBench

通用任务

MMLU 设置：

• 将 14,000 道多项选择题下载到 ./data 目录下：

  cd data
  wget https://people.eecs.berkeley.edu/~hendrycks/data.tar
  tar xf data.tar
  cd ..
  

• 通过执行评估脚本评估 Hf 模型（组织/名称或检查点路径）：

  python eval_general/evaluate_mmlu_hf.py -c THUDM/AgentLM-70b
  

GSM8k 设置：

• 启动 TGI 工作进程

• 运行评估

  python eval_general/evaluate_gsm8k_tgi.py --port 30070
  

  使用 --sample-input-file 加载本地数据集，否则将加载 GSM8K 进行评估。

MT-Bench 设置：

• 在本地安装 FastChat：

  git clone https://github.com/lm-sys/FastChat.git
  pip install -e FastChat
  

• 启动 TGI 工作进程

• 运行评估脚本：

  python eval_general/eval_mt_bench_tgi.py --host 127.0.0.1 --port 30070 --model-id agentlm-70b
  

• 使用 GPT-4 对答案进行评估：

  cd FastChat/fastchat/llm_judge
  OPENAI_API_KEY=<your-api-key> python gen_judgment.py --model-list agentlm-70b --parallel <number-of-cuncurrent-requests>
  

引用

如果您认为我们的工作有所帮助，请考虑引用 AgentTuning：

@misc{zeng2023agenttuning,
      title={AgentTuning: Enabling Generalized Agent Abilities for LLMs},
      author={Aohan Zeng and Mingdao Liu and Rui Lu and Bowen Wang and Xiao Liu and Yuxiao Dong and Jie Tang},
      year={2023},
      eprint={2310.12823},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

AgentTuning 快速上手指南

AgentTuning 是首个利用多智能体任务交互轨迹对大语言模型（LLM）进行指令微调的项目。该项目开源了 AgentInstruct 数据集和 AgentLM 系列模型，旨在赋予 LLM 强大的通用智能体能力，同时保持优秀的通用语言能力。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 支持 CUDA 的 NVIDIA GPU
  • 运行 AgentLM-7B 至少需要 16GB 显存
  • 运行 AgentLM-13B 至少需要 24GB 显存
  • 运行 AgentLM-70B 建议多卡环境或高显存 GPU (如 A100/H100)
• 软件依赖:
  • Docker & Docker Compose (用于快速部署推理服务)
  • Python 3.8+ (用于评估脚本)

前置依赖

确保已安装 Docker 和 Docker Compose。如果未安装，请参考 Docker 官方文档 进行安装。

国内加速提示：拉取 HuggingFace 模型或 Docker 镜像较慢时，建议使用国内镜像源（如阿里云、腾讯云镜像加速器）或配置 HF_ENDPOINT 环境变量指向国内镜像站（如 https://hf-mirror.com）。

安装步骤

本项目推荐使用 Docker Compose 快速启动推理服务，无需手动配置复杂的 Python 环境。

1. 克隆项目代码

   git clone https://github.com/THUDM/AgentTuning.git
   cd AgentTuning
   

2. 启动推理服务 进入 docker 目录并启动 AgentLM-70B 实例（如需其他版本，可修改对应的 yml 文件）：

   cd docker
   docker compose -f agentlm-70b.yml up
   

   注：首次运行会自动下载模型镜像和权重，请确保网络连接通畅或使用国内镜像加速。

3. 验证服务状态 当看到容器成功启动后，推理服务将在本地 30070 端口监听。

基本使用

服务启动后，可以通过 HTTP POST 请求与模型交互。以下是最简单的调用示例。

发送请求示例

使用 curl 命令向本地服务发送对话请求：

curl 127.0.0.1:30070/generate \
    -X POST \
    -H 'Content-Type: application/json' \
    -d '{"inputs": "[INST] <<SYS>>\nYou are a helpful, respectful and honest assistant.\n<</SYS>>\n\nHello! [/INST]", "parameters":{"temperature": 1.0}}'

预期输出

成功响应将返回生成的文本内容：

{"generated_text":"Hello! How can I help you today? "}

使用说明

• System Prompt: 必须固定为 You are a helpful, respectful and honest assistant. 以符合模型训练格式。
• 对话格式: 遵循 Llama-2-chat 格式，使用 [INST] 和 [/INST] 包裹用户输入。
• 扩展部署: 如果拥有多张 GPU，可以复制 docker-compose 配置文件中的服务块，创建多个推理实例以实现负载均衡。