τ-bench：面向真实世界领域的工具-智能体-用户交互基准测试

⚠️ 注意：本仓库中的任务未更新。 该仓库包含过时的航空和零售任务版本。请使用 τ³-bench 获取最新修复的任务及新增领域。

❗新闻：τ²-bench 仓库已更新为 τ³-bench，其中新增了 banking 领域、voice 评估模态，并对 airline 和 retail 领域的任务进行了修复。请前往 τ³-bench 仓库 使用该基准测试的最新版本。

---

我们提出了 τ-bench，这是一个模拟由语言模型模拟的用户与配备领域特定 API 工具和策略指南的语言智能体之间动态对话的基准测试。

排行榜

航空

策略	Pass^1	Pass^2	Pass^3	Pass^4
TC (claude-3-5-sonnet-20241022)	0.460	0.326	0.263	0.225
TC (gpt-4o)	0.420	0.273	0.220	0.200
TC (claude-3-5-sonnet-20240620)	0.360	0.224	0.169	0.139
TC (mistral-large-2407)	??	??	??	??
TC (gpt-4o-mini)	0.225	0.140	0.110	0.100
Act (gpt-4o)	0.365	0.217	0.160	0.140
ReAct (gpt-4o)	0.325	0.233	0.185	0.160

零售

策略	Pass^1	Pass^2	Pass^3	Pass^4
TC (claude-3-5-sonnet-20241022)	0.692	0.576	0.509	0.462
TC (gpt-4o)	0.604	0.491	0.430	0.383
TC (claude-3-5-sonnet-20240620)	0.626	0.506	0.435	0.387
TC (mistral-large-2407)	??	??	??	??
TC (gpt-4o-mini)	??	??	??	??
Act (gpt-4o)	??	??	??	??
ReAct (gpt-4o)	??	??	??	??

*TC = tool-calling 策略（论文中报告的功能调用策略）

设置

1. 克隆此仓库：

git clone https://github.com/sierra-research/tau-bench && cd ./tau-bench

2. 从源代码安装（同时安装所需依赖）：

pip install -e .

3. 将您的 OpenAI / Anthropic / Google / Mistral / AnyScale API 密钥设置为环境变量。

OPENAI_API_KEY=...
ANTHROPIC_API_KEY=...
GOOGLE_API_KEY=...
MISTRAL_API_KEY=...

运行

在 τ-retail 环境上运行一个工具调用智能体：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --user-model gpt-4o --user-model-provider openai --user-strategy llm --max-concurrency 10

请根据您的 API 限制设置最大并发数。

要运行特定任务，可以使用 --task-ids 标志。例如：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --user-model gpt-4o --user-model-provider openai --user-strategy llm --max-concurrency 10 --task-ids 2 4 6

此命令将仅运行 ID 为 2、4 和 6 的任务。

用户模拟器

默认情况下，我们使用 gpt-4o 作为用户模拟器，策略为 llm。您可以通过设置 --user-model 标志来使用其他模型，或通过设置 --user-strategy 标志来使用其他策略。例如，使用 claude 用户模拟器运行工具调用智能体：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --max-concurrency 10 --user-model claude-3-5-sonnet-20240620 --user-model-provider anthropic --user-strategy llm

其他策略：

要运行 react 用户模拟器：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --max-concurrency 10 --user-model gpt-4o --user-model-provider openai --user-strategy react

react 用户响应示例：

Thought:
我应该提供我的姓名和邮政编码，因为我没有被给予电子邮件地址。

User Response:
当然，我叫尤素夫·罗西，我的邮政编码是 19122。

要运行 verify 用户模拟器：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --max-concurrency 10 --user-model gpt-4o --user-model-provider openai --user-strategy verify

该策略会使用后续的 LLM 验证步骤来检查用户模拟器的响应是否令人满意。如果不满意，用户模拟器将被提示生成新的响应。

要运行 reflection 用户模拟器：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --max-concurrency 10 --user-model gpt-4o --user-model-provider openai --user-strategy reflection

该策略会使用后续的 LLM 验证步骤来检查用户模拟器的响应是否令人满意。如果不满意，用户模拟器将被提示反思其响应并生成新的响应。

自动错误识别

通常情况下，手动识别轨迹中的具体错误位置既困难又耗时，因为轨迹可能很长，约束条件也可能非常复杂。为此，我们提供了一个自动错误识别工具，它可以完成以下任务：

1. 故障归属：确定导致故障的责任方（用户、智能体、环境）。
2. 故障类型分类：对故障类型进行分类（目标部分完成、使用了错误工具、使用了错误工具参数、执行了非预期动作）。

这两个标签均附有描述。

要运行自动错误识别，请执行以下命令：

python auto_error_identification.py --env <airline/retail> --platform openai --results-path <此处填写您的结果文件路径> --max-concurrency 16 --output-path test-auto-error-identification --max-num-failed-results 10

请注意，此功能依赖于大语言模型，因此可能会出现不准确的错误识别结果。

*注意：如果由于结果文件的结构问题引发错误，您可能需要重新运行基准测试以生成新的结果文件。我们最近对基准测试进行了重写，使其更具类型安全性并易于扩展。

历史轨迹

运行 τ-bench 可能成本较高。为此，我们在 ./historical_trajectories 中提供了航空和零售环境的历史轨迹集。

如果您希望为本基准测试贡献自己的历史轨迹，请提交一个 Pull Request！

许可证

请参阅 ./LICENSE 文件。

联系方式

如果您在使用基准测试时遇到任何问题，请提交 Issue 或 Pull Request。

引用

@misc{yao2024tau,
      title={$\tau$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains}, 
      author={Shunyu Yao and Noah Shinn and Pedram Razavi and Karthik Narasimhan},
      year={2024},
      eprint={2406.12045},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2406.12045}, 
}
@misc{barres2025tau2,
      title={$\tau^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment}, 
      author={Victor Barres and Honghua Dong and Soham Ray and Xujie Si and Karthik Narasimhan},
      year={2025},
      eprint={2506.07982},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2506.07982}, 
}

τ-bench 快速上手指南

⚠️ 重要提示：本仓库（tau-bench）中的任务版本已过时。官方推荐使用更新后的 τ³-bench，该版本包含新的“银行”领域、“语音”评估模式，并修复了“航空”和“零售”领域的任务。以下指南仅针对当前仓库的历史版本进行说明，新开发请务必前往 τ³-bench 仓库。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）
• Python 版本：Python 3.8 或更高版本
• API 密钥：您需要拥有以下至少一个服务提供商的 API 密钥：
  • OpenAI (OPENAI_API_KEY)
  • Anthropic (ANTHROPIC_API_KEY)
  • Google (GOOGLE_API_KEY)
  • Mistral (MISTRAL_API_KEY)
  • AnyScale

安装步骤

1. 克隆仓库 将项目代码克隆到本地并进入目录：

   git clone https://github.com/sierra-research/tau-bench && cd ./tau-bench
   

2. 安装依赖 使用 pip 从源码安装工具及其所需依赖包：

   pip install -e .
   

   注：国内用户若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源。

3. 配置环境变量 设置您的 API 密钥。您可以在终端临时导出，或写入 .bashrc/.zshrc 文件中：

   export OPENAI_API_KEY=your_openai_key_here
   export ANTHROPIC_API_KEY=your_anthropic_key_here
   # 根据实际使用的模型提供商设置对应的 KEY
   

基本使用

以下命令展示了如何在 零售 (retail) 环境中运行一个基于 工具调用 (tool-calling) 策略的 Agent，使用 gpt-4o 作为代理模型和用户模拟器。

运行完整测试：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --user-model gpt-4o --user-model-provider openai --user-strategy llm --max-concurrency 10

运行指定任务： 如果您只想测试特定的任务 ID（例如 ID 为 2, 4, 6 的任务），请使用 --task-ids 参数：

python run.py --agent-strategy tool-calling --env retail --model gpt-4o --model-provider openai --user-model gpt-4o --user-model-provider openai --user-strategy llm --max-concurrency 10 --task-ids 2 4 6

参数说明：

• --max-concurrency：请根据您的 API 速率限制调整并发数。
• --user-model 和 --user-strategy：用于配置模拟用户的模型和行为策略（默认为 llm，也支持 react, verify, reflection 等）。