τ-基准：面向真实世界领域的工具-智能体-用户交互基准测试

τ³-基准怎么读？ 我们就叫“塔乌三”，不过你怎么念都行！

τ³-基准的新特性

• 知识领域（banking_knowledge） — 基于知识检索的客服领域，配备可配置的RAG管道、文档搜索、嵌入以及基于智能体外壳的搜索。了解更多 →
• 语音全双工（音频原生） — 使用实时API（OpenAI、Gemini、xAI）进行端到端的语音评估。了解更多 →
• 任务质量（75+项修复） — 移除了不正确的预期动作，澄清了模糊的指令，修复了不可能的约束，并在航空、零售和银行领域中添加了缺失的回退行为。基于SABER（Cuadron等人，2025年）的分析。了解更多 →
• 更新后的排行榜 — 现在包括语音和知识评估结果。可在taubench.com上比较模型性能。提交你的结果 →

完整版本历史请参阅CHANGELOG.md。

向后兼容性说明：如果你只是评估智能体（而非训练），请使用base任务划分来评估与原始τ-基准结构匹配的完整任务集。这是默认设置。

从τ²-基准升级吗？ 安装现在使用uv而不是pip install -e .，且需要Python >=3.12, <3.14（之前是>=3.10）。部分内部API已被重构——详情请参阅CHANGELOG.md。

概述

τ-基准是一个用于评估跨多个领域的客服智能体的仿真框架。它支持基于文本的半双工（轮流式）评估，以及使用实时音频API进行的语音全双工（同时进行）评估。

每个领域指定：

• 智能体必须遵循的策略
• 智能体可以使用的工具集合
• 用于评估智能体表现的任务集合
• 可选：用户模拟器的用户工具集合

可用领域：mock · airline · retail · telecom · banking_knowledge

模式	描述
文本（半双工）	轮流式聊天并使用工具
语音（全双工）	通过实时提供商（OpenAI、Gemini、xAI）进行端到端的音频

快速入门

1. 安装

git clone https://github.com/sierra-research/tau2-bench
cd tau2-bench
uv sync                        # 仅核心（文本模式：航空、零售、电信、mock）

可选扩展（按需安装）：

uv sync --extra voice          # + 语音/音频原生功能
uv sync --extra knowledge      # + banking_knowledge领域（检索管道）
uv sync --extra gym            # + gymnasium RL接口
uv sync --extra dev            # + pytest、ruff、pre-commit（贡献时必需）
uv sync --all-extras           # 全部

这需要uv。语音功能还需要系统依赖（macOS上需brew install portaudio ffmpeg）。详细信息请参阅完整安装指南。

2. 设置API密钥

cp .env.example .env
# 编辑.env文件，填入你的API密钥（使用LiteLLM — 任何支持的提供商均可）

3. 运行评估

tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 \
  --num-trials 1 --num-tasks 5

结果会保存到data/simulations/目录下。使用tau2 view可以浏览这些结果。

提示：运行tau2 intro可获得可用领域、命令和示例的概览。

文档

入门指南

文档	描述
入门指南	安装、API密钥、首次运行、输出结构、配置
CLI参考	所有tau2命令和选项

核心概念

文档	描述
智能体开发者指南	构建并评估你自己的智能体
领域	领域结构、数据格式及可用领域
编排器与通信模式	半双工和全双工编排

知识检索

文档	描述
知识检索	检索管道配置、嵌入、RAG以及banking_knowledge领域的沙盒设置

语音与音频

文档	描述
语音（全双工）	提供商、语音复杂度、CLI选项及语音评估的输出结构
音频原生架构	用于添加或修改实时提供商适配器的内部架构

RL与训练

文档	描述
Gym接口	与Gymnasium兼容的环境、游玩模式、训练/测试划分

排行榜与实验

文档	描述
排行榜提交	如何将结果提交至 taubench.com
实验	实验性功能和研究代码

项目

文档	描述
贡献指南	如何为 τ-bench 做出贡献
变更日志	版本历史与发布说明

贡献

我们欢迎各种形式的贡献！无论您是修复 bug、添加新功能、创建领域，还是贡献研究代码，请参阅我们的 贡献指南，以了解相关规范。

引用

如果您使用了 $\tau^3$-bench 的特定组件，请引用下方对应的论文。

知识领域 (banking_knowledge)

@article{shi2026tau,
  title={$\tau$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge},
  author={Shi, Quan and Zytek, Alexandra and Razavi, Pedram and Narasimhan, Karthik and Barres, Victor},
  journal={arXiv preprint arXiv:2603.04370},
  year={2026}
}

语音全双工基准测试

@misc{ray2026tauvoicebenchmarkingfullduplexvoice,
      title={$\tau$-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains},
      author={Soham Ray and Keshav Dhandhania and Victor Barres and Karthik Narasimhan},
      year={2026},
      eprint={2603.13686},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2603.13686},
}

核心 $\tau$-Bench

@misc{barres2025tau2,
      title={$\tau^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment}, 
      author={Victor Barres and Honghua Dong and Soham Ray and Xujie Si and Karthik Narasimhan},
      year={2025},
      eprint={2506.07982},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2506.07982}, 
}

@misc{yao2024tau,
      title={$\tau$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains}, 
      author={Shunyu Yao and Noah Shinn and Pedram Razavi and Karthik Narasimhan},
      year={2024},
      eprint={2406.12045},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2406.12045}, 
}

任务修复

@inproceedings{cuadron2026saber,
      title={{SABER}: Small Actions, Big Errors {\textemdash} Safeguarding Mutating Steps in {LLM} Agents},
      author={Alejandro Cuadron and Pengfei Yu and Yang Liu and Arpit Gupta},
      booktitle={ICLR 2026 Workshop on Memory for LLM-Based Agentic Systems},
      year={2026},
      url={https://openreview.net/forum?id=En2z9dckgP},
}

τ²-Bench 快速上手指南

τ²-Bench（含最新 τ³ 扩展）是一个用于评估真实世界领域中“工具 - 智能体 - 用户”交互的仿真框架。它支持文本（半双工）和语音（全双工）两种模式，涵盖航空、零售、电信及银行知识检索等多个领域。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本：必须为 3.12 或 3.13 (>=3.12, <3.14)
• 包管理器：必须安装 uv (替代传统的 pip)
  • 安装命令 (macOS/Linux): curl -LsSf https://astral.sh/uv/install.sh | sh
  • 安装命令 (Windows PowerShell): powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
• 语音功能额外依赖 (如需测试 Voice Full-Duplex)：
  • macOS: brew install portaudio ffmpeg
  • Linux: sudo apt-get install portaudio19-dev ffmpeg
  • Windows: 需手动安装对应开发库或使用 WSL2

注意：国内开发者若遇到 uv sync 下载慢的问题，可尝试配置 UV_INDEX_URL 环境变量指向国内镜像源（如清华源或阿里源），例如：export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple。

2. 安装步骤

克隆仓库并根据需求安装依赖。默认安装仅包含核心文本模式（航空、零售、电信、模拟领域）。

# 1. 克隆仓库
git clone https://github.com/sierra-research/tau2-bench
cd tau2-bench

# 2. 基础安装 (仅文本模式)
uv sync

# 3. 可选：按需安装额外功能
# 安装语音/音频原生功能 (Voice Full-Duplex)
uv sync --extra voice

# 安装银行知识检索领域 (Knowledge Domain)
uv sync --extra knowledge

# 安装 Gymnasium RL 接口
uv sync --extra gym

# 安装所有功能 (包含开发工具)
uv sync --all-extras

3. 基本使用

第一步：配置 API 密钥

框架使用 LiteLLM 作为后端，支持多种大模型提供商。复制示例配置文件并填入您的密钥。

cp .env.example .env

编辑 .env 文件，填入必要的 API Key（例如 OPENAI_API_KEY 等）。

第二步：运行评估

使用 tau2 run 命令启动评估。以下是一个最简单的示例，在航空领域使用 GPT-4.1 分别作为智能体和用户模拟器，运行 5 个任务：

tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 \
  --num-trials 1 --num-tasks 5

• --domain: 选择领域 (airline, retail, telecom, mock, banking_knowledge)
• --agent-llm: 被测智能体的模型名称
• --user-llm: 模拟用户的模型名称
• --num-trials: 每个任务的重复次数
• --num-tasks: 运行的任务数量

第三步：查看结果

评估结果将自动保存至 data/simulations/ 目录。您可以使用内置命令浏览结果：

tau2 view

提示：运行 tau2 intro 可查看所有可用领域、命令详解及更多示例。