ToolOrchestra: 通过高效的模型与工具编排提升智能水平

苏洪锦*, 刁世哲*, 卢希明, 刘明杰, 徐嘉诚, 董欣, 傅永干, 彼得·贝尔卡克, 叶汉荣, 尹宏旭, 董毅, 埃韦丽娜·巴赫图里娜, 余涛, 崔艺珍, 扬·考茨, 帕夫洛·莫尔恰诺夫

英伟达  ·  香港大学
^*同等贡献

---

📰 新闻

• 2025年12月5日: 我们的生成数据集ToolScale成为Hugging Face上下载量第一的数据集，而Nemotron-Orchestrator-8B则在所有模型中排名第第三。

• 2025年12月2日: 🏆 ToolOrchestra在**GAIA基准测试中位居第一**！

• 2025年11月27日: 我们发布了ToolOrchestra的代码、训练数据以及模型检查点。

---

我们推出了ToolOrchestra，这是一种用于训练小型协调器的方法，该协调器能够协调智能工具的使用。通过结合工具和专用模型，ToolOrchestra不仅超越了GPT-5，而且效率更高。面对一项任务时，协调器会在多个回合中交替进行推理和工具调用，以完成任务。协调器会与多种工具交互，包括基础工具（如网络搜索、代码解释器）、专业LLM（如编程模型、数学模型）以及通用LLM（如GPT-5、Llama-Nemotron-Ultra-253B、Claude Opus 4.1）。在训练过程中，协调器通过端到端强化学习，同时优化结果、效率和偏好奖励。为了辅助强化学习训练，我们开发了一套自动化流水线，可以大规模合成环境和工具调用任务。

借助ToolOrchestra，我们打造了Orchestrator-8B，这是一款最先进的80亿参数编排模型，旨在通过协调多样化的专家模型和工具来解决复杂的多轮代理任务。

关键成果：

• 在HLE上，Orchestrator-8B获得了37.1%的得分，优于GPT-5（35.1%），且效率高出2.5倍。
• 在τ²-Bench和FRAMES上，Orchestrator-8B大幅领先于GPT-5，同时仅消耗其约30%的成本。

---

🛠️ 环境搭建

# 克隆本仓库
git clone https://github.com/NVlabs/ToolOrchestra.git
cd ToolOrchestra

# 下载索引文件和检查点
git clone https://huggingface.co/datasets/multi-train/index
export INDEX_DIR='/path/to/index'
git clone https://huggingface.co/nvidia/Nemotron-Orchestrator-8B
export CKPT_DIR='/path/to/checkpoint'

# 设置环境变量
export HF_HOME="/path/to/huggingface"
export REPO_PATH="/path/to/this_repo"

# 搜索API环境，请前往[Tavily](https://app.tavily.com/home)申请API密钥。
export TAVILY_KEY="TAVILY_KEY"
export WANDB_API_KEY="WANDB_API_KEY"
export OSS_KEY="OSS_KEY" # 英伟达NGC密钥
export CLIENT_ID="CLIENT_ID"
export CLIENT_SECRET="CLIENT_SECRET"

用于Tau2-Bench评估（Enroot环境）

由于需要本地安装tau2，您需要重新构建镜像：

srun --partition=interactive --time=04:00:00 --nodes=1 --overcommit --ntasks-per-node=1 --cpus-per-task=128 --job-name tau2-bench --account=nvr_lpr_agentic --gres=gpu:8  --container-image /lustre/fsw/portfolios/nvr/users/$USER/docker/s1.sqsh --container-save /lustre/fsw/portfolios/nvr/users/$USER/docker/s1.sqsh --container-mounts=$HOME:/home,/lustre:/lustre --pty /bin/bash

pip uninstall -y tau2
cd toolorchestra/evaluation/tau2-bench
pip install -e .
exit

训练环境（Conda环境）

conda create -n toolorchestra python=3.12 -y
conda activate toolorchestra
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install flashinfer-python -i https://flashinfer.ai/whl/cu124/torch2.6/
pip install -e training/rollout

检索环境

conda create -n retriever python=3.12 -y
conda activate retriever
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia
pip install transformers datasets pyserini psutil
conda install -c pytorch -c nvidia faiss-gpu
pip install uvicorn fastapi
pip install tavily-python
pip install flash-attn --no-build-isolation

vLLM模型环境

conda create -n vllm1 python=3.12 -y
conda activate vllm1
pip install torch
pip install "transformers<4.54.0"
pip install vllm==0.9.2 # 用于gemma-2-9b-it
cd evaluation/tau2-bench
pip install -e .

---

🚀 训练

cd training
python resume_h100.py

---

📊 评估

cd evaluation

# 在HLE上评估（需vllm1和retriever环境）
python run_hle.py

# 在FRAMES上评估（需vllm1和retriever环境）
python run_frames.py

# 在τ²-Bench上评估（需vllm1环境）
cd tau2-bench/
python run.py

---

⚙️ 自定义

• LLM 调用：修改 LLM_CALL.py 中的 get_llm_response 函数，以将 LLM 调用扩展到 vLLM 和 OpenAI 之外的服务。
• 提示词：修改 eval_hle.py 中的第 455–458 行以及 eval_frames.py 中的第 506–509 行。
• 工具配置：替换 eval_frames.py 和 eval_hle.py 第 27 行中的 tool_config，以使用不同的工具集。
• 工具与模型：修改 tools.json 文件以及 eval_hle.py 中的 call_tool 函数。
• 并行实验：修改 training/resume_h100.py 中的变量 {EXPERIMENT_NAME1}、{EXPERIMENT_NAME2}、{EXPERIMENT_NAME3}，这些变量应与目录中的文件名相对应。

防止连接错误

为防止在 HLE 中连接主机模型时出现错误，您可以注释掉 这一行，然后分别运行以下命令：

# 在独立进程中
python run_hle.py
python eval_hle.py --model_name {cur_ckpt_dir} --output_dir {cur_output_dir} --model_config model_configs/serve2.json --example_path hle.jsonl

---

📜 许可证

本项目采用 Apache 2.0 许可证授权。

---

📝 引用

如果您觉得本仓库有用，请考虑给个 ⭐ 并引用我们的 论文：

@misc{toolorchestra,
      title={ToolOrchestra: Elevating Intelligence via Efficient Model and Tool Orchestration}, 
      author={Hongjin Su and Shizhe Diao and Ximing Lu and Mingjie Liu and Jiacheng Xu and Xin Dong and Yonggan Fu and Peter Belcak and Hanrong Ye and Hongxu Yin and Yi Dong and Evelina Bakhturina and Tao Yu and Yejin Choi and Jan Kautz and Pavlo Molchanov},
      year={2025},
      eprint={2511.21689},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.21689}, 
}

ToolOrchestra 快速上手指南

ToolOrchestra 是 NVIDIA 开源的高效模型与工具编排框架，旨在通过训练小型编排器（Orchestrator）协调多种智能工具和专业模型，以解决复杂的多轮代理任务。其核心模型 Orchestrator-8B 在多个基准测试中超越了 GPT-5，同时具备更高的效率和更低的成本。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.12
• GPU: 支持 CUDA 的 NVIDIA GPU (训练推荐 H100/A100，推理可根据模型大小调整)
• 依赖管理: Conda (推荐)
• API Key:
  • Tavily: 用于网络搜索功能，需在 Tavily 官网 申请。
  • Hugging Face: 用于下载模型和数据集。
  • WandB: 用于训练日志监控（可选）。
  • NVIDIA NGC: 用于访问特定资源（如需）。

安装步骤

1. 克隆项目与下载资源

首先克隆代码仓库，并下载必要的索引文件和模型检查点。

# 克隆代码仓库
git clone https://github.com/NVlabs/ToolOrchestra.git
cd ToolOrchestra

# 下载索引文件 (用于检索增强)
git clone https://huggingface.co/datasets/multi-train/index
export INDEX_DIR='/path/to/index' # 请替换为实际路径

# 下载模型检查点 (Orchestrator-8B)
git clone https://huggingface.co/nvidia/Nemotron-Orchestrator-8B
export CKPT_DIR='/path/to/checkpoint' # 请替换为实际路径

# 设置基础环境变量
export HF_HOME="/path/to/huggingface" # 建议设置为缓存目录
export REPO_PATH="$(pwd)"

2. 配置 API 密钥

根据您的实际需求，导出以下环境变量：

export TAVILY_KEY="YOUR_TAVILY_API_KEY"
export WANDB_API_KEY="YOUR_WANDB_API_KEY"
export OSS_KEY="YOUR_NGC_KEY" 
export CLIENT_ID="YOUR_CLIENT_ID"
export CLIENT_SECRET="YOUR_CLIENT_SECRET"

3. 安装依赖环境

根据您的需求（训练、检索或评估），选择对应的环境进行安装。

A. 训练环境 (Training)

如果您需要重新训练或微调模型：

conda create -n toolorchestra python=3.12 -y
conda activate toolorchestra

# 安装基础依赖
pip install -r requirements.txt

# 安装高性能注意力机制 (需确保 CUDA 版本匹配)
pip install flash-attn --no-build-isolation
# 安装 flashinfer (示例使用 cu124/torch2.6，请根据实际情况调整源)
pip install flashinfer-python -i https://flashinfer.ai/whl/cu124/torch2.6/

# 安装 rollout 模块
pip install -e training/rollout

B. 检索环境 (Retrieval)

如果您需要运行涉及检索功能的评估：

conda create -n retriever python=3.12 -y
conda activate retriever

# 安装 PyTorch (示例为 CUDA 12.4，请根据显卡驱动调整)
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 安装其他依赖
pip install transformers datasets pyserini psutil
conda install -c pytorch -c nvidia faiss-gpu
pip install uvicorn fastapi tavily-python
pip install flash-attn --no-build-isolation

C. vLLM 推理环境 (Evaluation)

用于运行基准测试评估（如 HLE, FRAMES, τ²-Bench）：

conda create -n vllm1 python=3.12 -y
conda activate vllm1

pip install torch
# 注意 transformers 版本限制
pip install "transformers<4.54.0"
# 安装指定版本的 vLLM
pip install vllm==0.9.2

# 安装 tau2-bench 评估模块
cd evaluation/tau2-bench
pip install -e .
cd ../..

注意：若需运行 τ²-Bench 的完整 Enroot 容器化评估，需按照 README 中的 srun 命令重建镜像并本地安装 tau2。

基本使用

1. 启动训练

进入训练目录并运行脚本（默认配置针对 H100 集群，单机用户可能需要修改 resume_h100.py 中的配置）：

cd training
python resume_h100.py

2. 运行评估

切换到评估目录，根据您激活的环境运行相应的基准测试脚本。

评估 HLE 基准: (需激活 vllm1 和 retriever 环境)

cd evaluation
python run_hle.py

评估 FRAMES 基准: (需激活 vllm1 和 retriever 环境)

cd evaluation
python run_frames.py

评估 τ²-Bench 基准: (需激活 vllm1 环境)

cd evaluation/tau2-bench
python run.py

3. 自定义配置

• 更换 LLM 后端: 修改 LLM_CALL.py 中的 get_llm_response 函数以适配非 vLLM/OpenAI 服务。
• 调整提示词: 在 eval_hle.py (第 455-458 行) 和 eval_frames.py (第 506-509 行) 修改 Prompt。
• 更改工具集: 修改 tools.json 文件及 eval_hle.py 中的 call_tool 函数逻辑。
• 避免连接错误: 若在 HLE 评估中遇到主机连接问题，可注释掉 evaluation/run_hle.py 第 248 行，然后分进程运行：

  # 终端 1: 运行评估脚本
  python run_hle.py
  
  # 终端 2: 运行评测脚本
  python eval_hle.py --model_name {cur_ckpt_dir} --output_dir {cur_output_dir} --model_config model_configs/serve2.json --example_path hle.jsonl