---

深度研究代理：宽深（W&D）研究

🔬 通过并行工具调用扩展研究宽度

2026年2月11日 — 我们推出了宽深（W&D）研究代理，它通过每轮更多的并行工具调用来扩展“宽度”。这种方法在 BrowseComp、HLE 和 GAIA 基准上提高了准确性，同时减少了轮次、API 费用和实际耗时。我们的 W&D 代理配合 GPT-5-medium 在 BrowseComp 上达到了 62.2%，优于 GPT-5-high 深度研究（54.9%）。

📚 资源：

• 论文
• 网站
• 代码

---

架构概述

MCPUniverse 架构由以下关键组件组成：

• 智能体（mcpuniverse/agent/）：不同智能体类型的基类实现
• 工作流（mcpuniverse/workflows/）：编排与协调层
• MCP 服务器（mcpuniverse/mcp/）：协议管理和外部服务集成
• 大模型集成（mcpuniverse/llm/）：多提供商语言模型支持
• 基准测试（mcpuniverse/benchmark/）：评估与测试框架
• 仪表盘（mcpuniverse/dashboard/）：可视化与监控界面

下图展示了高层视图：

┌─────────────────────────────────────────────────────────────────┐
│                      应用层                          │
├─────────────────────────────────────────────────────────────────┤
│  仪表盘  │    Web API      │   Python 库   │   基准测试   │
│   (Gradio)  │   (FastAPI)     │                │                │
└─────────────┬─────────────────┬────────────────┬────────────────┘
              │                 │                │
┌─────────────▼─────────────────▼────────────────▼────────────────┐
│                      编排层                        │
├─────────────────────────────────────────────────────────────────┤
│           工作流           │        基准测试运行器         │
│    (链、路由器等)      │      (评估引擎)        │
└─────────────┬─────────────────┬────────────────┬────────────────┘
              │                 │                │
┌─────────────▼─────────────────▼────────────────▼────────────────┐
│                        智能体层                              │
├─────────────────────────────────────────────────────────────────┤
│  BasicAgent │   ReActAgent    │  FunctionCall  │     其他      │
│             │                 │     智能体      │     智能体     │
└─────────────┬─────────────────┬────────────────┬────────────────┘
              │                 │                │
┌─────────────▼─────────────────▼────────────────▼────────────────┐
│                      基础设施层                           │
├─────────────────────────────────────────────────────────────────┤
│   MCP 管理器   │   LLM 管理器   │  内存系统 │  追踪器  │
│   (服务器与    │   (多模型  │   (RAM, Redis)  │ (日志记录) │
│    客户端)     │    支持)     │                 │           │
└─────────────────┴─────────────────┴─────────────────┴───────────┘

更多信息请参见 这里。

快速入门

为了简化流程，我们在该仓库中遵循 特性分支工作流。为确保代码质量，我们已将 PyLint 集成到 CI 中，以强制执行 Python 编码规范。

先决条件

• Python：需版本 3.10 或更高。
• Docker：用于运行 Docker 化的 MCP 服务器。
• PostgreSQL（可选）：用于数据库存储和持久化。
• Redis（可选）：用于缓存和内存管理。

安装步骤

1. 克隆仓库

   git clone https://github.com/SalesforceAIResearch/MCP-Universe.git
   cd MCP-Universe
   

2. 创建并激活虚拟环境

   python3 -m venv venv
   source venv/bin/activate
   

3. 安装依赖

   pip install -r requirements.txt
   pip install -r dev-requirements.txt
   

4. 平台特定要求

   Linux:

   sudo apt-get install libpq-dev
   

   macOS:

   brew install postgresql
   

5. 配置 pre-commit 钩子

   pre-commit install
   

6. 环境配置

   cp .env.example .env
   # 根据您的 API 密钥和配置编辑 .env 文件
   

快速测试

要运行基准测试，您需要先设置环境变量：

1. 将 .env.example 文件复制为名为 .env 的新文件。
2. 在 .env 文件中，设置智能体使用的各种服务所需的 API 密钥，例如 OPENAI_API_KEY 和 GOOGLE_MAPS_API_KEY。

以编程方式执行基准测试的示例代码如下：

from mcpuniverse.tracer.collectors import MemoryCollector  # 您也可以使用 SQLiteCollector
from mcpuniverse.benchmark.runner import BenchmarkRunner

async def test():
    trace_collector = MemoryCollector()
    # 选择 "mcpuniverse/benchmark/configs" 文件夹下的基准配置文件
    benchmark = BenchmarkRunner("dummy/benchmark_1.yaml")
    # 运行指定的基准测试
    results = await benchmark.run(trace_collector=trace_collector)
    # 获取追踪记录
    trace_id = results[0].task_trace_ids["dummy/tasks/weather_1.json"]
    trace_records = trace_collector.get(trace_id)

评估大模型与智能体

本节提供了使用 MCP-Universe 基准套件评估大模型和 AI 智能体的完整说明。该框架支持跨多个领域的评估，包括网络搜索、位置导航、浏览器自动化、财务分析、代码库管理以及 3D 设计等。

先决条件

在运行基准测试之前，请确保已完成 快速入门 部分，并具备以下条件：

• Python：版本 3.10 或更高
• Docker：已安装且可在环境中使用
• 已通过 pip install -r requirements.txt 安装所有必要依赖
• 激活的虚拟环境
• 对您计划评估的服务拥有适当的 API 访问权限

环境配置

1. 初始设置

复制环境模板并配置您的 API 凭证：

cp .env.example .env

2. API 密钥与配置

在您的 .env 文件中配置以下环境变量。所需的密钥取决于您计划评估的基准测试领域：

核心大模型提供商

环境变量	提供商	描述	必需项
OPENAI_API_KEY	OpenAI	GPT 模型（gpt-5 等）的 API 密钥	所有领域
ANTHROPIC_API_KEY	Anthropic	Claude 模型的 API 密钥	所有领域
GEMINI_API_KEY	Google	Gemini 模型的 API 密钥	所有领域

注意：您只需为打算在评估中使用的 LLM 提供商配置相应的 API 密钥。

领域特定服务

环境变量	服务	描述	设置说明
SERP_API_KEY	SerpAPI	用于搜索基准测试的网络搜索 API	获取 API 密钥
GOOGLE_MAPS_API_KEY	Google 地图	地理定位和地图服务	设置指南
GITHUB_PERSONAL_ACCESS_TOKEN	GitHub	用于仓库操作的个人访问令牌	令牌设置
GITHUB_PERSONAL_ACCOUNT_NAME	GitHub	您的 GitHub 用户名	不适用
NOTION_API_KEY	Notion	用于访问 Notion 工作区的集成令牌	集成设置
NOTION_ROOT_PAGE	Notion	您的 Notion 工作区的根页面 ID	参见下方的配置示例

系统路径

环境变量	描述	示例
BLENDER_APP_PATH	Blender 可执行文件的完整路径（我们使用 v4.4.0）	/Applications/Blender.app/Contents/MacOS/Blender
MCPUniverse_DIR	您的 MCP-Universe 仓库的绝对路径	/Users/username/MCP-Universe

配置示例

Notion 根页面 ID： 如果您的 Notion 页面 URL 是：

https://www.notion.so/your_workspace/MCP-Evaluation-1dd6d96e12345678901234567eaf9eff

则设置 NOTION_ROOT_PAGE=MCP-Evaluation-1dd6d96e12345678901234567eaf9eff

Blender 安装：

1. 从 blender.org 下载 Blender v4.4.0。
2. 按照 安装指南 安装我们修改后的 Blender MCP 服务器。
3. 设置 Blender 可执行文件的路径。

⚠️ 安全建议

🔒 重要安全提示

请在运行基准测试前仔细阅读并遵循以下安全指南：

• 🚨 GitHub 集成：至关重要 - 我们强烈建议您使用一个专门的测试 GitHub 账户来进行基准测试。AI 代理将在 GitHub 仓库中执行实际操作，这可能会修改或损坏您的个人仓库。

• 🔐 API 密钥管理：

  • 将 API 密钥安全存储，切勿将其提交到版本控制系统中。
  • 使用环境变量或安全的密钥管理系统。
  • 定期轮换您的 API 密钥以增强安全性。

• 🛡️ 访问权限：

  • 为每个服务集成授予最小必要的权限。
  • 审查并限制 API 密钥的作用范围，仅允许执行必要操作。
  • 监控 API 使用情况，并设置适当的速率限制。

• ⚡ Blender 操作：3D 设计基准测试将执行可能修改或创建您系统上文件的 Blender 命令。请确保已做好充分备份，必要时在隔离环境中运行。

基准测试配置

领域特定配置文件

每个基准测试领域都有一个专用的 YAML 配置文件，位于 mcpuniverse/benchmark/configs/test/ 中。要评估您的 LLM/代理，请修改相应的配置文件：

领域	配置文件	描述
网络搜索	web_search.yaml	搜索引擎和信息检索任务
位置导航	location_navigation.yaml	地理和地图相关查询
浏览器自动化	browser_automation.yaml	网页交互和自动化场景
财务分析	financial_analysis.yaml	市场数据分析和财务计算
仓库管理	repository_management.yaml	Git 操作和代码仓库任务
3D 设计	3d_design.yaml	基于 Blender 的 3D 建模和设计任务

LLM 模型配置

在每个配置文件中，更新 LLM 规格以匹配您的目标模型：

kind: llm
spec:
  name: llm-1
  type: openai  # 或 anthropic、google 等
  config:
    model_name: gpt-4o  # 替换为您目标模型

执行

运行单个基准测试

使用以下命令执行特定领域的基准测试：

# 设置 Python 路径并运行单个基准测试
export PYTHONPATH=.

# 位置导航
python tests/benchmark/mcpuniverse/test_benchmark_location_navigation.py

# 浏览器自动化  
python tests/benchmark/mcpuniverse/test_benchmark_browser_automation.py

# 财务分析
python tests/benchmark/mcpuniverse/test_benchmark_financial_analysis.py

# 仓库管理
python tests/benchmark/mcpuniverse/test_benchmark_repository_management.py

# 网络搜索
python tests/benchmark/mcpuniverse/test_benchmark_web_search.py

# 3D 设计
python tests/benchmark/mcpuniverse/test_benchmark_3d_design.py

批量执行

要对所有领域进行全面评估：

#!/bin/bash
export PYTHONPATH=.

domains=("location_navigation" "browser_automation" "financial_analysis" 
         "repository_management" "web_search" "3d_design")

for domain in "${domains[@]}"; do
    echo "正在运行基准测试：$domain"
    python "tests/benchmark/mcpuniverse/test_benchmark_${domain}.py"
    echo "已完成：$domain"
done

保存运行日志

如果您想保存运行日志，可以将 trace_collector 传递给基准测试运行函数：

from mcpuniverse.tracer.collectors import FileCollector

trace_collector = FileCollector(log_file="log/location_navigation.log")
benchmark_results = await benchmark.run(trace_collector=trace_collector)

将基准测试结果保存为报告

如果您想保存基准测试结果报告，可以使用 BenchmarkReport 来导出报告：

from mcpuniverse.benchmark.report import BenchmarkReport

report = BenchmarkReport(benchmark, trace_collector=trace_collector)
report.dump()

可视化代理运行信息

要运行基准测试并查看中间结果和实时进度，可以将 callbacks=get_vprint_callbacks() 传递给运行函数：

from mcpuniverse.callbacks.handlers.vprint import get_vprint_callbacks

benchmark_results = await benchmark.run(
    trace_collector=trace_collector, 
    callbacks=get_vprint_callbacks()
)

这将在基准测试运行时打印出中间结果。

有关更多详细信息，请参阅代码中的文档或仓库中现有的配置示例。

创建自定义基准测试

一个基准测试由三个主要的配置元素定义：任务定义、代理/工作流定义以及基准测试本身的配置。下面是一个使用简单“天气预报”任务的示例。

任务定义

任务定义以 JSON 格式提供，例如：

{
  "category": "general",
  "question": "旧金山现在的天气如何？",
  "mcp_servers": [
    {
      "name": "weather"
    }
  ],
  "output_format": {
    "city": "<城市>",
    "weather": "<天气预报结果>"
  },
  "evaluators": [
    {
      "func": "json -> get(city)",
      "op": "=",
      "value": "San Francisco"
    }
  ]
}

字段说明：

1. category：任务类别，例如“general”、“google-maps”等。您可以为该属性设置任何值。
2. question：您希望在此任务中提出的主要问题。这被视为用户消息。
3. mcp_servers：此框架支持的 MCP 服务器列表。
4. output_format：代理响应的期望输出格式。
5. evaluators：用于评估的测试列表。对于每个测试/评估器，它有三个属性：“func”表示如何从代理响应中提取值，“op”是比较运算符，“value”是真实值。 它将评估 op(func(...), value, op_args...)。“op”可以是“=”，“<”，“>”或其他自定义运算符。

在“evaluators”中，您需要编写一条规则（“func”属性），说明如何提取用于测试的值。在上面的示例中，“json -> get(city)”会先进行 JSON 解码，然后提取键“city”的值。此仓库中预定义了几种函数：

1. json：执行 JSON 解码。
2. get：获取某个键的值。
3. len：获取列表的长度。
4. foreach：执行 FOR-EACH 循环。

例如，假设我们定义了如下数据：

data = {"x": [{"y": [1]}, {"y": [1, 1]}, {"y": [1, 2, 3, 4]}]}

那么 get(x) -> foreach -> get(y) -> len 将执行以下操作：

1. 获取“x”的值：[{"y": [1]}, {"y": [1, 1]}, {"y": [1, 2, 3, 4]}]。
2. 执行 foreach 循环，获取“y”的值：[[1], [1, 1], [1, 2, 3, 4]]。
3. 获取每个列表的长度：[1, 2, 4]。

如果这些预定义的函数不够用，您可以实现自定义函数。有关更多详细信息，请参阅 此 文档。

基准测试定义

在 YAML 文件中定义代理和基准测试。以下是一个简单的天气预报基准测试：

kind: llm
spec:
  name: llm-1
  type: openai
  config:
    model_name: gpt-4o

---
kind: agent
spec:
  name: ReAct-agent
  type: react
  config:
    llm: llm-1
    instruction: 您是一名天气预报代理。
    servers:
      - name: weather

---
kind: benchmark
spec:
  description: 测试天气预报代理
  agent: ReAct-agent
  tasks:
    - dummy/tasks/weather.json

基准测试定义主要包括两部分：代理定义和基准测试配置。基准测试配置很简单——您只需指定要使用的代理（通过已定义的代理名称）以及要评估的任务列表。每个任务条目都是任务配置文件的路径。它可以是完整文件路径，也可以是相对路径。如果是相对路径（如“dummy/tasks/weather.json”），则应将其放置在本仓库的 mcpuniverse/benchmark/configs 文件夹中。

该框架提供了一种灵活的方式来定义简单代理（如 ReAct）以及更复杂的多步骤代理工作流。

1. 指定 LLM：首先声明您希望代理使用的大型语言模型（LLM）。每个 LLM 组件必须被分配一个唯一的名称（例如“llm-1”）。这些名称作为标识符，框架使用它们来连接不同的组件。
2. 定义代理：接下来，通过提供代理的名称并选择代理类来定义代理。代理类可在 mcpuniverse.agent 包中找到。 常用类包括“basic”、“function-call”和“react”。在代理规范（spec.config）中，您还必须通过设置“llm”字段来指示代理应使用哪个 LLM 实例。
3. 创建复杂的工作流：除了简单代理外，该框架还支持定义复杂的编排型工作流，其中多个代理相互协作以解决更复杂的任务。

例如：

kind: llm
spec:
  name: llm-1
  type: openai
  config:
    model_name: gpt-4o

---
kind: agent
spec:
  name: basic-agent
  type: basic
  config:
    llm: llm-1
    instruction: 返回某个地点的纬度和经度。

---
kind: agent
spec:
  name: function-call-agent
  type: function-call
  config:
    llm: llm-1
    instruction: 您是一名天气预报代理。请根据给定的纬度和经度返回今天的天气情况。
    servers:
      - name: weather

---
kind: workflow
spec:
  name: orchestrator-workflow
  type: orchestrator
  config:
    llm: llm-1
    agents:
      - basic-agent
      - function-call-agent

---
kind: benchmark
spec:
  description: 测试天气预报代理
  agent: orchestrator-workflow
  tasks:
    - dummy/tasks/weather.json

引用

如果您在研究中使用 MCP-Universe，请引用我们的论文：

@misc{mcpuniverse,
  title={MCP-Universe: 使用现实世界模型上下文协议服务器对大型语言模型进行基准测试},
  author={Ziyang Luo 和 Zhiqi Shen 和 Wenzhuo Yang 和 Zirui Zhao 和 Prathyusha Jwalapuram 和 Amrita Saha 和 Doyen Sahoo 和 Silvio Savarese 和 Caiming Xiong 和 Junnan Li},
  year={2025},
  eprint={2508.14704},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2508.14704}, 
}

from mcpuniverse.tracer.collectors import MemoryCollector  # 也可以使用 SQLiteCollector
from mcpuniverse.benchmark.runner import BenchmarkRunner

async def test():
    # 初始化追踪收集器
    trace_collector = MemoryCollector()
    
    # 选择配置文件 (位于 mcpuniverse/benchmark/configs 目录下)
    benchmark = BenchmarkRunner("dummy/benchmark_1.yaml")
    
    # 运行指定的基准测试
    results = await benchmark.run(trace_collector=trace_collector)
    
    # 获取追踪记录
    trace_id = results[0].task_trace_ids["dummy/tasks/weather_1.json"]
    trace_records = trace_collector.get(trace_id)
    
    # 此处可添加打印或分析结果的代码
    print(f"Trace records: {trace_records}")

# 注意：在实际运行前，请确保已正确设置异步入口点
# 例如在脚本末尾添加:
# import asyncio
# asyncio.run(test())