DeepResearch Bench：面向深度研究智能体的全面基准测试

如果您喜欢我们的项目，请在 GitHub 上为我们点亮星标 ⭐，以获取最新更新。

✨ 新闻

• [2026年4月16日] 🎉 新增模型：我们欢迎Deep Dog 1——一款开源深度研究代理（MIT许可证），综合得分为53.52。请查看我们排行榜上的最新排名。

• [2026年4月13日] 🎉 新增模型：DeepResearch Bench迎来了两款新模型：

  • 🥇 Grep Deep Research——一款专有深度研究代理，以56.23的综合得分位居第1名。
  • LiAuto Mind DeepResearch 1.5——理想汽车推出的一款专有深度研究代理，综合得分为52.54。

  请查看我们排行榜上的最新排名。

• [2026年4月9日] 🎉 新增模型：我们欢迎MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5.2）——一款开源深度研究代理（Apache-2.0许可证），综合得分为55.31。请查看我们排行榜上的最新排名。

• [2026年4月2日] 🎉 新增模型：我们欢迎Grep.ai Deep Research——一款专有深度研究代理，综合得分为56.09，在排行榜上位列第2名！请查看我们排行榜上的最新排名。

• [2026年4月2日] 🎉 新增模型：DeepResearch Bench迎来了两款新模型：

  • 🥉 1688AILab-DeepResearch——一款专有深度研究代理，以55.39的综合得分位居第3名。
  • TrajectoryKit（GPT-OSS、GPT5.4）——一款开源深度研究代理（MIT许可证），综合得分为54.92。

  请查看我们排行榜上的最新排名。

• [2026年3月31日] 📝 排行榜提交更新：我们在README中明确了官方排行榜的提交要求。现在，提交内容应包括可临时访问的Gemini-2.5-Pro密钥、原始生成报告、可复现性链接（仓库或产品/API链接），以及模型元数据，如模型名称、链接和开源许可证。请通过dumingxuan@mail.ustc.edu.cn和imlrz@mail.ustc.edu.cn进行提交，详情请参阅提交排行榜。

• [2026年3月25日] 🎉 新增模型：我们欢迎MS-Agent Agentic Insight v2（Qwen3.5-Plus、GPT 5）——一款开源深度研究代理（Apache-2.0许可证），综合得分为54.97。请查看我们排行榜上的最新排名。

• [2026年3月20日] 🎉 新增模型：DeepResearch Bench迎来了三款新模型：

  • 🥇 Cellcog Max——一款专有深度研究代理，以56.13的综合得分位居第1名！
  • 🥉 Cellcog——一款专有深度研究代理，以55.31的综合得分位居第3名。
  • RecallRadar Intelligence——一款专有深度研究代理，综合得分为53.19。

  请查看我们排行榜上的最新排名。

• [2026年2月6日] 🚀 DeepResearch Bench II发布：我们发布了DeepResearch Bench II（DRB II）（主页｜仓库｜论文）。欢迎各位评估并交流想法。请注意，作为DRB的后续版本，DRB II的评估重点与DRB有所不同；DRB将在DRB II发布后继续维护和更新。更多详情请参阅DRB II论文。

• [2026年2月6日] 📚 实验室新论文：欢迎查阅我们实验室（Agent Research Lab）的新论文：

  • 基准测试：
    • DeepResearch Bench II：基于专家撰写的文章，采用9,430个细粒度二元评分标准（信息召回、分析、呈现）来评估DRA生成的报告。
    • Wiki Live Challenge：一项实时基准测试，以维基百科优良条目作为专家级参考，采用细粒度标准评估写作质量和事实可验证性。
    • WildGraphBench：针对长篇异构文档，涵盖单事实问答、多事实问答及章节级摘要的1,100道问题，对GraphRAG进行基准测试。
  • 智能体：
    • A-RAG：一种具身化RAG框架，向模型暴露分层检索接口（关键词搜索、语义搜索、块读取），实现自适应的多粒度检索。
    • FS-Researcher：一种基于文件系统的双智能体框架（上下文构建器+报告撰写器），通过持久化知识库将深度研究扩展至上下文窗口之外。

  如果您希望评估自己的深度研究代理，请参阅下方的排行榜提交要求，并通过dumingxuan@mail.ustc.edu.cn和imlrz@mail.ustc.edu.cn与我们联系。

• [2025年7月18日] 🎉 我们与AGI-Eval平台建立了合作关系。DeepResearch Bench现已上线AGI-Eval，为研究人员和从业者提供更便捷的评估界面，用于测试他们的深度研究代理。

• [2025年7月15日] ⚡️⚡️ 重大更新：新增了对Kimi-Researcher、Doubao-DeepResearch和Claude-Researcher的全面评估。升级了评估基础设施，使用Gemini-2.5-Pro进行RACE评估，使用Gemini-2.5-Flash进行FACT评估。所有原始研究文章和评估分数现已在我们的Hugging Face排行榜上公开，供全面分析和比较。

有关详细的评估结果和全面比较，请参阅下方的评估结果表格。

📖 概述

DeepResearch Bench 解决了缺乏系统性评估深度研究代理（DRA）的综合基准的问题。我们的基准由 100 个博士级别的研究任务 组成，每个任务均由来自 22 个不同领域 的领域专家精心设计，包括：

• 🔬 科学技术：物理、化学、生物、环境科学和工程
• 💼 金融与商业：投资、个人理财、市场营销和人力资源
• 💻 软件：与软件和互联网使用相关的主题
• 🌍 其他：艺术与设计、娱乐、历史、工业、交通、旅游等

基准构建

主题分布分析

为确保 DeepResearch Bench 能够反映现实世界的研究需求，我们分析了来自启用网络搜索的 LLM 交互中的 96,147 条匿名用户查询。这些查询根据 WebOrganizer 分类体系被划分为 22 个主题领域，揭示了人类在不同领域的深度研究需求的真实分布情况。

专家任务收集

在真实需求分布的指导下，我们邀请了 博士级别的专家和资深从业者（5 年以上经验）在其各自领域内设计具有挑战性的研究任务。每份提交的任务都经过严格的手动筛选，以确保：

• 质量：高研究标准和复杂性
• 清晰度：明确的任务定义和要求
• 真实性：基于真实的科研场景
• 挑战程度：测试 DRA 能力的上限

通过这一过程，我们最终获得了 100 个高质量的基准任务（中文和英文各 50 个），其主题分布与实际使用中的分布保持一致。

评估框架

DeepResearch Bench 引入了两种互补的评估方法，旨在全面评估深度研究代理：

🎯 RACE（基于参考的自适应标准驱动评估）

RACE 通过一个复杂的多步骤流程来评估 报告生成质量：

• 动态标准生成：自动为每个任务生成特定的评估标准，涵盖四个关键维度：

  • 📚 全面性：对研究主题覆盖的广度和深度
  • 🔍 洞察力/深度：分析质量和见解生成能力
  • 📋 指令遵循：对具体任务要求的遵守程度
  • 📖 可读性：清晰度、组织性和呈现质量

• 基于参考的评分：将目标报告与高质量的参考报告进行对比，以确保评估的区分度

• 加权评估：根据每个任务的具体要求动态调整权重

🔗 FACT（事实丰富度与引用可信度框架）

FACT 通过以下方式评估 信息检索和知识 grounded 性能：

• 语句-URL 提取：自动从生成的报告中提取事实性陈述及其引用来源
• 去重处理：去除重复的语句-URL 对，以聚焦于独特的事实性陈述
• 支持验证：利用网页抓取和 LLM 判断来验证所引用的来源是否确实支持这些陈述
• 引用指标计算：计算：
  • 引用准确性：正确支持的引用所占百分比
  • 有效引用数：每个任务中可验证支持的平均引用数量

📊 评估结果

主要结果

查看最新排行榜：访问我们的 DeepResearch Bench 排行榜 ，获取实时更新的评估结果、详细比较分析以及原始数据。

提交至排行榜

如果您希望在 DeepResearch Bench 上获得 官方排行榜条目，请准备以下材料，并通过电子邮件发送至：

• dumingxuan@mail.ustc.edu.cn
• imlrz@mail.ustc.edu.cn

所需提交材料：

1. 具备 Gemini-2.5-Pro 访问权限的临时密钥

   • 此密钥仅用于验证和评估。
   • 在评估期间应保持有效。
   • 支持的示例包括：
     • Google AI Studio
     • Vertex AI
     • OpenRouter
     • 其他提供 Gemini-2.5-Pro 访问权限的官方提供商

2. 生成的原始文章

   • 请以与基准原始数据相同格式提供您的模型输出。
   • 参考示例：
     • data/test_data/raw_data/claude-3-7-sonnet-latest.jsonl

3. 可复现性链接

   • 如果您的模型/代理是 开源的，请提供允许他人复现结果的仓库链接。
   • 如果您的模型/代理是 闭源的，请提供用于复现和验证的产品页面和/或 API 链接。

4. 模型元数据

   • 模型名称
   • 模型/项目链接
   • 开源许可证（适用于开源提交；若为闭源，请明确注明为专有技术）

推荐的附加文件：

• results/race/<model_name>/race_result.txt
• results/fact/<model_name>/fact_result.txt

提供这些文件可以帮助我们加快验证速度，但最重要的要求仍然是生成的原始报告和临时评估密钥。

---

🛠️ 安装与使用

前置条件

• Python 3.9+
• Gemini API 密钥（用于 LLM 评估）
• Jina API 密钥（用于 FACT 评估中的网页抓取）

设置

git clone https://github.com/your-username/deep_research_bench.git
cd deep_research_bench
pip install -r requirements.txt

API 配置

将所需的 API 密钥设置为环境变量：

# 设置用于 LLM 评估的 Gemini API 密钥
export GEMINI_API_KEY="your_gemini_api_key_here"

# 设置用于网页抓取的 Jina API 密钥
export JINA_API_KEY="your_jina_api_key_here"

项目结构

deep_research_bench/
├── data/
│   ├── criteria_data/      # 评估标准数据
│   ├── prompt_data/        
│   │   └── query.jsonl     # ← 您的代理需要完成的 100 个基准查询
│   └── test_data/          
│       ├── cleaned_data/   # 清洗后的文章数据
│       └── raw_data/       # ← 将您的模型输出放在这里（model_name.jsonl）
├── prompt/                 # 提示模板
├── utils/                  # 工具函数
├── deepresearch_bench_race.py  # RACE 评估脚本
├── run_benchmark.sh        # ← 在这里添加您的模型名称，然后运行
└── requirements.txt        # 依赖项

快速入门流程：

1. 使用 data/prompt_data/query.jsonl 中的查询 → 运行您的深度研究代理
2. 将输出保存到 data/test_data/raw_data/<model_name>.jsonl
3. 将模型名称添加到 run_benchmark.sh 中的 TARGET_MODELS
4. 运行：bash run_benchmark.sh

快速入门

1. 准备您的模型数据

在基准查询上运行您的深度研究代理，并将输出保存为所需格式：

输入：使用 data/prompt_data/query.jsonl 中的查询（100 个基准任务）

输出：将结果保存到 data/test_data/raw_data/<model_name>.jsonl

所需格式（每行应包含）：

{
    "id": "task_id", 
    "prompt": "original_query_text", 
    "article": "generated_research_article_with_citations"
}

2. 配置待评估的模型

编辑 run_benchmark.sh 文件，添加您的模型名称：

TARGET_MODELS=("your-model-name")

3. 运行评估

bash run_benchmark.sh

评估结果将保存至：

• RACE 评估：results/race/<model_name>/race_result.txt
• FACT 评估：results/fact/<model_name>/fact_result.txt

自定义大语言模型集成

如果您未使用官方 Gemini API，或希望使用其他大语言模型进行评估，请修改 utils/api.py 中的 AIClient 类，以实现您自定义的大语言模型接口。

致谢

我们谨向以下为收集评估数据提供帮助的贡献者表示衷心感谢。由于许多模型和代理并未提供公开 API，因此不得不采用手动方式收集数据，对此我们深表感激：

Xin Yang、Jie Yang、Yawen Li、Xinyu Ouyang、Jiaqi He、Gefan Zhang、Jinfu Liao、Qiuyue Chen、Yulin Wang 和 Lina Wang。

他们的贡献对于本基准测试中所呈现的全面评估至关重要。

引用

如果您在研究中使用 DeepResearch Bench，请引用我们的论文：

@article{du2025deepresearch,
  author    = {Mingxuan Du and Benfeng Xu and Chiwei Zhu and Xiaorui Wang and Zhendong Mao},
  title     = {DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents},
  journal   = {arXiv preprint},
  year      = {2025},
}

DeepResearch Bench 快速上手指南

DeepResearch Bench 是一个用于系统评估深度研究智能体（Deep Research Agents, DRA）的综合基准测试工具。它包含由领域专家精心设计的 100 个博士级研究任务，涵盖科技、金融、软件等 22 个领域，并提供 RACE（报告质量评估）和 FACT（事实与引用可信度评估）两套评估框架。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.9 或更高版本
• 依赖管理: pip 或 conda
• API 访问权限:
  • 需要拥有 Gemini-2.5-Pro 的 API Key（用于 RACE 评估）。
  • 需要拥有 Gemini-2.5-Flash 的 API Key（用于 FACT 评估）。
  • 若需测试自有模型，需准备对应模型的 API Endpoint 或本地部署环境。

安装步骤

目前该项目主要通过源码安装。建议使用虚拟环境以避免依赖冲突。

1. 克隆仓库

git clone https://github.com/Ayanami0730/deep_research_bench.git
cd deep_research_bench

2. 创建并激活虚拟环境

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

3. 安装依赖

pip install -r requirements.txt

提示: 如果下载速度较慢，可使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置环境变量

在项目根目录下创建 .env 文件，填入必要的 API Key：

echo "GEMINI_API_KEY=your_gemini_api_key_here" > .env
# 如有其他模型密钥，请在此处补充

基本使用

DeepResearch Bench 的核心功能是评估智能体生成的研究报告。以下是运行评估的最简流程。

1. 准备待评估数据

确保你拥有智能体生成的原始研究报告（通常为 Markdown 或 JSON 格式），并整理好对应的任务 ID。数据集可从 Hugging Face 获取：

• 数据集地址: muset-ai/DeepResearch-Bench-Dataset

2. 运行评估脚本

使用提供的评估脚本对报告进行打分。以下命令演示了如何对指定目录下的报告运行 RACE 和 FACT 评估：

python evaluate.py \
    --dataset_path data/tasks.json \
    --report_dir results/my_agent_reports \
    --eval_mode all \
    --output_dir eval_results

参数说明：

• --dataset_path: 基准测试任务文件的路径。
• --report_dir: 存放待评估报告文件的文件夹路径。
• --eval_mode: 评估模式，可选 race (仅报告质量), fact (仅事实核查), 或 all (两者都运行)。
• --output_dir: 评估结果输出的目录。

3. 查看结果

运行完成后，评估结果将保存在 eval_results 目录中，包含详细的得分明细、引用准确率以及综合排名数据。您可以将结果上传至 Leaderboard 进行对比。

提交至排行榜

若希望将您的模型结果收录至官方排行榜，请将以下材料发送至官方邮箱 (dumingxuan@mail.ustc.edu.cn, imlrz@mail.ustc.edu.cn)：

1. 临时的 Gemini-2.5-Pro 访问密钥。
2. 原始生成的报告文件。
3. 复现链接（代码仓库或产品/API 链接）。
4. 模型元数据（名称、链接、开源许可证类型）。