DR Tulu-8B 是首个针对长篇幅深度研究任务训练的开源深度研究（DR）模型。在长篇幅深度研究基准测试中，DR Tulu-8B 的表现可与 OpenAI 的深度研究模型相媲美。

---

发布说明

• 2026年2月9日：🔥 我们发布了 DR Tulu-8B 的免费交互式演示！请访问 dr-tulu.org 体验！
• 2025年11月19日：首次代码发布。
• 2025年11月25日：我们发布了交互式 CLI 演示代码，并附带了关于评估、训练以及全新强化学习检查点的额外文档。

概述

本仓库包含三个主要组件：

• agent/：代理库（dr-agent-lib），配备基于 MCP 的工具后端、高并发异步请求管理功能，以及用于开发和训练深度研究代理的灵活提示接口。该目录还包含用于基准测试深度研究代理的评估脚本。

• rl/：基于 Open-Instruct 的强化学习训练代码，用于使用 GRPO 和动态评分标准训练深度研究代理。

• sft/：基于 LLaMA-Factory 的监督微调训练代码，用于对深度研究代理进行监督微调。

有关详细的设置和使用说明，请参阅各子目录中的 README 文件。

---

快速入门：交互式体验 DR Tulu

使用我们的 CLI 演示，即可交互式地体验 DR Tulu！这需要 1–2 张 GPU 卡，设置过程只需几个步骤：

1. 设置环境

   cd agent/
   conda create -n dr_agent python=3.10 -y && conda activate dr_agent
   uv pip install -e .
   

2. 配置 API 密钥（可从相应服务获取免费密钥）

   export SERPER_API_KEY="your_key"  # https://serper.dev/
   export S2_API_KEY="your_key"      # https://api.semanticscholar.org/
   export JINA_API_KEY="your_key"    # https://jina.ai/reader/
   

3. 启动交互式演示

   uv run --extra vllm python scripts/launch_chat.py --model rl-research/DR-Tulu-8B
   

演示将自动启动所需服务（MCP 服务器和 vLLM），并开启一个交互式聊天界面。现在您可以提出研究问题，观看 DR Tulu 实时搜索并综合答案！

更多选项和高级用法，请参阅 agent/README.md。

---

运行评估

要在各类任务（HealthBench、Deep Research Bench、SimpleQA 等）上对 DR Tulu 进行基准测试，您需要：

1. 在同一节点上启动所需服务器（需 2 张 GPU 卡）：

   # 启动 VLLM 服务器
   CUDA_VISIBLE_DEVICES=0 vllm serve rl-research/DR-Tulu-8B --dtype auto --port 30001 --max-model-len 40960
   CUDA_VISIBLE_DEVICES=1 vllm serve Qwen/Qwen3-8B --dtype auto --port 30002 --max-model-len 40960
   
   # 启动 MCP 服务器
   python -m dr_agent.mcp_backend.main --port 8000
   

2. 运行评估脚本以测试您感兴趣的基准：

   cd agent/
   
   # 示例：在所有基准上运行
   for task in healthbench deep_research_bench research_qa genetic_diseases simpleqa 2wiki webwalker; do 
       python workflows/auto_search_sft.py \
           generate-dataset $task \
           --num-examples final_run \
           --max-concurrent 20 \
           --use-cache \
           --config workflows/auto_search_sft.yaml \
           --config-overrides "use_browse_agent=true,search_agent_max_tool_calls=10,browse_tool_name=jina" \
           --output eval_output/auto_search_sft/$task.jsonl
       
       python scripts/evaluate.py $task eval_output/auto_search_sft/$task.jsonl
   done
   

注意：SQA-CS-V2 和 Deep Research Bench 需要额外的转换脚本来进行评估。详细说明请参阅 agent/evaluation/README.md。

完整的评估说明、基准描述及示例脚本，请参阅 agent/evaluation/README.md。

---

训练

监督微调（SFT）

使用高质量示范数据对深度研究代理进行监督微调：

cd sft/llama-factory/
# 详细说明请参阅 sft/llama-factory/README.md

有关完整的 SFT 训练设置和配置，请参阅 sft/llama-factory/README.md。

强化学习（RL）

使用 GRPO 和动态评分标准训练深度研究代理：

cd rl/open-instruct/
# 详细说明请参阅 rl/open-instruct/README.md

有关完整的 RL 训练设置，包括奖励模型训练和策略优化，请参阅 rl/open-instruct/README.md。

---

致谢

DR Tulu 由艾伦人工智能研究所（Ai2）提供。该项目的代码由华盛顿大学、卡内基梅隆大学和麻省理工学院的学生研究人员共同开发。

---

引用与联系

如果您觉得我们的工作有所帮助，请引用以下内容：

@article{shao2025dr,
  title={DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research},
  author={Shao, Rulin and Asai, Akari and Shen, Shannon Zejiang and Ivison, Hamish and Kishore, Varsha and Zhuo, Jingming and Zhao, Xinran and Park, Molly and Finlayson, Samuel G and Sontag, David and others},
  journal={arXiv preprint arXiv:2511.19399},
  year={2025}
}

如有任何问题，欢迎联系 Rulin Shao、Akari Asai、Shannon Shen 和 Hamish Ivison，或在 GitHub 上提交问题。

DR Tulu 快速上手指南

DR Tulu-8B 是首个开源的长文本深度研究（Deep Research）模型，基于强化学习与动态评估标准训练而成。本指南将帮助开发者快速在本地部署并体验其交互式研究能力。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• 硬件要求:
  • 交互式演示: 至少需要 1-2 张 NVIDIA GPU (显存建议 24GB+)
  • 完整评测: 需要 2 张 NVIDIA GPU
• 软件依赖:
  • Python 3.10
  • Conda (用于环境管理)
  • UV (用于快速包安装)
• API 密钥: 需提前申请以下服务的免费 API Key：
  • Serper (搜索服务)
  • Semantic Scholar (学术搜索)
  • Jina AI (网页内容读取)

安装步骤

1. 克隆代码库并进入代理目录

   git clone https://github.com/allenai/dr-tulu.git
   cd dr-tulu/agent/
   

2. 创建并激活 Conda 环境

   conda create -n dr_agent python=3.10 -y && conda activate dr_agent
   

3. 安装项目依赖

   uv pip install -e .
   

   提示: 如果国内下载速度慢，可配置 UV 使用国内镜像源： export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置 API 密钥 将申请的密钥导出为环境变量：

   export SERPER_API_KEY="your_serper_key"
   export S2_API_KEY="your_s2_key"
   export JINA_API_KEY="your_jina_key"
   

基本使用

完成安装后，即可启动交互式命令行演示。该命令会自动拉起所需的 MCP 服务和 vLLM 推理后端。

启动交互式对话

uv run --extra vllm python scripts/launch_chat.py --model rl-research/DR-Tulu-8B

启动成功后，终端将进入聊天界面。您可以直接输入复杂的研究问题（例如：“请总结最近关于大语言模型在蛋白质折叠领域的应用进展”），DR Tulu 将实时执行搜索、阅读文献并合成最终答案。

注意: 首次运行时会自动下载 rl-research/DR-Tulu-8B 模型权重。若网络受限，建议提前通过 Hugging Face 镜像站下载模型至本地缓存目录。