DeepResearcher：在真实环境中通过强化学习扩展深度研究

这是 DeepResearcher 的官方代码库。

📝 引言

DeepResearcher 是首个端到端训练基于大语言模型的深度研究智能体的综合框架，它通过在包含真实网络搜索交互的真实环境中扩展强化学习（RL），实现了这一目标。我们的定性分析揭示了从端到端强化学习训练中涌现的 认知行为，包括制定计划、从多个来源交叉验证信息、进行自我反思以调整研究方向，以及在无法找到明确答案时保持诚实的能力。

       

📋 目录

• 引言
• 模型
• 性能
• 开始使用
• 致谢
• 引用

🤖 模型

DeepResearcher 现已在 Hugging Face Hub 上发布：

模型名称	HF 检查点	大小
DeepResearcher-7b	🤗 GAIR/DeepResearcher-7b	7B

🏆 性能

我们在开放域研究任务上的大量实验表明，与基于提示工程的基线相比，DeepResearcher 的性能提升了高达 28.9 分；与基于 RAG 的强化学习智能体相比，也提升了高达 7.2 分。我们的定性分析揭示了从端到端强化学习训练中涌现的认知行为，包括制定计划、从多个来源交叉验证信息、进行自我反思以调整研究方向，以及在无法找到明确答案时保持诚实的能力。我们的研究结果强调，在真实网络环境中进行端到端训练不仅仅是一个实现细节，而是开发与实际应用相一致的稳健研究能力的基本要求。

🚀 开始使用

安装依赖包

要开始使用本仓库，您需要安装所需的依赖项。可以通过运行以下命令来完成：

git clone https://github.com/GAIR-NLP/DeepResearcher.git 
conda create -n deepresearcher python=3.10 
conda activate deepresearcher
cd DeepResearcher
pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124
pip3 install flash-attn --no-build-isolation
pip3 install -e .
pip3 install -r requirements.txt

在训练和推理前启动 Ray

我们使用 Ray 来训练模型，在启动 Ray 之前，您需要先设置 PET_NODE_RANK。（即使您只有 1 个节点，这也必须执行）。 以下是主节点的代码：

export PET_NODE_RANK=0
ray start --head

运行后端处理程序

运行以下命令以启动服务器处理程序：

1. 修改 ./scrl/handler/config.yaml 中的 serper_api_key 或 azure_bing_search_subscription_key 以及 search_engine。
2. 在 ./scrl/handler/server_handler.py 中添加 qwen-plus API 密钥：

client = OpenAI(
    api_key="sk-xxx",
    base_url="xxxx"
)

3. 启动服务器处理程序：

 python ./scrl/handler/server_handler.py

所有服务器处理程序启动完成后，您可以将 server_url_list 替换为您训练主机节点中的 ./scrl/handler/config.yaml，然后运行：

 python ./scrl/handler/handler.py

训练模型

使用以下命令训练模型：

 bash train_grpo.sh

评估

使用以下命令生成回放数据：

 bash evaluate.sh

您可以在以下路径找到回放文件：./outputs/{project_name}/{experiment_name}/rollout/rollout_step_0.json。 您可以重命名并将其复制到 ./evaluate/{experiment_name}_result.json。

然后，运行以下命令：

 python ./evaluate/cacluate_metrics.py {experiment_name}

您可以在 ./evaluate/{experiment_name}_score.json 中查看评分。

🙏 致谢

DeepResearcher 受 Deepseek-R1 的启发，其具体实现基于 veRL 和 Search-r1。我们对这些团队在开源研究与开发方面的贡献表示由衷的感谢。

✍️ 引用

如果您在使用本仓库中的模型、代码或结论时获得了帮助，请引用本仓库：

@misc{zheng2025deepresearcherscalingdeepresearch,
      title={DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments}, 
      author={Yuxiang Zheng and Dayuan Fu and Xiangkun Hu and Xiaojie Cai and Lyumanshan Ye and Pengrui Lu and Pengfei Liu},
      year={2025},
      eprint={2504.03160},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2504.03160}, 
}

DeepResearcher 快速上手指南

DeepResearcher 是首个通过在真实网络环境中进行大规模强化学习（RL）端到端训练的大语言模型深度研究代理框架。它具备制定计划、多源信息交叉验证、自我反思及诚实回答等 emergent 认知行为。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• GPU 支持: 需要 NVIDIA GPU 且已安装 CUDA 12.4 驱动（对应 cu124）
• API 密钥:
  • 搜索引擎 API：Serper API Key 或 Azure Bing Search Subscription Key
  • 大模型 API：兼容 OpenAI 格式的 API Key（如 Qwen-Plus 等）

安装步骤

1. 克隆项目与创建环境

git clone https://github.com/GAIR-NLP/DeepResearcher.git 
conda create -n deepresearcher python=3.10 
conda activate deepresearcher
cd DeepResearcher

2. 安装依赖库

注意：以下步骤指定了 PyTorch 2.4.0 (CUDA 12.4) 和 flash-attn。如果国内网络下载缓慢，建议配置 pip 国内镜像源（如清华源）。

# 安装指定版本的 PyTorch (CUDA 12.4)
pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124

# 安装 flash-attn (跳过构建隔离以加速)
pip3 install flash-attn --no-build-isolation

# 安装当前项目包
pip3 install -e .

# 安装其他依赖
pip3 install -r requirements.txt

3. 配置 Ray 分布式环境

DeepResearcher 使用 Ray 进行训练和推理。即使只在单节点运行，也必须设置 PET_NODE_RANK 环境变量。

启动头节点（Head Node）：

export PET_NODE_RANK=0
ray start --head

基本使用

1. 配置后端服务

在运行训练或推理前，需配置搜索引擎和大模型 API。

1. 编辑配置文件 ./scrl/handler/config.yaml：

   • 填入 serper_api_key 或 azure_bing_search_subscription_key。
   • 设置 search_engine 类型。
   • （可选）若有多节点，更新 server_url_list。

2. 配置大模型 API： 打开 ./scrl/handler/server_handler.py，找到 OpenAI 客户端初始化部分，填入您的 API Key 和 Base URL（例如使用通义千问 Plus）：

   client = OpenAI(
       api_key="sk-xxx", # 替换为您的 API Key
       base_url="xxxx"   # 替换为您的 API Base URL
   )
   

3. 启动服务处理器：

   python ./scrl/handler/server_handler.py
   

   注：若在独立训练节点运行，启动上述服务后，还需在该节点运行 python ./scrl/handler/handler.py。

2. 模型训练

配置完成后，执行以下脚本启动基于 GRPO 的强化学习训练：

bash train_grpo.sh

3. 评估与测试

生成 rollout 数据并进行评估：

1. 生成 Rollout：

   bash evaluate.sh
   

   生成的文件位于：./outputs/{project_name}/{experiment_name}/rollout/rollout_step_0.json

2. 准备评估文件： 将生成的 rollout 文件重命名并复制到评估目录：

   cp ./outputs/{project_name}/{experiment_name}/rollout/rollout_step_0.json ./evaluate/{experiment_name}_result.json
   

3. 计算指标：

   python ./evaluate/cacluate_metrics.py {experiment_name}
   

   最终得分可查看：./evaluate/{experiment_name}_score.json

---

提示：预训练模型权重可直接从 Hugging Face 获取：GAIR/DeepResearcher-7b