R1-searcher：通过强化学习激励大语言模型的搜索能力

如果您喜欢我们的项目，请在 GitHub 上为我们点亮一颗星 ⭐，以获取最新更新。

✨ 新闻

• [2025年5月22日] ⚡️⚡️ R1-Searcher++：我们提出了 R1-Searcher++，这是一个用于训练大语言模型自适应地使用内部和外部知识的框架。它采用两阶段策略：初始的 SFT 冷启动阶段用于基础格式的学习，随后是用于动态知识获取的强化学习阶段。在强化学习阶段，我们引入了一种奖励机制来鼓励内部知识的利用，并整合了一个记忆机制，以持续吸收检索到的信息，从而丰富模型的内部知识。 论文链接：arxiv.org/abs/2505.17005
• [2025年5月22日] ⚡️⚡️ SimpleDeepSearcher-paper：我们发布了 SimpleDeepSearcher 的论文，该论文还探讨了使用蒸馏模型作为骨干网络进行持续强化学习训练的影响，以及在训练过程中加入长链数学推理数据的效果。此外，论文还包括全面的实验。论文链接：arxiv.org/abs/2505.16834
• [2025年4月16日] ⚡️⚡️ SimpleDeepSearcher：我们提出了 SimpleDeepSearcher，这是一个通过知识蒸馏和自蒸馏来激发复杂推理过程中自主检索能力的框架。其目标是在仅使用少量数据的情况下实现高效且有效的训练。
• [2025年3月8日] ⚡️⚡️ R1-Searcher：我们提出了 R1-searcher，采用一种两阶段结果监督强化学习方法，使模型能够在推理过程中学会调用网络搜索功能：首先让模型学习如何调用网络搜索，然后再教它如何有效地使用搜索引擎。这种方法无需任何指令微调来进行冷启动，同时兼容现有的基础型或对话型大语言模型。

💡 概述

大型推理模型（LRMs），如 OpnAI-o1 和 Deepseek-R1，已经证明了强化学习在提升模型长步骤推理能力方面的显著效果，从而极大地提高了它们的推理性能。尽管具有这些优势，但在面对知识密集型问题时，尤其是多跳问题和时间敏感性问题，这些模型可能会缺乏必要的知识。因此，让大语言模型在推理过程中能够调用网络搜索并获取外部信息显得尤为重要。

我们提出了 R1-searcher，采用一种两阶段结果监督强化学习方法，使模型能够在推理过程中学会调用网络搜索功能：首先让模型学习如何调用网络搜索，然后再教它如何有效地使用搜索引擎。这种方法无需任何指令微调来进行冷启动，同时兼容现有的基础型或对话型大语言模型。我们开源了训练代码、推理代码、模型检查点以及详细的技术报告。

• Arxiv：arxiv.org/abs/2503.05592
• 模型：
  • Qwen-2.5-7B-Base-RAG-RL：https://huggingface.co/XXsongLALA/Qwen-2.5-7B-base-RAG-RL
  • Llama-3.1-8B-Instruct-RAG-RL：https://huggingface.co/XXsongLALA/Llama-3.1-8B-instruct-RAG-RL
• 训练数据：https://huggingface.co/datasets/XXsongLALA/RAG-RL-Hotpotqa-with-2wiki

✨ 关键见解

• 仅依靠结果监督的强化学习，我们就可以仅使用查询-答案对来激活模型的内在搜索能力，无论面对的是基础型还是对话型大语言模型。
• 近期的强化学习算法，如 GRPO 和 Reinforce++，都能够有效地激活大语言模型的内部搜索能力。
• 在训练过程中不需要复杂的提示工程或过程监督。
• 基础大语言模型的能力在很大程度上决定了模型是否可以直接从零开始进行训练。
• 强化学习后的 LongCoT 推理是一种比现有基于树搜索的方法（如蒙特卡洛树搜索）更有效、更高效的测试时扩展方法。
• 通过使用本地检索数据进行强化学习训练，模型可以很好地泛化到其他数据集和在线搜索场景。
• 最终的 7B 参数大语言模型相比现有的复杂方法甚至闭源大语言模型（如 GPT-4o-mini）都取得了显著的性能提升。

✨ 方法

总体

我们采用两阶段奖励引导的强化学习训练方法：

第一阶段：仅使用格式奖励，学习如何调用搜索功能。

第二阶段：结合格式奖励和答案奖励，学习如何通过调用搜索功能来解答问题。

算法

我们仅使用基于结果监督的强化学习进行训练，因此需要考虑两个主要方面：(1) 强化学习算法，以及 (2) 奖励的设计。

• RL算法：我们使用 Reinforce++ 作为我们的强化学习算法。对于每一道题目，我们会对 n 个样本的奖励取平均值，以稳定训练过程。在解题格式上，我们使用 <think>...</think> 标签表示思考，xxx 表示搜索，<answer>...</answer> 表示回答，<begin_of_search>...<end_of_search> 用于调用搜索工具，而 <begin_of_documents>...<end_of_documents> 则用于展示检索到的文档。
• Belong to the same category. The data is then mixed in a specific ratio to form our training data. All of our training data can be found here: https://huggingface.co/datasets/XXsongLALA/RAG-RL-Hotpotqa-with-2wiki.

📄 评估

参照 ReARTeR（https://arxiv.org/pdf/2501.07861），我们选择了四个具有代表性的基准数据集：HotpotQA、2WikiMultiHopQA、Musique 和 Bamboogle。

其中，HotpotQA 和 2WikiMultiHopQA 属于域内数据集，因为我们使用了它们的训练集；而 Musique 和 Bamboogle 则属于域外数据集，这有助于评估模型的泛化能力。我们从 HotpotQA、2WikiMultiHopQA 和 Musique 的开发集中随机抽取 500 个样例作为测试集。对于 Bamboogle，则直接使用其全部测试集（125 个样例）作为测试数据。

所有数据集的检索语料均来自维基百科，具体来说是 Facebook Research 于 2019 年 8 月发布的 [KILT 维基百科语料库]。此外，由于 Bamboogle 数据中包含较新的知识，我们还加入了在线网页搜索测试，以进一步评估模型与在线搜索能力的匹配程度。

在评估指标方面，我们使用 ACC_R（覆盖精确匹配）和 ACC_L（LLM 作为裁判）。 正如我们所见，在使用相同的 LLaMA-3.1-8B-Instruct 基础模型时，我们的方法相比现有方法取得了显著提升，甚至超越了 GPT-4o-mini 等闭源模型。进一步地，当我们切换到更强大的基础模型 Qwen-2.5-7B-Base 时，我们直接从零开始进行强化学习训练，最终在所有域内和域外数据集上都取得了更好的成绩，充分展示了我们模型卓越的泛化能力。

对于 Bamboogle 数据集，我们额外使用了 Google 进行在线搜索。可以看出，相比于仅依赖本地知识库，结合在线搜索能够带来更优的结果，这表明将在线搜索能力无缝集成到我们的模型中是可行的。

🏃 快速入门

环境搭建

注意：环境配置与 STILL-3 相同（非常棒的工作！）。

conda create --name r1-searcher python=3.10.16
conda activate r1-searcher
pip install vllm==0.6.5
pip install packaging
pip install ninja
pip install flash-attn --no-build-isolation
pip install deepspeed
pip install accelerate
pip install datasets

数据准备

cd R1-Searcher

## 处理维基百科摘要
wget -nv --no-check-certificate https://rocketqa.bj.bcebos.com/corpus/nq.tar.gz
tar -zxf nq.tar.gz
rm -rf nq.tar.gz # 我们只使用标题和摘要。

## 处理维基百科全文
wget http://dl.fbaipublicfiles.com/KILT/kilt_knowledgesource.json
cd R1-Searcher
python wiki_corpus_index_bulid/split_kilt_to_100.py

## 对 TSV 文件建立索引。建议将原始 TSV 文件拆分为 n 份进行嵌入，否则处理过程会非常缓慢。
python wiki_corpus_index_bulid/build_corpus_embedding.py --file_path the_tsv_file_path --save_path the_pickle_path --gpu_id 0
python wiki_corpus_index_bulid/build_corpus_idnex.py

训练

cd R1-Searcher

## 启动 Ray
bash scripts/ray_start.sh

## 挂载维基百科
python train/wiki_corpus_load.py hotpotqa 5004 &

## 将 jsonl 转换为 hf 数据集
python train/jsonl2hf_dataset.py --input data/training_set/stage_2.jsonl --output data/training_set/stage_2

## 启动奖励服务器 
python train/reward_server_qwen_zero.py --data_path data/training_set/stage_2 --reward_pretrain the_model_path --log_file results/samples/qwen.jsonl --port 1278

## 开始训练
bash scripts/qwen_reinforce_plus_train.sh | tee results/logs/qwen_reinforce_plus_train.txt

评估

cd R1-Searcher

## 本地搜索
## HotpotQA
python train/wiki_corpus_load.py hotpotqa 5004 &
python evaluation/eval_search_loacl.py --gpu_id 0 --temp 0.0 --port 5004 --prompt_type v0 --src_file  data/eval_set/hotpotqa_500.jsonl --model_path the_path_to_model
## 2Wiki, Musique, Bamboogle
python train/wiki_corpus_load.py kilt 5005 &
python evaluation/eval_search_loacl.py --gpu_id 0 --temp 0.0 --port 5005 --prompt_type v0 --src_file data/eval_set/bamboogle_500.jsonl --model_path the_path_to_model

## 在线搜索
## Bamboogle
python evaluation/eval_search_online.py --gpu_id 0 --temp 0.0 --port 5004 --prompt_type v0 --src_file data/eval_set/bamboogle_500.jsonl --model_path the_path_to_model

## 计算指标
## 精确匹配、覆盖精确匹配、F1 分数
python evaluation/metric_calc_rule.py the_path_to_results

## LLM 作为裁判。请记得将输入文件替换为你自己的结果。
python evaluation/metric_calc_gpt_as_judge.py

📄 引用

如果您在研究中使用了本报告，请您予以引用。

@article{R1-searcher,
  title={R1-Searcher：通过强化学习激励大语言模型的搜索能力},
  author={宋华通、蒋金浩、闵英谦、陈杰、陈志鹏、赵文轩、温继荣、陆洋、缪旭},
  url={https://github.com/RUCAIBox/R1-searcher},
  year={2025}
}

📄 许可证

本项目采用 MIT 许可证 开放。

📞 联系方式

如有任何问题或反馈，请发送邮件至 songhuatong123@ruc.edu.cn。

R1-Searcher 快速上手指南

R1-Searcher 是一个通过强化学习（RL）激励大语言模型（LLM）在推理过程中自主调用网络搜索能力的开源项目。它采用两阶段结果监督强化学习方法，无需冷启动指令微调，即可让 Base 或 Chat 模型学会“何时搜索”及“如何利用搜索结果”。

环境准备

系统要求

• Python: 3.10.16 (推荐严格匹配版本)
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 24GB+ 以运行 7B/8B 模型训练与推理）
• 操作系统: Linux (Ubuntu 20.04/22.04 推荐)

前置依赖

本项目环境配置参考了 STILL-3，主要依赖 vllm, deepspeed, flash-attn 等高性能推理与训练库。

安装步骤

请依次执行以下命令创建虚拟环境并安装依赖。国内用户建议使用清华或阿里镜像源加速安装。

# 1. 创建并激活虚拟环境
conda create --name r1-searcher python=3.10.16
conda activate r1-searcher

# 2. 安装基础依赖 (推荐使用国内镜像源)
pip install vllm==0.6.5 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install packaging ninja deepspeed accelerate datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

# 3. 安装 flash-attn (需预先安装 ninja，且建议不使用隔离构建以加快速度)
pip install flash-attn --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：flash-attn 编译可能需要较长时间，请确保系统已安装 cuda-toolkit 且版本与 PyTorch 兼容。

数据准备

在开始训练前，需要下载维基百科语料库并建立索引。

cd R1-Searcher

# 1. 下载并处理维基百科摘要 (仅使用标题和摘要)
wget -nv --no-check-certificate https://rocketqa.bj.bcebos.com/corpus/nq.tar.gz
tar -zxf nq.tar.gz
rm -rf nq.tar.gz

# 2. 下载 KILT 知识库全文
wget http://dl.fbaipublicfiles.com/KILT/kilt_knowledgesource.json

# 3. 分割 KILT 数据 (便于后续并行处理)
python wiki_corpus_index_bulid/split_kilt_to_100.py

# 4. 构建语料库嵌入 (Embedding)
# 提示：建议将原始 TSV 文件分割为多部分并行处理，否则速度较慢
# 请将 the_tsv_file_path 和 the_pickle_path 替换为实际路径
python wiki_corpus_index_bulid/build_corpus_embedding.py --file_path the_tsv_file_path --save_path the_pickle_path --gpu_id 0

# 5. 构建语料库索引
python wiki_corpus_index_bulid/build_corpus_idnex.py

基本使用

R1-Searcher 的核心在于通过强化学习让模型学会使用特定的标签格式进行思考、搜索和回答。

模型交互格式

模型在推理时会遵循以下标签结构：

• <think>...</think>: 模型内部思考过程。
• <begin_of_search>...</end_of_search>: 调用搜索工具的触发标记。
• <begin_of_documents>...</end_of_documents>: 检索返回的文档内容。
• <answer>...</answer>: 最终答案。

推理示例逻辑

虽然具体的推理脚本在原文中被截断，但基于项目描述，基本的调用逻辑如下（伪代码示意）：

1. 加载模型：加载微调后的 Checkpoint（如 Qwen-2.5-7B-Base-RAG-RL）。
2. 输入 Prompt：直接输入复杂问题，无需特殊 Prompt 工程。
3. 自动执行：
   • 模型生成 <begin_of_search> 标签。
   • 系统拦截该标签，调用本地索引或搜索引擎获取信息。
   • 将检索结果包裹在 <begin_of_documents> 中返回给模型。
   • 模型继续生成思考过程和最终 <answer>。

预训练模型地址

您可以直接从 Hugging Face 下载已训练好的模型权重：

• Qwen-2.5-7B-Base-RAG-RL: XXsongLALA/Qwen-2.5-7B-base-RAG-RL
• Llama-3.1-8B-Instruct-RAG-RL: XXsongLALA/Llama-3.1-8B-instruct-RAG-RL

训练数据

如需复现训练过程，数据集已开源：

• 数据集: XXsongLALA/RAG-RL-Hotpotqa-with-2wiki
• 来源: HotpotQA 和 2WikiMultiHopQA 的训练集子集，按难度（易/中/难）混合采样。