Search-R1：使用强化学习训练您的大语言模型进行推理并调用搜索引擎

Search-R1 是一个强化学习框架，专为训练 推理与搜索交织的大语言模型 而设计——这些模型能够协同地学习推理和工具调用（例如调用搜索引擎）。

基于 veRL，Search-R1 延伸了 DeepSeek-R1(-Zero) 的理念，融入了交错的搜索引擎调用功能，并提供了一个完全开源的强化学习训练流程。它作为 OpenAI DeepResearch 的替代性开源解决方案，推动了工具增强型大语言模型推理的研究与发展。

我们支持多种强化学习方法（如 PPO、GRPO、Reinforce），不同的大语言模型（如 Llama3、Qwen2.5 等）以及不同的搜索引擎（如本地稀疏/稠密检索器和在线搜索引擎）。

论文：link1，link2；模型与数据：link；Twitter 帖子：link；完整实验日志：prelim；v0.1；v0.2；v0.3。关于这些日志和方法的详细信息，请参阅 这里。

新闻

• [2025.10] Search-R1 被 Thinking Machines Lab 的首款产品 Tinker 采用！详情：文档。
• [2025.7] Search-R1 得到 SkyRL 的支持！详细说明：代码，文档。
• [2025.6] Search-R1 现已集成到 veRL 的最新版本中，可充分利用其最新功能！详细说明：veRL，英文文档，中文文档。
• [2025.5] 第二篇进行详细实证研究的 论文 已发表，并附带日志：v0.3。
• [2025.4] 我们支持针对 30B+ 规模大语言模型的 多节点训练！
• [2025.4] 我们支持 不同搜索引擎，包括本地稀疏检索器、带有 ANN 索引的本地稠密检索器以及在线搜索引擎！
• [2025.3] 第一篇 Search-R1 论文 已发表，并附带日志：v0.1；v0.2。
• [2025.2] 我们开源了 Search-R1 代码库，并发布了 初步成果。

链接

• 安装
• 快速入门
• 初步成果
• 推理
• 使用您自己的数据集
• 使用您自己的搜索引擎
• 功能
• 致谢
• 引用

安装

Search-r1 环境

conda create -n searchr1 python=3.9
conda activate searchr1
# 安装 torch [或者您可以跳过这一步，让 vllm 自动为您安装正确版本]
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121
# 安装 vllm
pip3 install vllm==0.6.3 # 或者您可以安装 0.5.4、0.4.2 和 0.3.1

# verl
pip install -e .

# flash attention 2
pip3 install flash-attn --no-build-isolation
pip install wandb

检索器环境（可选）

如果您希望将本地检索器用作搜索引擎，可以按以下方式安装环境。（我们建议使用独立的环境。）

conda create -n retriever python=3.10
conda activate retriever

# 我们推荐使用 conda 安装 torch 以支持 faiss-gpu
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install transformers datasets pyserini

## 安装 GPU 版本 faiss 以确保高效的强化学习回放
conda install -c pytorch -c nvidia faiss-gpu=1.8.0

## API 函数
pip install uvicorn fastapi

快速入门

使用 e5 作为检索器、Wikipedia 作为语料库，在 NQ 数据集上训练一个推理 + 检索的 LLM。

(1) 下载索引和语料库。

save_path=/the/path/to/save
python scripts/download.py --save_path $save_path
cat $save_path/part_* > $save_path/e5_Flat.index
gzip -d $save_path/wiki-18.jsonl.gz

(2) 处理 NQ 数据集。

python scripts/data_process/nq_search.py

(3) 启动本地检索服务器。

conda activate retriever
bash retrieval_launch.sh

(4) 使用 Llama-3.2-3b-base 运行 RL 训练（PPO）。

conda activate searchr1
bash train_ppo.sh

初步结果

(1) 基础模型（llama3.2-3b-base）学会调用搜索引擎，并取得了更好的性能。

(2) 基础模型（Qwen2.5-7b-base）可以通过 RL 学会进行多轮搜索引擎调用和推理。

推理

您可以使用自己的问题与训练好的 Search-R1 模型进行交互。

(1) 启动本地检索服务器。

conda activate retriever
bash retrieval_launch.sh

(2) 运行推理。

conda activate searchr1
python infer.py

您可以修改第 7 行的 question 为您感兴趣的内容。

使用您自己的数据集

QA 数据

对于每个问答样本，它应该是一个包含所需内容的字典，如下所示：

data = {
        "data_source": data_source,
        "prompt": [{
            "role": "user",
            "content": question,
        }],
        "ability": "fact-reasoning",
        "reward_model": {
            "style": "rule",
            "ground_truth": solution
        },
        "extra_info": {
            'split': split,
            'index': idx,
        }
    }

您可以参考 scripts/data_process/nq_search.py 获取具体的数据处理示例。

语料库

建议将您的语料库制作成 jsonl 文件，其中每行（一个带有 “id” 键和 “contents” 键的字典）对应一段文本。您可以参考 example/corpus.jsonl 了解示例。

“id” 键对应段落 ID，而 “contents” 键对应段落内容（'"' + 标题 + '"\n' + 文本）。 例如：

{"id": "0", "contents": "Evan Morris Evan L. Morris (January 26, 1977 – July 9, 2015) was a lobbyist for Genentech and its parent corporation Roche in Washington."}
...
{"id": "100", "contents": "Three years later, when the United States Exploring Expedition to little-known portions of the globe was organised under Charles Wilkes, Hale was recommended, while yet an undergraduate."}
...

索引您的语料库（可选）。 如果您希望使用本地检索器作为搜索引擎，可以通过以下命令索引您自己的语料库：

bash search_r1/search/build_index.sh

您可以将 retriever_name 和 retriever_model 更改为您感兴趣的现成检索器。

使用您自己的搜索引擎

我们的代码库支持本地稀疏检索器（如 BM25）、本地稠密检索器（包括使用 GPU 的平面索引和使用 CPU 的 ANN 索引）以及在线搜索引擎（如 Google、Bing 等）。更多详细信息请参阅 这里。

主要理念是将本地或远程搜索引擎服务器与主 RL 训练流程分开启动。

LLM 可以通过调用搜索 API（例如 “http://127.0.0.1:8000/retrieve”）来调用搜索引擎。

您可以参考 search_r1/search/retriever_server.py 了解如何启动本地检索器服务器的示例。

特性

• 支持本地稀疏检索器（如 BM25）。✔️
• 支持本地稠密检索器（包括平面索引和 ANN 索引）。✔️
• 支持 Google 搜索 / Bing 搜索 / Brave 搜索 API 等。✔️
• 支持现成的神经重排序器。✔️
• 支持不同的 RL 方法（如 PPO、GRPO、Reinforce）。✔️
• 支持不同的 LLM（如 llama3、Qwen2.5 等）。✔️

致谢

Search-R1 的概念灵感来源于 Deepseek-R1 和 TinyZero。 其实现基于 veRL 和 RAGEN。 我们衷心感谢这些团队为开源研究与开发所做出的贡献。

由 Search-R1 提供支持或受其启发的优秀工作

• DeepResearcher：在真实环境中通过强化学习扩展深度研究能力。[](https://github.com/GAIR-NLP/DeepResearcher)
• Multimodal-Search-R1：激励多模态语言模型进行搜索。[](https://github.com/EvolvingLMMs-Lab/multimodal-search-r1)
• OTC：通过强化学习实现最优工具调用。
• ZeroSearch：在不实际搜索的情况下激励大语言模型的搜索能力。[](https://github.com/Alibaba-NLP/ZeroSearch)
• IKEA：基于强化学习的内外部知识协同推理，用于构建高效的自适应搜索代理。[](https://github.com/hzy312/knowledge-r1)
• 知识之香：利用信息觅食优化增强搜索的推理。
• AutoRefine：在思考过程中进行搜索与精炼。[](https://github.com/syr-cn/AutoRefine)
• O^2-Searcher：一种基于搜索的开放域开放式问答代理模型。[](https://github.com/Acade-Mate/O2-Searcher)
• MaskSearch：一个通用的预训练框架，用于提升智能体式搜索能力。[](https://github.com/Alibaba-NLP/MaskSearch)
• VRAG-RL：基于视觉感知的 RAG，用于理解视觉丰富的信息。[](https://github.com/Alibaba-NLP/VRAG)
• R1-Code-Interpreter：通过 SFT 和 RL 训练大语言模型使用代码进行推理。[](https://github.com/yongchao98/R1-Code-Interpreter)
• R-Search：通过多奖励强化学习，利用搜索增强大语言模型的推理能力。[](https://github.com/QingFei1/R-Search)
• StepSearch：通过分步近端策略优化激发大语言模型的搜索能力。[](https://github.com/Zillwang/StepSearch)
• SimpleTIR：用于多轮工具集成推理的稳定端到端强化学习。[](https://github.com/ltzheng/SimpleTIR)
• Router-R1：通过强化学习教导大语言模型进行多轮路由与聚合。[](https://github.com/ulab-uiuc/Router-R1)
• SkyRL：面向大语言模型的模块化全栈强化学习库。[](https://github.com/NovaSky-AI/SkyRL)
• ASearcher：用于搜索代理的大规模强化学习。[](https://github.com/inclusionAI/ASearcher)
• ParallelSearch：利用强化学习将查询分解并并行搜索子查询。[](https://github.com/Tree-Shu-Zhao/ParallelSearch)
• AutoTIR：通过强化学习实现自主工具集成推理。[](https://github.com/weiyifan1023/AutoTIR)
• verl-tool：一个支持多样化工具使用的 verl 版本。[](https://github.com/TIGER-AI-Lab/verl-tool)
• Tree-GRPO：用于大语言模型代理强化学习的树状搜索。[](https://github.com/AMAP-ML/Tree-GRPO)
• EviNote-RAG：通过答案支持性证据笔记增强 RAG 模型。[](https://github.com/Da1yuqin/EviNoteRAG)
• GlobalRAG：GlobalRAG：通过强化学习提升多跳问答中的全局推理能力。[](https://github.com/CarnegieBin/GlobalRAG)

引用

@article{jin2025search,
  title={Search-r1: 使用强化学习训练大语言模型进行推理并利用搜索引擎},
  author={Jin, Bowen and Zeng, Hansi and Yue, Zhenrui and Yoon, Jinsung and Arik, Sercan and Wang, Dong and Zamani, Hamed and Han, Jiawei},
  journal={arXiv 预印本 arXiv:2503.09516},
  year={2025}
}

@article{jin2025empirical,
  title={关于推理-搜索交织型大语言模型代理的强化学习实证研究},
  author={Jin, Bowen and Yoon, Jinsung and Kargupta, Priyanka and Arik, Sercan O and Han, Jiawei},
  journal={arXiv 预印本 arXiv:2505.15117},
  year={2025}
}

Search-R1 快速上手指南

Search-R1 是一个基于强化学习（RL）的框架，旨在训练大语言模型（LLM）具备推理与调用搜索引擎相结合的能力。它扩展了 DeepSeek-R1 的理念，支持多轮搜索与推理交错进行，是开源社区中实现类似 OpenAI DeepResearch 功能的重要方案。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.9 (主训练环境), 3.10 (可选的检索器环境)
• GPU: 支持 CUDA 12.1 的 NVIDIA 显卡
• 显存: 建议 24GB+ (取决于模型大小，3B 模型需较少显存，30B+ 需多卡或多节点)

前置依赖

确保已安装 conda 和 git。

安装步骤

1. 配置主训练环境 (Search-R1)

此环境用于运行强化学习训练和推理。

# 创建并激活虚拟环境
conda create -n searchr1 python=3.9
conda activate searchr1

# 安装 PyTorch (CUDA 12.1)
# 国内用户可使用清华源加速：pip install torch==2.4.0 --index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121

# 安装 vLLM (支持版本 0.6.3, 0.5.4, 0.4.2, 0.3.1)
pip3 install vllm==0.6.3

# 克隆项目并安装 Search-R1
git clone https://github.com/PeterGriffinJin/Search-R1.git
cd Search-R1
pip install -e .

# 安装 Flash Attention 2 和 WandB
pip3 install flash-attn --no-build-isolation
pip install wandb

2. 配置检索器环境 (可选)

如果你计划使用本地检索器（如基于 Faiss 的稀疏/稠密检索器）而非在线搜索 API，需单独配置此环境。

# 创建并激活虚拟环境
conda create -n retriever python=3.10
conda activate retriever

# 安装 PyTorch 全家桶 (推荐通过 conda 安装以兼容 faiss-gpu)
# 国内用户可使用清华源：conda install ... -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia

# 安装必要库
pip install transformers datasets pyserini

# 安装 GPU 版 Faiss (保证 RL rollout 效率)
conda install -c pytorch -c nvidia faiss-gpu=1.8.0

# 安装 API 服务依赖
pip install uvicorn fastapi

基本使用

以下示例演示如何在 NQ (Natural Questions) 数据集上，使用 E5 作为检索器、Wikipedia 作为语料库，训练一个具备搜索能力的 Llama-3.2-3b-base 模型。

第一步：下载索引与语料库

# 设置保存路径
save_path=/the/path/to/save

# 下载数据脚本
python scripts/download.py --save_path $save_path

# 合并索引文件
cat $save_path/part_* > $save_path/e5_Flat.index

# 解压语料库
gzip -d $save_path/wiki-18.jsonl.gz

第二步：处理数据集

python scripts/data_process/nq_search.py

第三步：启动本地检索服务

切换到检索器环境并启动服务。

conda activate retriever
bash retrieval_launch.sh

注：保持该终端运行，检索服务需在后台持续响应。

第四步：开始强化学习训练

切换回主训练环境，启动 PPO 训练。

conda activate searchr1
bash train_ppo.sh

第五步：模型推理

训练完成后，你可以用自己的问题进行测试。

1. 确保检索服务仍在运行 (retriever 环境)。
2. 在主环境中运行推理脚本：

conda activate searchr1
python infer.py

提示：编辑 infer.py 第 7 行的 question 变量即可修改测试问题。

---

更多自定义选项：

• 更换搜索引擎：支持本地 BM25、Faiss (Flat/ANN) 或在线 API (Google/Bing)，详见 docs/retriever.md。
• 更换数据集：参考 scripts/data_process/nq_search.py 格式构建自己的 JSONL 数据。
• 多节点训练：支持 30B+ 大模型的多节点训练配置，详见 docs/multinode.md。