🔍 Search-o1：代理式搜索增强型
大型推理模型

如果您喜欢我们的项目，请在GitHub上为我们点亮一颗星⭐，以获取最新更新。

📣 最新消息

• 2025年8月21日：🎉 Search-o1已被EMNLP 2025主会接收！
• 2025年5月1日：🎉 我们全新的框架WebThinker现已发布，它赋予推理模型强大的深度研究能力。您可以通过Github仓库和论文进行访问。
• 2025年1月10日：关于Search-o1的简要介绍已在X、知乎和微信等平台上发布。
• 2025年1月10日：Search-o1的论文已公开。您可以在arXiv、alphaXiv和HF-paper上查阅。
• 2025年1月6日：Search-o1的主页已上线。您可以通过这里访问。
• 2025年1月5日：Search-o1的代码已发布。现在您可以应用Search-o1来增强您的大型推理模型。

✏️ 待办事项

• 添加Search-o1与不同骨干推理模型（如Sky-T1和DeepSeek-R1）的实验结果。
• 训练推理模型，使其更好地利用搜索工具。
• 增加更多工具（如计算器、代码解释器等），以进一步提升推理模型的能力。

💡 概述

大型推理模型（LRMs）如OpenAI的o1，通过大规模强化学习展现了卓越的长步骤推理能力。尽管这些模型具有强大优势，但在长时间推理过程中，它们常常面临知识不足的问题，导致频繁的不确定性及潜在错误，如下图所示。

✨ 方法

为克服这些挑战，我们提出了Search-o1，该框架通过代理式检索增强生成（RAG）机制以及文档内推理模块，将检索到的文档深度分析并整合进推理链中。

• 代理式搜索流程：将代理式搜索过程融入推理流程，使模型能够在遇到不确定信息时动态检索外部知识。
• 文档内推理模块：无缝整合检索到的信息，减少噪声并保持推理链条的连贯性。

✨ 推理过程

Search-o1采用批量生成机制，并穿插搜索过程。我们首先结合任务指令和输入问题初始化推理序列。同时为所有序列生成标记，检测搜索查询以批量检索相关文档。随后对这些文档进行精炼，并无缝地重新整合回推理链中，循环此过程直至所有序列完成并产生最终答案。

这种方法提高了LRMs的可靠性和准确性，使其能够通过实时填补知识空白，更有效地处理复杂的推理任务。

🔧 安装

1. 环境搭建

# 创建conda环境
conda create -n search_o1 python=3.9
conda activate search_o1

# 安装依赖
cd Search-o1
pip install -r requirements.txt

🏃 快速入门

数据准备

使用data/data_pre_process.ipynb中提供的代码，将每个数据集预处理为我们的标准化JSON格式。我们使用的数据集分为两类：

• 挑战性推理任务：
  • 博士级科学问答： GPQA
  • 数学基准测试： MATH500、AMC2023、AIME2024
  • 代码基准测试： LiveCodeBench
• 开放领域问答任务：
  • 单跳问答： NQ、TriviaQA
  • 多跳问答： HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle

预处理数据集的步骤如下：

1. 打开Jupyter笔记本data/data_pre_process.ipynb。
2. 对于每个数据集，运行相应的预处理单元格，将原始数据转换为统一的JSON格式。
3. 处理后的数据集将保存在data/目录下。

如果您处理的任务不属于上述任何数据集，对于QA、数学或代码等生成任务，应将数据格式化为{'Question': str, 'answer': str}。对于选择题任务，则应格式化为{'Question': str, 'Correct Choice': str}。此外，还需修改scripts/evaluate.py、scripts/prompts.py和scripts/run_xxx_xxx.py以匹配您的任务。

模型推理

您可以使用提供的脚本运行不同的推理模式。以下是每种模式的执行示例：

1. 直接推理（直接生成）

python scripts/run_direct_gen.py \
    --dataset_name gpqa \
    --split diamond \
    --model_path "YOUR_MODEL_PATH"

2. 朴素检索增强生成（RAG）

python scripts/run_naive_rag.py \
    --dataset_name gpqa \
    --split diamond \
    --use_jina True \
    --model_path "YOUR_MODEL_PATH" \
    --jina_api_key "YOUR_JINA_API_KEY" \
    --bing_subscription_key "YOUR_BING_SUBSCRIPTION_KEY"

3. 基于智能体搜索的RAG

python scripts/run_rag_agent.py \
    --dataset_name gpqa \
    --split diamond \
    --max_search_limit 5 \
    --max_url_fetch 5 \
    --max_turn 10 \
    --top_k 10 \
    --use_jina True \
    --model_path "YOUR_MODEL_PATH" \
    --jina_api_key "YOUR_JINA_API_KEY" \
    --bing_subscription_key "YOUR_BING_SUBSCRIPTION_KEY"

4. Search-o1（我们的方法）

python scripts/run_search_o1.py \
    --dataset_name aime \
    --split test \
    --max_search_limit 5 \
    --max_turn 10 \
    --top_k 10 \
    --max_doc_len 3000 \
    --use_jina True \
    --model_path "YOUR_MODEL_PATH" \
    --jina_api_key "YOUR_JINA_API_KEY" \
    --bing_subscription_key "YOUR_BING_SUBSCRIPTION_KEY"

参数说明：

• --dataset_name: 要使用的数据集名称（例如，gpqa、aime）。
• --split: 要运行的数据划分（例如，train、test、diamond）。
• --model_path: 预训练LRM模型的路径。
• --bing_subscription_key: 您的必应搜索API订阅密钥。
• --max_search_limit: 每次推理会话的最大搜索查询次数。
• --max_url_fetch: 每次搜索最多获取的URL数量。
• --max_turn: 最大推理轮数。
• --top_k: 要检索的前k个文档。
• --max_doc_len: 每个检索文档的最大长度。
• --use_jina: 是否使用Jina进行文档处理。
• --jina_api_key: 用于获取URL内容的Jina API订阅密钥。

请确保将 "YOUR_MODEL_PATH" 替换为您的实际模型路径，并将 "YOUR_BING_SUBSCRIPTION_KEY" 和 "YOUR_JINA_API_KEY" 替换为您自己的必应搜索和Jina API密钥。

评估

我们的模型推理脚本会自动保存模型的输入和输出文本以供评估。然而，对于包含检索的方法，由于模型并未经过训练以有效利用检索到的文本，因此通常无法给出最终答案。我们采用回退策略：当基于检索的方法未能为某个数据点提供最终答案时，就使用直接生成的结果。

要使用此回退策略，您需要在 scripts/evaluate.py 文件中提供直接生成结果的路径，然后使用以下命令获取基于检索方法的回退结果：

python scripts/evaluate.py \
    --output_path outputs/... \
    --apply_backoff

📄 引用

如果您觉得这项工作有所帮助，请引用我们的论文：

@article{Search-o1,
  author       = {Xiaoxi Li and
                  Guanting Dong and
                  Jiajie Jin and
                  Yuyao Zhang and
                  Yujia Zhou and
                  Yutao Zhu and
                  Peitian Zhang and
                  Zhicheng Dou},
  title        = {Search-o1: Agentic Search-Enhanced Large Reasoning Models},
  journal      = {CoRR},
  volume       = {abs/2501.05366},
  year         = {2025},
  url          = {https://doi.org/10.48550/arXiv.2501.05366},
  doi          = {10.48550/ARXIV.2501.05366},
  eprinttype    = {arXiv},
  eprint       = {2501.05366},
  timestamp    = {Wed, 19 Feb 2025 21:19:08 +0100},
  biburl       = {https://dblp.org/rec/journals/corr/abs-2501-05366.bib},
  bibsource    = {dblp computer science bibliography, https://dblp.org}
}

📄 许可证

本项目采用 MIT许可证 开放。

📞 联系方式

如有任何问题或反馈，请通过 xiaoxi_li@ruc.edu.cn 联系我们。

🌟 星标历史

Search-o1 快速上手指南

Search-o1 是一个通过**代理式搜索（Agentic Search）**增强大型推理模型（LRMs）的框架。它允许模型在推理过程中动态检索外部知识，解决知识不足导致的幻觉问题，特别适用于高难度数学、科学问答及代码生成任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL)
• Python 版本: 3.9 或更高版本
• 依赖管理: 推荐使用 conda 管理虚拟环境
• API 密钥:
  • Bing Search API: 用于搜索引擎查询 (bing_subscription_key)
  • Jina AI API: 用于网页内容抓取与清洗 (jina_api_key)

安装步骤

1. 创建并激活虚拟环境

建议使用 Conda 创建独立的 Python 3.9 环境以避免依赖冲突。

conda create -n search_o1 python=3.9
conda activate search_o1

2. 克隆项目并安装依赖

下载源码并安装所需的 Python 包。国内用户若遇到 pip 下载慢的问题，可临时切换至清华或阿里镜像源。

# 克隆仓库 (假设已 git clone 或在项目目录下)
cd Search-o1

# 安装依赖 (推荐使用国内镜像加速)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用前请准备好预处理后的数据集，并确保拥有有效的 Bing 和 Jina API Key。以下是最核心的 Search-o1 推理模式 运行示例。

1. 数据预处理 (可选)

如果您使用官方支持的数据集（如 GPQA, MATH, AIME 等），请先运行 Notebook 将数据转换为标准 JSON 格式：

• 打开 data/data_pre_process.ipynb
• 运行对应数据集的单元格，生成的文件将保存在 data/ 目录。

2. 运行 Search-o1 推理

执行以下命令启动带有代理搜索功能的推理流程。请将占位符替换为您的实际配置。

python scripts/run_search_o1.py \
    --dataset_name aime \
    --split test \
    --max_search_limit 5 \
    --max_turn 10 \
    --top_k 10 \
    --max_doc_len 3000 \
    --use_jina True \
    --model_path "YOUR_MODEL_PATH" \
    --jina_api_key "YOUR_JINA_API_KEY" \
    --bing_subscription_key "YOUR_BING_SUBSCRIPTION_KEY"

关键参数说明：

• --model_path: 本地大型推理模型的路径。
• --dataset_name: 数据集名称 (例如: gpqa, aime, math)。
• --max_search_limit: 单次推理允许的最大搜索次数。
• --max_turn: 最大推理轮数。
• --use_jina: 设为 True 以启用 Jina 进行网页内容提取。

3. 结果评估

推理完成后，脚本会自动保存输入输出文本。若需评估带检索方法的效果（包含回退策略），运行：

python scripts/evaluate.py \
    --output_path outputs/... \
    --apply_backoff

提示: 对于简单的直接生成测试（无搜索），可使用 scripts/run_direct_gen.py；对于传统 RAG 测试，可使用 scripts/run_naive_rag.py。