ZeroSearch
ZeroSearch 是由阿里巴巴通义实验室推出的一项创新技术，旨在让大语言模型在不实际联网搜索的情况下，也能具备强大的检索与推理能力。传统方法通常依赖实时调用搜索引擎来获取外部信息，但这不仅成本高、延迟大，还涉及隐私和稳定性问题。ZeroSearch 通过构建“模拟搜索”机制，利用专门训练的仿真大模型来模仿真实搜索引擎的行为，从而在本地即可生成高质量的搜索结果，并结合强化学习算法（如 REINFORCE、GPRO 和 PPO）优化策略模型，显著提升模型回答事实性问题的准确性。
这项技术特别适合 AI 研究人员、大模型开发者以及希望提升模型知识更新能力但受限于外部接口团队使用。它无需接入真实搜索引擎，就能让模型“学会思考如何搜索”，既降低了部署门槛，又提高了响应效率。目前，ZeroSearch 已开源了支持 Wikipedia 和 Google 搜索场景的多个版本模型及对应数据集，兼容 Qwen、Llama 等主流架构，便于快速集成与二次开发。对于希望在资源受限环境下实现高效知识增强型对话系统的项目而言，ZeroSearch 提供了一个兼具实用性与前瞻性的解决方案。
使用场景
某电商平台的智能客服团队正致力于升级问答系统，要求模型在回答“最新款手机参数”或“突发政策影响”等动态问题时，必须基于实时检索结果生成准确回复，严禁胡编乱造。
没有 ZeroSearch 时
- 训练成本高昂：为了教会模型使用搜索引擎，团队需搭建复杂的真实检索环境，每次强化学习训练都要调用真实的 Google 或维基百科 API，导致网络延迟高且产生巨额 API 费用。
- 开发迭代缓慢：由于依赖外部真实搜索服务，训练过程极不稳定，一旦搜索接口波动或返回噪声数据，模型策略更新就会失败，调试周期长达数周。
- 冷启动困难：初始模型完全不具备搜索意识，无法自主构造有效的查询词（Query），在真实环境中几乎无法收集到有效的正向反馈样本，导致训练难以启动。
使用 ZeroSearch 后
- 零成本模拟训练：ZeroSearch 利用内置的“模拟大语言模型”完美复刻真实搜索引擎的行为，团队可在本地离线完成全部强化学习训练，彻底消除了对外部 API 的依赖和费用。
- 高效稳定迭代：模拟环境响应速度极快且数据分布可控，支持 REINFORCE、PPO 等多种算法快速试错，将原本数周的策略优化周期缩短至几天内完成。
- 自主能力觉醒：通过模拟环境的密集奖励机制，模型在无真实搜索干预的情况下，迅速学会了何时触发搜索、如何提炼关键词以及怎样整合检索片段，实现了“不搜索也能练出搜索能力”。
ZeroSearch 的核心价值在于通过高保真模拟环境，让大模型以零边际成本和安全高效的方式，自主进化出强大的实时信息检索与整合能力。
运行环境要求
- Linux
- 必需 NVIDIA GPU
- 安装命令指定 CUDA 12.1 (cu121)
- 示例脚本中使用 `tp 2` (张量并行) 和 `dp 2` (数据并行)，暗示需要多卡环境
- 模型规模涵盖 3B/7B/14B，运行 14B 模拟模型及训练策略模型建议显存 24GB+ (如 A10/A100/RTX 3090/4090)，具体取决于并发量和序列长度
未说明 (建议 32GB+ 以支持大型模型加载和数据预处理)
快速开始
ZeroSearch：无需实际搜索即可激励大语言模型的检索能力
孙浩、乔子乐、郭嘉妍、范轩博、侯颖燕
姜勇、谢鹏俊、张岩、黄飞、周景仁
通义实验室 
，阿里巴巴集团
🔥 最新消息
- [2025年6月8日] 发布了与维基百科搜索兼容的模拟大语言模型和策略模型。
- [2025年5月17日] 发布了与谷歌搜索兼容的模拟大语言模型和策略模型。
- [2025年5月17日] 发布了模拟微调数据集。
- [2025年5月17日] 新增支持三种强化学习算法：REINFORCE、GPRO 和 PPO。
- [2025年5月8日] 发布了初始代码库和论文。
🤗 资源
📌 简介
- 我们提出了 ZeroSearch，这是一种新颖的强化学习框架，它通过在训练过程中使用模拟搜索来激励大语言模型利用真实搜索引擎的能力。
- 通过监督微调，我们将大语言模型转变为一个检索模块，能够根据查询生成相关文档和噪声文档。我们进一步引入了一种课程式展开机制，通过逐步引入更具挑战性的检索场景，激发模型的推理能力。
- 我们在领域内和领域外的数据集上进行了广泛的实验。结果表明，ZeroSearch 的性能优于基于真实搜索引擎的模型，同时零 API 成本。此外，它在不同规模的基础模型和指令微调模型中都表现出良好的泛化能力，并且支持多种强化学习算法。
🛠 依赖项
conda create -n zerosearch python=3.9
conda activate zerosearch
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121
pip install vllm==0.6.3
pip install wandb
pip install serpapi
# verl
pip install -e .
# flash attention 2
pip3 install flash-attn --no-build-isolation
# sglang
# 如果在当前环境中安装 sglang 时遇到包冲突，建议创建一个新的环境并在其中安装 sglang。
pip install sglang[all]
📖 快速入门
(1) 下载训练数据集。
huggingface-cli download --repo-type dataset --resume-download sunhaonlp/ZeroSearch_dataset --local-dir ZeroSearch_dataset
# （可选）下载模拟微调数据集，仅在您希望训练自己的模拟大语言模型时才需要
huggingface-cli download --repo-type dataset --resume-download sunhaonlp/SimulationTuning_dataset --local-dir SimulationTuning_dataset
(2) 下载模拟大语言模型。
# 模拟大语言模型有不同的参数规模。请根据您的需求选择合适的版本。
# 推荐使用14B版本，因为它具有稳定可靠的模拟性能。
huggingface-cli download --resume-download sunhaonlp/Simulation_LLM_google_3B_V2 --local-dir Simulation_LLM_google_3B
huggingface-cli download --resume-download sunhaonlp/Simulation_LLM_google_7B_V2 --local-dir Simulation_LLM_google_7B
huggingface-cli download --resume-download sunhaonlp/Simulation_LLM_google_14B_V2 --local-dir Simulation_LLM_google_14B
(3) 启动本地模拟服务器。
# 基于提示的模拟
python -m sglang.launch_server --model-path Qwen2.5-14B-Instruct --host 0.0.0.0 --tp 2 --dp 2 --port 6001
# 基于微调的模拟
python -m sglang.launch_server --model-path Simulation_LLM_google_14B --host 0.0.0.0 --tp 2 --dp 2 --port 6001
(4) 使用Qwen2.5-3B-Instruct进行强化学习训练。
# 激活conda环境
conda activate zerosearch
# 设置您的Google Search API密钥
export SER_API_KEY=your_api_key
# 您可以使用以下脚本运行REINFORCE、GRPO或PPO训练。
# START_THRESHOLD和END_THRESHOLD参数定义了训练任务的初始和最终难度级别。调整这些值可以帮助优化模型性能。
## 基于提示的模拟
bash train_reinforce.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_prompt SIMULATION_LLM Qwen2.5-14B-Instruct START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
bash train_grpo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_prompt SIMULATION_LLM Qwen2.5-14B-Instruct START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
bash train_ppo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_prompt SIMULATION_LLM Qwen2.5-14B-Instruct START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
## 基于微调的模拟
bash train_reinforce.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_sft SIMULATION_LLM Simulation_LLM_google_14B START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
bash train_grpo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_sft SIMULATION_LLM Simulation_LLM_google_14B START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
bash train_ppo.sh NUM_GPUS_PER_NODE 4 MODEL_PATH Qwen2.5-3B-Instruct DATA_PATH ZeroSearch_dataset TOTAL_STEPS 203 IP localhost SEARCH_MODE simulate_sft SIMULATION_LLM Simulation_LLM_google_14B START_THRESHOLD 0 END_THRESHOLD 0.5 SEARCH_ENGINE google MAX_TURNS 5 TOPK 5
💡 性能
📊 主要结果
📊 将ZeroSearch与真实搜索引擎进行比较
📊 模拟LLM的选择
📊 案例研究
🙏 致谢
本工作基于Search-R1、veRL和RAGEN实现。我们衷心感谢这些项目的作者为开源社区所做的宝贵贡献。
👍 受ZeroSearch启发的优秀工作
- SSRL: SSRL: 自我搜索强化学习。[
](https://github.com/TsinghuaC3I/SSRL)
📧 联系方式
如果您有任何问题，请随时通过电子邮件联系我：sunhao@stu.pku.edu.cn
🚩引用
如果本工作对您有所帮助，请引用如下：
@article{sun2025zerosearch,
title={ZeroSearch: 在不进行搜索的情况下激励LLM的搜索能力},
author={Sun, Hao and Qiao, Zile and Guo, Jiayan and Fan, Xuanbo and Hou, Yingyan and Jiang, Yong and Xie, Pengjun and Huang, Fei and Zhang, Yan},
journal={arXiv预印本 arXiv:2505.04588},
year={2025}
}
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。