ASearcher: 一个面向搜索代理的大规模开源强化学习项目

| 📰 论文 | 🤗 数据集 | 🤗 模型 |

简介

ASearcher 是一个开源框架，专为大规模在线强化学习（RL）训练搜索代理而设计。我们的使命是将搜索智能提升至专家级水平。我们完全秉持开源理念，公开模型权重、详细的训练方法以及数据合成流水线。此外，我们还提供基于 AReaL 构建和训练自定义代理的全面指南。ASearcher 赋能开发者以简单且经济高效的方式构建自己的高性能搜索代理。

ASearcher 亮点

• 🔁 数据合成代理：我们引入了一种基于提示的 LLM 代理，能够自主生成有据可依、具有挑战性且高度不确定的问答对，从而提升训练多样性。
• ⚡ 全异步代理式强化学习：我们的可扩展代理式 RL 框架将轨迹收集与模型训练解耦，消除了 GPU 的空闲时间，实现了高效的长 horizon 强化学习训练。
• 🌐 RL 支持长 horizon 搜索：通过强化学习训练，ASearcher 展现出长 horizon 搜索能力，工具调用次数超过 100 轮，RL 训练过程中生成的 token 数量超过 40 万。
• 🏆 前沿性能：在简单的代理设计且不依赖外部 LLM 的情况下，ASearcher 在 GAIA、xBench-DeepSearch 和 Frames 上分别取得了 Avg@4 分数 58.7、51.1 和 74.5，超越了其他同为 32B 规模的开源搜索代理。ASearcher 在 GAIA、xBench-DeepSearch 和 Frames 上的 Pass@4 分数分别为 74.7、75.0 和 85.5。
• 📈 通过 RL 实现显著提升：强化学习训练使 ASearcher 在 GAIA、xBench-DeepSearch 和 Frames 上的 Avg@4 分数分别提升了 +15.0、+22.4 和 +14.6。
• 🛠️ 完全开源：我们致力于开源代理式强化学习训练的所有组件，包括数据集、数据合成代理、训练细节、模型权重以及自定义代理开发的详细指南。 已发布的模型和数据可在 🤗Huggingface 上找到。

📰 新闻与更新：

• 2025-09-18：ASearcher-Web-QwQ 的训练代码及最新模型已发布！请查看 ASearcher-Web-QwQ-V2 和 我们的训练代码，以实现流畅的大规模代理式强化学习训练！
• 2025-09-18：更清洁、更灵活的训练！ASearcher 现在使用 AReaL 作为软件包。
• 2025-08-30：ASearcher-Web-QwQ-V2 即将发布！ 具有改进的训练数据和端到端代理式强化学习训练的最先进搜索代理。模型和数据将很快发布。
• 2025-08-09：我们的 技术报告 已发布。
• 2025-08-05：ASearcher 正式发布，尝试异步强化学习训练和自动 QA 合成，训练出先进的搜索代理吧！🎉

结果展示

我们在具有挑战性的 QA 基准测试（GAIA、xBench-DeepSearch 和 Frames）上评估了我们的方法，这些基准测试旨在检验高级问题解决能力和网络搜索策略。这些基准测试专门设计用于评估代理与真实网络交互并检索最新信息的能力，而这些信息往往超出了 LLM 的内部知识范围。

前沿性能。 我们的代理 ASearcher-Web-QwQ-v2 在开源代理中达到了最先进的水平，在 GAIA 和 xBench 上拥有最高的 Avg@4 分数。此外，我们还报告了 Pass@4，即代理在四次尝试内找到正确答案的比例。ASearcher-Web-QwQ-v2 在通过率方面也优于现有的开源代理，进一步证明了其稳健性。

图1 基于 32B 规模模型的各种方法在 GAIA、xBench-DeepSearch 和 Frames 上的表现。报告了 Avg@4 和 Pass@4。

通过 RL 实现显著提升。 将强化学习（RL）训练前后的性能进行比较时，ASearcher-Web-QwQ-v2 在 GAIA、xBench-DeepSearch 和 Frames 上分别实现了 +15.0、+22.4 和 +14.6 的提升。在通过率（Pass@4）方面，ASearcher-Web-QwQ-v2 也表现出显著增长——尤其是在 xBench-DeepSearch 上，其通过率提高了 22.4。

图2 QwQ-32B 代理在 RL 训练前后性能的对比。

数据合成

我们开发了一种基于提示的 LLM 代理，旨在自主生成有据可依、具有挑战性且高度不确定的问答对。该过程从基础问题开始，随后代理会通过两种关键策略不断优化问题：

• 模糊化：通过模糊查询中的关键细节来增加不确定性。
• 上下文注入：通过工具检索的外部事实来丰富问题内容，从而加深复杂性。

每个生成的问题都会经过严格的多阶段验证：

• 质量保证：检查语言流畅性、时效性和逻辑连贯性。
• 难度验证：将 LRM 生成的答案与标准答案进行比较，以确保问题的挑战性。
• 答案唯一性验证：确认 LRM 的错误答案确实无效，从而保持问题的完整性。

图3 数据合成代理。

全异步智能体强化学习训练

我们的分析揭示了智能体轨迹执行时间存在显著差异。通过考察强化学习训练过程中每条轨迹的回合数和生成的标记数量，我们发现较长的轨迹可能比短轨迹多出数十个回合。在标记生成方面，较长轨迹的生成量甚至可以达到较短轨迹的两 orders of magnitude，如下图所示。

图4（左）回合数与训练步数的关系。（右）生成标记数与训练步数的关系。

全异步强化学习训练支持长 horizon 工具使用。 在批量生成的强化学习系统中，整个批次必须等待最长的轨迹完成，这会导致 GPU 出现大量空闲时间。相比之下，全异步强化学习（RL）通过将训练与轨迹生成完全解耦，消除了这一瓶颈。这使得我们可以放宽回合限制（例如每条轨迹最多 128 回合），从而使智能体能够在不牺牲训练效率的情况下探索更深层次的搜索路径。值得注意的是，我们的智能体 ASearcher-Web-QwQ 实现了极长的 horizon 搜索，在强化学习训练期间工具调用次数超过 100 回合，生成标记数超过 40 万。

图5 全异步强化学习训练示意图。

快速入门

评估

要复现图2中的结果，请运行以下脚本。

cd evaluation/

MODEL_PATH=/path/to/models 
DATA_DIR=/path/to/test_set # 可从 [https://huggingface.co/datasets/inclusionAI/ASearcher-test-data] 下载

DATA_NAMES=GAIA,xbench-deepsearch,Frames
AGENT_TYPE=asearcher-reasoning
PROMPT_TYPE=asearcher-reasoning
SEARCH_CLIENT_TYPE=async-web-search-access

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" &> /dev/null && pwd)"
PROJECT_ROOT="$(dirname "$SCRIPT_DIR")"

PYTHONPATH="${PROJECT_ROOT}:$PYTHONPATH" \
SERPER_API_KEY=${your_serper_api_key} \
JINA_API_KEY=${your_jina_api_key} \
TOKENIZERS_PARALLELISM=false \
python3 search_eval_async.py \
    --data_names ${DATA_NAMES} \
    --model_name_or_path ${MODEL_PATH}  \
    --output_dir ${MODEL_PATH} \
    --data_dir ${DATA_DIR} \
    --prompt_type $PROMPT_TYPE \
    --agent-type ${AGENT_TYPE} \
    --search-client-type ${SEARCH_CLIENT_TYPE} \
    --tensor_parallel_size 4 \
    --temperature 0.6 \
    --parallel-mode seed \
    --seed 1 \
    --use-jina \
    --llm_as_judge \
    --pass-at-k 1 \ # 如果您希望获得更稳定的结果，请提高此值

有关详细指南，请参阅评估文档。

训练

微调一个 7B 模型

1. 设置环境

请参考 https://inclusionai.github.io/AReaL/tutorial/installation.html#runtime-environment

2.1 在 16 个节点上训练 7B 模型（推荐）

cd AReaL

export SERPER_API_KEY=YOUR_SERPER_API_KEY
export JINA_API_KEY=YOUR_JINA_API_KEY
python3 -m areal.launcher.ray ASearcher/train/asearcher.py \
    --config ASearcher/configs/asearcher_web_16nodes.yaml \
    experiment_name=<your experiment name> \
    trial_name=<your trial name> \
    allocation_mode=sglang.d96p1t1+d32p1t1 \
    cluster.n_nodes=16 \
    cluster.n_gpus_per_node=8

2.2 在单个节点上训练 7B 模型（可能会较慢）

cd AReaL

export SERPER_API_KEY=YOUR_SERPER_API_KEY
export JINA_API_KEY=YOUR_JINA_API_KEY

python3 -m areal.launcher.local ASearcher/train/asearcher.py \
    --config ASearcher/configs/asearcher_web.yaml \
    experiment_name=<your experiment name> \
    trial_name=<your trial name>

微调一个 QwQ-32B 智能体

步骤 1. 启动 Qwen2.5-72B-Instruct 作为 LLM-as-Judge：

python3 -m areal.launcher.ray ASearcher/train/asearcher_reasoning.py \
    --config ASearcher/configs/asearcher_web_qwq.yaml \
    experiment_name=asearcher-qwen72b-inst-server-only \
    trial_name=run1 \
    cluster.n_nodes=1 allocation_mode=sglang.d2t4p1 \
    actor.path=Qwen/Qwen2.5-72B-Instruct 

步骤 2. 启动 QwQ-32B 智能体训练：

python3 -m areal.launcher.ray \
    ASearcher/train/asearcher_reasoning.py \
    --config ASearcher/configs/asearcher_web_qwq.yaml \
    experiment_name=asearcher-qwq-train \
    trial_name=run1 cluster.n_nodes=6 allocation_mode=sglang.d2t8+d4t8 \
    actor.path=Qwen/QwQ-32B \
    train_dataset.path=path_to_ASearcher-LRM-35k \
    judge_engine.experiment_name=asearcher-qwen72b-inst-server-only \
    judge_engine.trial_name=run1

有关详细指南，请参阅训练文档。

启动演示

请参阅演示文档，了解如何启动 asearcher 可视化演示。

（可选）自定义

有关构建自定义智能体的更多信息，请参阅我们的指南。

（可选）数据合成

数据合成智能体位于 qa_synthesis/qa_synthesis_agent.py 中。要运行该智能体进行 QA 数据合成，您需要：

1. 下载相关数据，包括维基百科 2018 年网页以及采样链接列表。
2. 启动两个模型的 SGLang 服务器：QwQ-32B 和 Qwen2.5-72B-instruct。
3. 运行 python3 qa_synthesis/qa_synthesis_agent.py 来合成高质量的 QA 对！

致谢

我们谨此感谢本工作的主要贡献者来自蚂蚁集团研究实验室的 RL 实验室以及清华大学交叉信息研究院。

此外，我们的团队还得到了以下团队的宝贵帮助：

• 蚂蚁集团的 AWorld 团队，分享了他们在智能体开发方面的经验。
• 蚂蚁集团超级计算技术（SCT）团队，特别是在大规模集群管理和运维方面的专业知识。

我们也要感谢研究社区提供的基础性工作和启发，包括但不限于 Search-o1、Search-R1 和 WebAgent。

引用

如果您认为我们的工作有用，请引用我们的研究成果！

@misc{gao2025turnsunlockinglonghorizonagentic,
      title={超越十回合：利用大规模异步强化学习解锁长 horizon 智能体搜索}, 
      author={Jiaxuan Gao 和 Wei Fu 和 Minyang Xie 和 Shusheng Xu 和 Chuyi He 和 Zhiyu Mei 和 Banghua Zhu 和 Yi Wu},
      year={2025},
      eprint={2508.07976},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2508.07976}, 
}

ASearcher 快速上手指南

ASearcher 是一个开源的大规模在线强化学习（RL）框架，专为训练搜索智能体（Search Agents）设计。它支持异步代理 RL 训练、自动数据合成，并能实现超过 100 轮工具调用的长程搜索能力。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: NVIDIA GPU (建议显存 ≥ 24GB，多卡或多节点训练效果更佳)
• Python: 3.9 或更高版本
• CUDA: 11.8 或 12.x

前置依赖

在开始之前，请确保已安装以下基础依赖：

• Git
• CUDA Toolkit
• NCCL (用于多卡通信)

API Key 准备: 运行前需获取以下服务的 API Key 并设置为环境变量：

• Serper (搜索引擎): SERPER_API_KEY
• Jina AI (网页读取): JINA_API_KEY

安装步骤

ASearcher 基于 AReaL 框架构建。请按照以下步骤安装运行时环境。

1. 克隆项目

git clone https://github.com/inclusionAI/ASearcher.git
cd ASearcher

2. 安装 AReaL 运行时环境

请参考 AReaL 官方安装文档配置基础环境（包含 PyTorch, SGLang, Ray 等核心组件）：

# 访问 AReaL 安装指南
# https://inclusionai.github.io/AReaL/tutorial/installation.html#runtime-environment

注：国内开发者若遇到网络问题，可尝试配置 pip 国内镜像源（如清华源或阿里源）加速 Python 包下载。

3. 安装项目依赖

进入项目根目录安装特定依赖（如有 requirements.txt）：

pip install -r requirements.txt

基本使用

场景一：模型评估 (Evaluation)

复现论文中的测试结果（GAIA, xBench-DeepSearch, Frames）。

1. 准备数据与模型：

   • 从 HuggingFace 下载测试集。
   • 下载预训练模型权重。

2. 运行评估脚本：

cd evaluation/

MODEL_PATH=/path/to/models 
DATA_DIR=/path/to/test_set 

DATA_NAMES=GAIA,xbench-deepsearch,Frames
AGENT_TYPE=asearcher-reasoning
PROMPT_TYPE=asearcher-reasoning
SEARCH_CLIENT_TYPE=async-web-search-access

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" &> /dev/null && pwd)"
PROJECT_ROOT="$(dirname "$SCRIPT_DIR")"

PYTHONPATH="${PROJECT_ROOT}:$PYTHONPATH" \
SERPER_API_KEY=${your_serper_api_key} \
JINA_API_KEY=${your_jina_api_key} \
TOKENIZERS_PARALLELISM=false \
python3 search_eval_async.py \
    --data_names ${DATA_NAMES} \
    --model_name_or_path ${MODEL_PATH}  \
    --output_dir ${MODEL_PATH} \
    --data_dir ${DATA_DIR} \
    --prompt_type $PROMPT_TYPE \
    --agent-type ${AGENT_TYPE} \
    --search-client-type ${SEARCH_CLIENT_TYPE} \
    --tensor_parallel_size 4 \
    --temperature 0.6 \
    --parallel-mode seed \
    --seed 1 \
    --use-jina \
    --llm_as_judge \
    --pass-at-k 1

场景二：强化学习训练 (Training)

选项 A：微调 7B 模型 (单节点快速尝试)

适用于资源有限的开发环境，速度较慢。

cd AReaL

export SERPER_API_KEY=YOUR_SERPER_API_KEY
export JINA_API_KEY=YOUR_JINA_API_KEY

python3 -m areal.launcher.local ASearcher/train/asearcher.py \
    --config ASearcher/configs/asearcher_web.yaml \
    experiment_name=my_7b_experiment \
    trial_name=run1

选项 B：微调 QwQ-32B 智能体 (多节点分布式)

需要多节点集群支持，分为两步：启动裁判模型和启动训练。

第一步：启动裁判模型 (LLM-as-Judge)

python3 -m areal.launcher.ray ASearcher/train/asearcher_reasoning.py \
    --config ASearcher/configs/asearcher_web_qwq.yaml \
    experiment_name=asearcher-qwen72b-inst-server-only \
    trial_name=run1 \
    cluster.n_nodes=1 allocation_mode=sglang.d2t4p1 \
    actor.path=Qwen/Qwen2.5-72B-Instruct 

第二步：启动 QwQ-32B 训练任务

python3 -m areal.launcher.ray \
    ASearcher/train/asearcher_reasoning.py \
    --config ASearcher/configs/asearcher_web_qwq.yaml \
    experiment_name=asearcher-qwq-train \
    trial_name=run1 cluster.n_nodes=6 allocation_mode=sglang.d2t8+d4t8 \
    actor.path=Qwen/QwQ-32B \
    train_dataset.path=path_to_ASearcher-LRM-35k \
    judge_engine.experiment_name=asearcher-qwen72b-inst-server-only \
    judge_engine.trial_name=run1

场景三：启动演示 (Demo)

查看可视化的搜索过程：

# 详见 demo/README.md 中的具体启动命令

场景四：数据合成 (可选)

自动生成高质量的问答对用于训练：

1. 下载 Wikipedia 2018 网页数据及采样链接列表。
2. 启动 QwQ-32B 和 Qwen2.5-72B-instruct 的 SGLang 服务。
3. 运行合成脚本：

python3 qa_synthesis/qa_synthesis_agent.py

提示：更多自定义智能体开发指南请参阅 docs/guideline.md。