我们提出了ReCall，一个新颖的框架，通过强化学习训练大语言模型进行工具调用推理——且无需任何关于工具使用轨迹或推理步骤的监督数据。ReCall使大语言模型能够自主地使用并组合任意工具，例如OpenAI o3，为构建通用智能体提供了一种易于实现的方法。此外，我们还提出了一种全新的视角，用于生成包含多样化环境和复杂多步任务的合成数据，从而帮助大语言模型发展出复杂的基于工具的推理能力。这是一项正在进行中的工作，我们正积极推进其研发。

[!重要] ReCall是ReSearch的后继版本，是一个更为全面的框架，不仅支持搜索工具，还能扩展到任意用户自定义工具的推理。它可直接替代ReSearch。我们已将ReSearch的原始实现存档在re-search分支中。

📰 新闻

• [2025-04-24] 🎉 我们发布了ReCall的第一个版本，并存档了ReSearch的原始实现。
  • ➡️ 仓库名称由ReSearch更改为ReCall。
  • 📝 我们发布了一篇博客，介绍ReCall的理念。
  • 📦 当前ReCall的实现基于verl 0.3.0 + vllm 0.8.4。
• [2025-03-27] 🤗 我们在Hugging Face上发布了训练好的ReSearch模型，欢迎查看！
• [2025-03-26] 🎉 我们发布了论文并更新了ReSearch的代码。
  • 📝 论文已在arXiv上发布，更多细节和评估结果请参见我们的论文。
  • 🛠️ 仓库已更新，加入了新的实现，特别是在强化学习训练过程中引入了搜索功能。该版本的实现基于最新发布的verl。
• [2025-03-03] ✅ 我们已发布了ReSearch实现的预览版。

📦 安装

我们建议使用conda来管理环境。首先创建一个conda环境并激活它。

conda create -n re-call python==3.10
conda activate re-call

然后安装依赖项，其中src/下的包将以可编辑模式安装。详细信息请参阅setup.py。

git clone https://github.com/Agent-RL/ReCall.git
cd ReCall
pip3 install -e .
pip3 install flash-attn --no-build-isolation

如果希望基于FlashRAG搭建一个维基百科RAG系统，则需要按如下方式安装faiss-gpu。正如FlashRAG中所述，由于使用pip安装faiss时存在兼容性问题，我们需要使用以下conda命令来安装faiss-gpu。

conda install -c pytorch -c nvidia faiss-gpu=1.8.0

🚀 快速入门

如果您想了解当前版本ReCall的详细信息，请先参阅博客。

数据准备

ReCall是在我们的合成数据集SynTool与MuSiQue的训练集混合的基础上训练的。您可以从这里下载预处理后的训练数据，并直接用于训练。如需准备带有特定工具的自有数据，可以参考data/prepare_musique_recall.py，其中提供了使用维基百科搜索工具为MuSiQue准备数据的脚本。

沙箱服务

由于工具是以可执行的Python代码实现的，因此工具执行器负责运行这些Python代码。为确保安全性和可靠性，我们实现了在远程服务器上运行Python代码的沙箱环境。要启动沙箱服务，运行以下命令：

cd scripts/serving
python sandbox.py --port {port}

注意：当前实现是一个基础的沙箱环境。我们计划在未来的更新中采用更加健壮、安全的沙箱。建议将沙箱托管在远程服务器上，因为本地托管可能会使您的机器面临潜在的安全风险。

检索器服务

为了在带有维基百科搜索工具的MuSiQue数据上进行训练，我们提供了基于FlashRAG和FastAPI实现的维基百科检索器服务。在启动检索器服务之前，您需要下载预先索引的维基百科、维基百科语料库及相应的检索器模型。更多详情请参阅FlashRAG的文档。

要启动检索器服务，您需要先在scripts/serving/retriever_config.yaml中填写检索模型、索引和语料库的正确路径，以及可用的GPU ID。随后，您可以运行以下命令启动检索器服务：

cd scripts/serving
python retriever_serving.py \
    --config retriever_config.yaml \
    --num_retriever {num_retriever} \  
    --port {port}

训练

我们的训练框架基于 verl，这是一个用于大语言模型的强大强化学习框架。我们对 verl 的代码进行了深度定制以满足自身需求，修改后的版本位于 src/verl 目录下。训练脚本的示例则位于 scripts/train 目录中。

单节点训练

以下是在本地使用 4 块 GPU 训练 Qwen2.5-7B-Instruct 的示例。请注意，下面的训练脚本仅作为单节点训练的示例，采用较小的批量大小以便快速上手，并不保证训练性能。

cd scripts/train
bash train.sh \
    --train_batch_size 8 \
    --ppo_mini_batch_size 4 \
    --use_re_call True \
    --prompt_template_name re_call_template_sys \
    --actor_model_path {model/path/to/qwen2.5-7b-instruct} \
    --search_url {your-hosted-retriever-url} \
    --sandbox_url {your-hosted-sandbox-url} \
    --project_name {wandb-project-name} \
    --experiment_name {wandb-experiment-name} \
    --nnodes 1 \
    --n_gpus_per_node 4 \
    --save_freq 5 \
    --test_freq 5 \
    --total_epochs 2 \
    --wandb_api_key {your-wandb-api-key} \
    --save_path {path/to/save} \
    --train_files "['train1.parquet', 'train2.parquet']" \
    --test_files "['test1.parquet', 'test2.parquet']"

多节点训练

如果您希望完全复现 ReCall，请参考 scripts/train/train_multi_node.sh 中的多节点训练脚本。

推理

本节演示如何使用训练好的 ReCall 模型进行推理。我们在 src/re_call/inference/re_call.py 中提供了一个标准的封装类，以简化推理流程。开始使用时，您只需提供模型 URL 和沙盒 URL，然后调用 run 函数即可执行推理。ReCall 类会在内部完成模型生成与工具执行之间的所有协调工作。有关如何实际使用 ReCall 类的示例，请参阅我们的示例实现文件 scripts/inference/re_call_use_case.py。

对于模型服务，我们推荐使用 SGLang。您可以下载我们的开源模型，也可以训练自己的模型来进行推理。以下是启动模型服务的示例：

python3 -m sglang.launch_server \
        --served-model-name {trained/model/name} \
        --model-path {trained/model/path} \
        --tp 2 \
        --context-length 8192 \
        --enable-metrics \
        --dtype bfloat16 \
        --host 0.0.0.0 \
        --port 80 \
        --trust-remote-code \
        --disable-overlap \
        --disable-radix-cache

评估

多跳问答

对于多跳问答的评估，我们使用 FlashRAG 作为标准评估环境。要下载评估数据，请运行以下命令：

cd data
bash download_dataset.sh

以下是评估 ReCall-Qwen-7B-Instruct 在 Bamboogle 测试集上的表现的示例。

cd scripts/evaluation
python run_eval.py \
    --config_path eval_config.yaml \
    --method_name re-call \
    --data_dir {root/path/to/evaluation/data} \
    --dataset_name bamboogle \
    --split test \
    --save_dir {your-save-dir} \
    --save_note re-call_qwen7b_ins
    --sgl_remote_url {your-launched-sgl-url} \
    --remote_retriever_url {your-hosted-retriever-url} \
    --generator_model {your-local-model-path} \
    --sandbox_url {your-hosted-sandbox-url}

有关配置的更多详细信息，请参阅 scripts/evaluation/eval_config.yaml 文件。

BFCL

我们将很快发布 BFCL 的评估代码。

🤝 致谢

本次训练实现基于 verl，评估则基于 FlashRAG 和 BFCL。沙盒与检索器的服务基于 FastAPI。模型服务则基于 SGLang。ReCall 模型的训练基于 Qwen2.5。我们衷心感谢这些项目对开源社区的贡献。

📚 引用

如果您觉得这项工作有用，请按如下方式引用：

@misc{chen2025research
  title={ReSearch: 利用强化学习让大语言模型通过搜索进行推理}, 
  author={Mingyang Chen 和 Tianpeng Li 和 Haoze Sun 和 Yijie Zhou 和 Chenzheng Zhu 和 Haofen Wang 和 Jeff Z. Pan 和 Wen Zhang 和 Huajun Chen 和 Fan Yang 和 Zenan Zhou 和 Weipeng Chen},
  year={2025},
  eprint={2503.19470},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2503.19470}, 
}

ReCall 快速上手指南

环境准备

• Linux / macOS / WSL2
• Python 3.10
• NVIDIA GPU（建议 ≥ 4 张 A100/3090）
• CUDA ≥ 11.8
• 网络可访问 Hugging Face（如无法直连，请配置代理或镜像）

安装步骤

# 1. 创建并激活环境
conda create -n re-call python=3.10 -y
conda activate re-call

# 2. 克隆并安装
git clone https://github.com/Agent-RL/ReCall.git
cd ReCall
pip3 install -e .
pip3 install flash-attn --no-build-isolation

# 3. （可选）安装 faiss-gpu，用于 Wikipedia RAG
conda install -c pytorch -c nvidia faiss-gpu=1.8.0 -y

基本使用

1. 下载示例数据

# 训练数据已预处理，直接下载即可
huggingface-cli download agentrl/ReCall-data --local-dir ./data

2. 启动工具沙箱（本地测试）

cd scripts/serving
python sandbox.py --port 5000

3. 启动 Wikipedia 检索服务（可选）

# 先按 FlashRAG 指引下载索引与模型
# 编辑 retriever_config.yaml 填写路径
python retriever_serving.py \
    --config retriever_config.yaml \
    --num_retriever 1 \
    --port 6000

4. 单节点 4 卡训练（示例）

cd scripts/train
bash train.sh \
    --train_batch_size 8 \
    --ppo_mini_batch_size 4 \
    --use_re_call True \
    --prompt_template_name re_call_template_sys \
    --actor_model_path Qwen/Qwen2.5-7B-Instruct \
    --search_url http://localhost:6000 \
    --sandbox_url http://localhost:5000 \
    --project_name re-call-demo \
    --experiment_name qwen7b-4gpu \
    --nnodes 1 \
    --n_gpus_per_node 4 \
    --save_freq 5 \
    --test_freq 5 \
    --total_epochs 2 \
    --save_path ./checkpoints

5. 推理示例

from re_call.inference.re_call import ReCall

recall = ReCall(
    model_url="http://localhost:30000",  # SGLang 服务地址
    sandbox_url="http://localhost:5000"
)

answer = recall.run("请用维基百科查询并总结「图灵奖」的获奖条件。")
print(answer)

启动 SGLang 服务：

python3 -m sglang.launch_server \
    --served-model-name re-call-qwen7b \
    --model-path ./checkpoints/final \
    --tp 2 \
    --port 30000 \
    --trust-remote-code

至此，您已完成 ReCall 的快速上手。如需多节点训练或自定义工具，请参考 scripts/train/train_multi_node.sh 与 data/prepare_musique_recall.py。