AgentFlow：流程中的智能体系统优化

📣 最新消息

• [2026.01.26] 🚀 我们的论文已被【ICLR 2026】接收！里约热内卢见！
• [2025.10.26] 📚 我们项目的介绍已被【DeepWiki】收录！
• [2025.10.16] 🏆 我们的论文已被【NeurIPS 2025高效推理研讨会】接收！
• [2025.10.13] 📸 AgentFlow的教程视频被Discover AI在【YouTube】上报道，非常激动！
• [2025.10.10] 🚀 我们的X 帖子获得了1K+点赞！欢迎查看并参与讨论！💬
• [2025.10.08] 🔥 我们很荣幸被HuggingFace选为【每日论文#2】。

🌟 为什么选择AgentFlow？

AgentFlow是一个可训练、集成工具的智能体框架，旨在突破当前工具增强型推理方法在可扩展性和泛化能力方面的局限。

与目前主流的方法（如Search-R1）不同——后者通过训练一个单一的大语言模型来交替执行推理步骤和工具调用——AgentFlow引入了一个由四个专业模块组成的模块化智能体系统：🧭 规划器、🛠 执行器、✅ 验证器和✍️ 生成器。

为了实现高效的规划和工具使用，该框架采用基于流的群体精炼策略优化（Flow-GRPO），以在线方式直接优化系统内的规划智能体，从而在多个领域中展现出卓越性能，同时提升了工具调用的可靠性及长时程推理能力。

📺 YouTube教程

我们很高兴AgentFlow的教程视频被【Discover AI】（@code4AI）在YouTube上发布！

🚀 核心特性

• 🧩 模块化智能体系统 – 四个专业智能体模块（规划器、执行器、验证器、生成器），通过动态更新的记忆和集成工具，在多轮交互中协同工作。
• 🔗 多工具集成 – 无缝对接多种工具生态，包括base_generator、python_coder、google_search、wikipedia_search、web_search等。
• 🎯 Flow-GRPO算法 – 支持在稀疏奖励环境下对长时程推理任务进行流程中的智能体优化。
• 📈 显著效果 – 使用7B参数规模主干模型的AgentFlow在10项基准测试中均优于现有基线，搜索任务提升14.9%，智能体任务提升14.0%，数学任务提升14.5%，科学任务提升4.1%，甚至超越了约200B参数的GPT-4o。

---

📑 目录

• ⚙️ 设置
  • 安装
  • 设置环境变量
• ⚡ AgentFlow推理快速入门
• 💥 AgentFlow Flow-GRPO训练快速入门
  • (可选) 测试运行环境
  • 数据集准备
  • Flow-GRPO训练
• 🎯 AgentFlow基准测试
• 🧩 在AgentFlow中使用自定义模型
• 🤝 核心贡献者
• 🎓 顾问
• 🙏 致谢
• 🚀 贡献

⚙️ 设置

前置条件

• Python 3.11（推荐）

安装

bash setup.sh
source .venv/bin/activate
# （可选）安装`parallel`以便并行运行基准测试实验：
sudo apt-get update
sudo apt-get install parallel

设置环境变量

将agentflow/.env.template文件复制并重命名为.env，然后放入agentflow/文件夹中。请使用您自己的API密钥更新以下变量：

• OPENAI_API_KEY（用于评估响应）
• GOOGLE_API_KEY（用于Google Search工具）
• DASHSCOPE_API_KEY（可选，用于调用Qwen-2.5-7B-Instruct作为智能体和工具的引擎）
• TOGETHER_API_KEY（可选，作为Qwen-2.5-7B-Instruct的替代引擎，推荐国际用户使用）
• 更多方式：使用vLLM部署Qwen2.5-7B-instruct模型（详情参阅serve_vllm_local.md)。

有关如何获取这些密钥的详细说明，请参阅【API密钥设置指南】（assets/doc/api_key.md）。

cp agentflow/.env.template agentflow/.env

# 然后使用您的 API 密钥编辑 agentflow/.env

🔍 运行前检查（推荐）

在运行推理或训练之前，我们建议您验证 API 密钥和环境是否已正确配置。

🛠️ 测试工具

运行以下命令以测试所有集成工具：

cd agentflow/agentflow
bash ./tools/test_all_tools.sh

示例输出：

正在测试所有工具...
✅ base_generator 通过
✅ google_search 通过
✅ python_coder 通过
✅ wikipedia_search 通过
...
✅ 所有测试均通过

🧠 测试 LLM 引擎

验证您的 LLM 引擎（OpenAI、DashScope、Gemini 等）是否已正确初始化并响应：

python agentflow/scripts/test_llm_engine.py

示例输出：

🚀 正在启动针对 11 个引擎的容错测试...
✅ 通过：4
   • gpt-4o → ChatOpenAI
   • dashscope-qwen2.5-3b-instruct → ChatDashScope
   • gemini-1.5-flash → ChatGemini
   • deepseek-chat → ChatDeepseek
...
🎉 所有引擎均已成功初始化！

⚡ AgentFlow 推理快速入门

AgentFlow 提供了一个模块化的智能体系统，包含 四个专用模块（规划器、执行器、验证器、生成器），它们通过 动态记忆 和 工具库 在 多轮交互 中协同工作，以解决复杂的推理任务。

要快速体验系统的运行，请运行以下命令（别忘了设置您的 API 密钥）：

python quick_start.py

python quick_start.py 的示例输出：

==> 初始化 agentflow...
==> 设置工具...
==> 🎯 AgentFlow 的推理步骤（深度思考...）
==> 🔍 第 0 步：查询分析
==> 🎯 第 1 步：行动预测（Google_Search_Tool）
==> 🛠️ 第 1 步：命令执行（Google_Search_Tool）
...
**答案:** 法国的首都是巴黎。
==> ✅ 查询已解决！

**流程总结：**
1. **查询分析：** 被识别为关于法国首都的事实性问题。
2. **工具选择：** 使用谷歌搜索获取准确信息。
3. **执行：** 确认巴黎是首都。
4. **验证：** 通过交叉核对来源确保可靠性。

**答案：** 法国的首都是巴黎。

💥 AgentFlow Flow-GRPO 训练快速入门

为了实现有效的规划和工具使用，该框架直接 使用 Flow-GRPO 对系统中的规划器代理进行在线优化。以下是训练的快速入门指南。

（可选）测试您的环境

在开始之前，我们建议您验证 AgentFlow 的工具、LLM 引擎和网络配置是否已正确设置。有关详细测试说明，请参阅 test_env.md。

数据集准备

我们混合了两个数据集用于训练：NQ（自然问题） 用于智能体搜索，以及 DeepMath-103K 用于数学推理。

# 训练数据
python data/get_train_data.py
# 验证数据
python data/aime24_data.py

完成后，data 目录应如下所示：

data/
├── train/
│   └── combined_train.parquet (182,190 个样本)
├── val/
│   └── aime24.parquet (30 个样本)
├── aime24_data.py
└── get_train_data.py

Flow-GRPO 训练

使用 tmux 启动 AgentFlow 训练并运行 Flow-GRPO：

# 创建 tmux 会话并启动 agentflow 服务（窗口 0）
tmux new-session -s agentflow
bash train/serve_with_logs.sh

# 创建新窗口（Ctrl+B 然后 C）并开始训练（窗口 1）
bash train/train_with_logs.sh

配置： 所有训练超参数均位于 train/config.yaml 中（模型设置、工具、强化学习参数、资源等）。

日志记录： 我们提供全面的日志记录来监控训练过程。更多详情请参阅 logs.md。

🎯 AgentFlow 基准测试

使用 VLLM 服务训练好的规划器模型（此处部署我们的 7B Flow-GRPO 规划器模型）：

bash scripts/serve_vllm.sh

在特定基准任务上运行推理：

cd test
# 运行 Bamboogle 基准测试
bash bamboogle/run.sh

运行后，每个任务文件夹（例如 test/bamboogle/）将包含：

• data/: 包含评估数据集（如 data.json）。
• logs/: 包含每个问题索引的详细执行日志（按模型标签组织）。
• results/: 包含模型生成的答案（output_i.json）和最终评估分数（finalscore_*.log）。

更多基准测试详情请参阅 benchmark.md。

🧩 在 AgentFlow 中使用您自己的模型

AgentFlow 支持为每个代理模块使用不同的 LLM 引擎。有关支持的模型及对应的 model_string 配置，请参阅 llm_engine.md 和 factory.py：

规划器代理：

• 修改相应 run.sh 脚本中的 llm_engine_name 参数（例如 test/bamboogle/run.sh）

其他代理（执行器、验证器、生成器）：

• 默认情况下，这些代理使用固定的 LLM 引擎（通过 DashScope 的 Qwen-2.5-7B-Instruct）。
• 若要使用您自己的模型，请修改 agentflow/agentflow/models/planner.py:19 中的 self.llm_engine_fixed：

self.llm_engine_fixed = create_llm_engine(model_string="your-engine", is_multimodal=False, temperature=temperature)

以及

• 修改从 agentflow/agentflow/solver.py:232 实例化执行器时的 llm_engine_name 参数：

# 实例化执行器
executor = Executor(
    # llm_engine_name=llm_engine_name,
    llm_engine_name="dashscope",
    root_cache_dir=root_cache_dir,
    verbose=verbose,
    # base_url=base_url,
    temperature=temperature
)

• 有关支持的引擎和 model_string 格式的详细信息，请参阅 llm_engine.md。

🏆 实验结果

📊 主要结果

AgentFlow（以 Qwen-2.5-7B-Instruct 为骨干） 在 10 项基准测试中均优于顶级基线：

• 搜索方面提升 +14.9%
• 智能体推理方面提升 +14.0%
• 数学方面提升 +14.5%
• 科学方面提升 +4.1%

💡 甚至超越了更大的专有模型，如 GPT-4o (~200B)。

🔍 深度分析

• 更好的规划与决策能力
• 更强的工具调用可靠性
• 随着模型规模和推理轮次的增加，性能呈现积极的扩展趋势

更多信息请参阅我们的论文 arxiv.org/abs/2510.05592 或项目页面 agentflow.stanford.edu。

---

🤝 核心贡献者

Zhuofeng Li

Haoxiang Zhang

Pan Lu

🎓 顾问

James Zou

Yejin Choi

Yu Zhang

🙏 致谢

我们感谢以下开源项目：

• verl 提供了出色的强化学习框架设计。
• vLLM 提供了高效的大型语言模型推理支持。
• Verl-Tool 和 agent-lightning 在代理式强化学习训练的早期探索中做出了重要贡献。

同时，我们也感谢 Lambda 提供的 GPU 支持！

🚀 贡献

我们非常期待对 AgentFlow 的开源贡献！如果您有兴趣参与贡献、合作或报告问题，请随时提交 issue 或 pull request (PR)。您也可以通过以下邮箱联系我们：zhuofengli12345@gmail.com、isaacpfino@gmail.com、lupantech@gmail.com，或者加入我们的 Slack 社区：AgentFlow。

我们也非常期待您的反馈和建议！

📚 引用

@inproceedings{li2026flow,
    title = {In-the-Flow Agentic System Optimization for Effective Planning and Tool Use},
    author = {Li, Zhuofeng and Zhang, Haoxiang and Han, Seungju and Liu, Sheng and Xie, Jianwen and Zhang, Yu and Choi, Yejin and Zou, James and Lu, Pan},
    booktitle = {International Conference on Learning Representations (ICLR)},
    year = {2026}
}

⭐ 星标历史

↑ 返回顶部 ↑

AgentFlow 快速上手指南

AgentFlow 是一个可训练的、集成工具的智能体（Agentic）框架，旨在通过模块化设计（规划器、执行器、验证器、生成器）和 Flow-GRPO 算法，解决复杂推理任务中的可扩展性和泛化限制。

环境准备

系统要求

• 操作系统：Linux (推荐 Ubuntu)
• Python 版本：Python 3.11 (强烈推荐)
• 其他依赖：parallel 工具（用于并行运行基准测试实验，可选）

前置依赖

确保系统已安装 git 和基础编译工具。若需安装 parallel：

sudo apt-get update
sudo apt-get install parallel

安装步骤

1. 克隆与安装

执行官方提供的安装脚本并激活虚拟环境：

bash setup.sh
source .venv/bin/activate

2. 配置环境变量

复制模板文件并配置必要的 API Key。你需要准备以下密钥：

• OPENAI_API_KEY：用于结果评判。
• GOOGLE_API_KEY：用于 Google 搜索工具。
• DASHSCOPE_API_KEY 或 TOGETHER_API_KEY：用于调用 Qwen-2.5-7B-Instruct 作为智能体和工具引擎（国内用户推荐使用 DashScope）。

cp agentflow/.env.template agentflow/.env

随后编辑 agentflow/.env 文件，填入你的 API 密钥。详细获取方式可参考项目文档 assets/doc/api_key.md。

3. 环境验证（推荐）

在运行前，建议验证工具和 LLM 引擎是否配置正确。

测试集成工具：

cd agentflow/agentflow
bash ./tools/test_all_tools.sh

预期输出：所有工具测试通过 (✅ All tests passed)

测试 LLM 引擎连接：

python agentflow/scripts/test_llm_engine.py

预期输出：显示已初始化的引擎列表及成功状态 (🎉 All engines initialized successfully!)

基本使用

快速体验推理 (Inference)

AgentFlow 包含四个专用模块，通过多轮协作解决复杂问题。配置好 API Key 后，运行以下命令即可体验：

python quick_start.py

运行示例输出：

==> Initializing agentflow...
==> Setting up tools...
==> 🎯 Reasoning Steps from AgentFlow (Deep Thinking...)
==> 🔍 Step 0: Query Analysis
==> 🎯 Step 1: Action Prediction (Google_Search_Tool)
==> 🛠️ Step 1: Command Execution (Google_Search_Tool)
...
**Answer:** The capital of France is Paris.
==> ✅ Query Solved!

简要说明

• 默认行为：脚本会自动加载规划器、执行器、验证器和生成器，并根据任务自动调用搜索或代码执行工具。
• 自定义模型：如需使用自己的模型作为 Planner，可修改对应 run.sh 脚本中的 llm_engine_name 参数；其他代理默认使用 Qwen-2.5-7B-Instruct。

提示：如需进行 Flow-GRPO 训练或运行完整基准测试，请参考项目完整的 README 文档中关于数据集准备和 tmux 会话管理的详细章节。