智能体AI的精彩适配

一份精心整理的关于智能体AI系统适应策略的论文列表。本仓库与论文《智能体AI的适应》（正在进行中）配套使用。

引用此论文：

@article{jiang2025adaptation,
  title={智能体AI的适应},
  author={Jiang, Pengcheng and Lin, Jiacheng and Shi, Zhiyi and Wang, Zifeng and He, Luxi and Wu, Yichen and Zhong, Ming and Song, Peiyang and Zhang, Qizheng and Wang, Heng and others},
  journal={arXiv预印本 arXiv:2512.16301},
  year={2025}
}

目录

• 智能体适应
  • A1：工具执行信号驱动
  • A2：智能体输出信号驱动
• 工具适应
  • T1：与智能体无关的工具适应
  • T2：由智能体监督的工具适应

---

智能体适应

A1：工具执行信号驱动的智能体适应

开发时间线：

基于强化学习的方法

时间	方法	场景	任务	工具	模型基座	微调方式
2025.11	Orion	arXiv 论文	信息检索	检索器	LFM2	GRPO
2025.10	olmOCR2	arXiv 论文 代码	文档OCR	合成文档验证器	Qwen2.5-VL	SFT, GRPO
2025.10	AlphaProof	Nature’25 论文	形式化定理证明	Lean编译器	Transformer (3B 编解码)	SFT, AlphaZero, TTRL
2025.10	ToolExpander	arXiv 论文	工具调用	各类API	Qwen2.5	SFT, GRPO
2025.09	BFS-Prover-V2	arXiv 论文 代码	形式化定理证明	Lean编译器	Qwen2.5	BFS引导的类似AlphaZero的强化学习
2025.09	WebGen-Agent	arXiv 论文 代码	网站生成	VLM、GUI代理、代码执行器	多种模型	SFT, Step-GRPO
2025.09	Tool-R1	arXiv 论文 代码	通用工具增强推理、多模态问答	代码执行、多媒体工具	Qwen2.5	GRPO
2025.08	FTRL	arXiv 论文 代码	多步工具使用	模拟API	Qwen3	GRPO
2025.08	Goedel-Prover-V2	arXiv 论文 代码	形式化定理证明	Lean编译器	Qwen3	SFT, GRPO
2025.07	Leanabell-Prover-V2	arXiv 论文 代码	形式化定理证明	Lean编译器	Qwen2.5	SFT, 类似AlphaZero的强化学习
2025.06	Router-R1	NeurIPS'25 论文 代码	多轮路由	LLM路由池	Qwen2.5、LLaMA3.2	PPO
2025.05	R1-Code-Interpreter	arXiv 论文 代码	编程	代码执行沙箱	Qwen2.5	GRPO
2025.05	Tool-N1	arXiv 论文 代码	工具调用	各类API	Qwen2.5	GRPO
2025.04	DeepSeek-Prover-V2	arXiv 论文 代码	形式化定理证明	Lean编译器	DeepSeek-V2	SFT, GRPO
2025.04	Kimina-Prover	arXiv 论文 代码	形式化定理证明	Lean编译器	LLaMA-2	SFT, 类似AlphaZero的强化学习
2025.04	SQL-R1	NeurIPS'25 论文 代码	文本转SQL查询	SQL引擎	Qwen2.5、OmniSQL	SFT, GRPO
2025.03	Rec-R1	TMLR'25 论文 代码	推荐优化	推荐系统	Qwen2.5、LLaMA3.2	GRPO
2025.03	ReZero	arXiv 论文 代码	网络搜索、信息检索	网络搜索引擎	LLaMA3.2	GRPO
2025.03	Code-R1	--- 代码	编程	代码执行器	Qwen2.5	GRPO
2025.02	DeepRetrieval	COLM'25 论文 代码	网络搜索、信息检索、文本转SQL	搜索引擎、检索器、SQL执行器	Qwen2.5、LLaMA3.2	PPO、GRPO
2025.01	DeepSeek-R1-Zero（代码）	Nature 论文	编程	代码执行器	DeepSeek-V3-Base	GRPO
2024.10	RLEF	ICML'25 论文	编程	代码执行器	LLaMA3.1	PPO
2024.08	DeepSeek-Prover-V1.5	ICLR'25 论文 代码	形式化定理证明	Lean 4 Prover	DeepSeek-Prover-V1.5-RL	SFT, GRPO
2024.05	LeDex	NeurIPS'24 论文	编程	代码执行器	StarCoder & CodeLlaMA	SFT, PPO

SFT与DPO方法

时间	方法	会议/期刊	任务	工具	模型基座	微调方式
2024.12	AWL	ICML'25 论文 代码	科学推理, 自适应工具使用	科学模拟器	Llama-3.1-8B, Qwen-2.5-{14/32}B	SFT, DPO
2024.10	LeReT	ICLR'25 论文 代码	信息检索	密集检索器	LLaMA3, Gemma2	类DPO（IPO）
2024.10	ToolFlow	NAACL'25 论文	工具调用	各类API	LLaMA3.1	SFT
2024.06	TP-LLaMA	NeurIPS'24 论文	工具调用	各类API	LLaMA2	SFT, DPO
2024.05	AutoTools	WWW'25 论文 代码	自动化工具调用	各类API	GPT4, LLaMA3, Mistral	SFT
2024.03	CYCLE	OOPSLA'24 论文	编程	代码执行器	CodeGen, StarCoder	SFT
2024.02	RetPO	NAACL'25 论文 代码	信息检索	检索器	LLaMA2-7B	SFT, DPO
2024.02	CodeAct	ICML'24 论文 代码	编程	代码执行器	LLaMA2, Mistral	SFT
2024.01	NExT	ICML'24 论文	程序修复	代码执行器	PaLM2	SFT
2023.07	ToolLLM	ICLR'24 论文 代码	工具调用、API规划、多工具推理	现实世界API	LLaMA, Vicuna	SFT
2023.06	ToolAlpaca	arXiv 论文 代码	多轮工具使用	模拟API	Vicuna	SFT
2023.05	Gorilla	NeurIPS'24 论文 代码	工具调用、API检索	各类API	LLaMA	SFT
2023.05	TRICE	NAACL'24 论文 代码	数学推理、问答、多语言问答、知识检索	计算器、WikiSearch、Atlas QA模型、NLLB翻译器	ChatGLM, Alpaca, Vicuna	SFT
2023.02	Toolformer	NeurIPS'23 论文 代码	问答、数学	计算器、问答系统、搜索引擎、翻译系统、日历	GPT-J	SFT

---

A2: 基于信号的智能体自适应

开发时间线：

带工具的方法

时间	方法	论文出处	任务	工具	模型基座	微调方式
2025.10	TT-SI	arXiv 论文	工具调用	各类API	Qwen2.5	测试时微调
2025.10	A²FM	arXiv 论文 代码	网页导航、数学、问答	搜索引擎、爬虫、代码执行器	Qwen2.5	APO、GRPO
2025.09	VerlTool	arXiv 论文 代码	数学、问答、SQL、视觉、网页搜索、编程	代码解释器、搜索引擎、SQL执行器、视觉工具	Qwen2.5、Qwen3	GRPO
2025.08	MedResearcher-R1	arXiv 论文 代码	医疗多跳问答	医疗检索器、网页搜索API、文档阅读器	MedResearcher-R1	SFT、GRPO
2025.08	Agent Lightning	arXiv 论文 代码	文本转SQL、RAG、数学	SQL执行器、检索器、计算器	LLaMA3.2	LightningRL
2025.07	CodePRM	ACL'25 论文	编程	代码执行器	Qwen2.5-Coder	SFT
2025.07	DynaSearcher	arXiv 论文 代码	多跳问答、RAG	文档搜索、知识图谱搜索	Qwen2.5、LLaMA3.1	GRPO
2025.06	MMSearch-R1	arXiv 论文 代码	网页浏览、问答、多模态搜索	图像搜索、网页浏览、检索器	Qwen2.5	REINFORCE、SFT
2025.06	Self-Challenging	arXiv 论文	网页浏览、计算、零售、航空	代码解释器、网页浏览器、数据库API	LLaMA3.1	REINFORCE、SFT
2025.05	StepSearch	EMNLP'25 论文 代码	多跳问答	搜索引擎、检索器	Qwen2.5	StePPO
2025.05	ZeroSearch	arXiv 论文 代码	多跳问答、问答	搜索引擎、网页搜索	Qwen2.5、LLaMA3.2	REINFORCE、GPRO、PPO、SFT
2025.05	AutoRefine	NeurIPS'25 论文 代码	多跳问答、问答	检索器	Qwen2.5	GRPO
2025.04	ReTool	arXiv 论文 代码	数学	代码解释器	Qwen2.5	PPO
2025.04	ToolRL	arXiv 论文 代码	工具调用	各类工具	多种模型	GRPO
2025.04	DeepResearcher	arXiv 论文 代码	问答、多跳推理、深度研究	网页搜索API、网页浏览器	Qwen2.5	GRPO
2025.03	ReSearch	NeurIPS'25 论文 代码	问答	搜索引擎、检索器	Qwen2.5	GRPO
2025.03	Search-R1	COLM'25 论文 代码	问答	搜索引擎、检索器	Qwen2.5	PPO、GRPO
2025.03	R1-Searcher	arXiv 论文 代码	问答	检索器	LLaMA3.1、Qwen2.5	REINFORCE++
2025.02	RAS	arXiv 论文 代码	问答	检索器	LLaMA2、LLaMA3.2	SFT
2025.01	Agent-R	arXiv 论文 代码	多种任务	蒙特卡洛树搜索	Qwen2.5、LLaMA3.2	SFT
2024.06	Re-ReST	EMNLP'24 论文 代码	多跳问答、VQA、序列决策、编程	各类API	多种模型	DPO
2024.06	RPG	EMNLP'24 论文 代码	RAG、问答、多跳推理	搜索引擎、检索器	LLaMA2、GPT3.5	SFT
2023.10	Self-RAG	ICLR'24 论文 代码	RAG、问答、事实核查	检索器	LLaMA2	SFT
2023.10	FireAct	arXiv 论文 代码	问答	搜索API	GPT3.5、LLaMA2、CodeLLaMA	SFT

无工具方法

时间	方法	论文/代码来源	任务	工具	模型基座	微调方式
2025.10	Empower	arXiv 论文 代码	编码	---	Gemma3	SFT
2025.10	KnowRL	arXiv 论文 代码	知识校准	---	LLaMA3.1, Qwen2.5	REINFORCE++
2025.10	GRACE	arXiv 论文 代码	嵌入任务	---	Qwen2.5, Qwen3, LLaMA3.2	GRPO
2025.06	Magistral	arXiv 论文	数学、编码	---	Magistral	PPO、GRPO
2025.05	EHRMind	arXiv 论文 代码	基于电子健康记录的推理	---	LLaMA3	SFT、GRPO
2025.01	Kimi k1.5	arXiv 论文 代码	数学、编码	---	Kimi k1.5	GRPO
2025.01	DeepSeek-R1-Zero (数学)	Nature 论文	数学	---	DeepSeek-V3	GRPO
2024.09	SCoRe	ICLR'25 论文 代码	数学、编码、问答	---	Gemini1.0 Pro、Gemini1.5 Flash	REINFORCE
2024.07	RISE	NeurIPS'24 论文 代码	数学	---	LLaMA2、LLaMA3、Mistral	SFT
2024.06	TextGrad	Nature 论文 代码	多种任务	---	GPT3.5、GPT4o	提示词微调
2023.03	Self-Refine	NeurIPS'23 论文 代码	对话、数学、编码	---	GPT3.5、GPT4、CODEX	测试时提示工程

---

工具适配

T1：代理无关的工具适配

基础系统与架构

年份.月份	方法名称	会议/期刊	论文名称
2021.08	神经算子	JMLR'23 论文	神经算子：学习函数空间之间的映射
2023.09	HuggingGPT	NeurIPS'23 论文 代码	HuggingGPT：利用ChatGPT及其在Hugging Face中的伙伴解决AI任务
2023.08	ViperGPT	ICCV'23 论文 代码	ViperGPT：通过Python执行进行视觉推理
2025.07	SciToolAgent	Nature Comp. Sci.'25 论文	SciToolAgent：一种基于知识图谱的科学智能体，用于多工具集成

分类与训练方法

年份.月份	方法名称	会议/期刊	论文名称
2021.01	CLIP	ICML'21 论文 代码	从自然语言监督中学习可迁移的视觉模型
2023.04	SAM	ICCV'23 论文 代码	分割一切
2024.06	SAM-CLIP	CVPR'24 论文	SAM-CLIP：融合视觉基础模型以实现语义与空间理解
2023.12	Whisper	ICML'23 论文 代码	通过大规模弱监督实现鲁棒语音识别
2024.10	CodeAct	ICML'24 论文 代码	可执行代码动作能够引导出更好的LLM智能体
2020.04	DPR	EMNLP'20 论文 代码	面向开放域问答的密集段落检索
2020.04	ColBERT	SIGIR'20 论文 代码	ColBERT：基于BERT的上下文化晚期交互实现高效且有效的段落搜索
2021.12	Contriever	TMLR'22 论文 代码	基于对比学习的无监督密集信息检索
2022.12	e5	arXiv 论文 代码	通过弱监督对比预训练生成文本嵌入
2021.07	AlphaFold2	Nature 论文 代码	AlphaFold：高精度蛋白质结构预测
2023.03	ESMFold	Science 论文	利用语言模型进行原子级蛋白质结构的进化尺度预测

---

T2：代理监督的工具适配

开发时间线：

时间	方法	论文来源	任务	工具基模型	代理基模型	微调方法
2025.10	QAgent	arXiv 论文 代码	QA, RAG	Qwen2.5-3B	Qwen-7B	GRPO
2025.10	AgentFlow	arXiv 论文 代码	网络搜索、规划、推理、数学	Qwen2.5-7B	Qwen2.5-7B	Flow-GRPO
2025.10	Advisor Models	arXiv 论文 代码	数学、推理	Qwen2.5-7B, Qwen3-8B	GPT-4o-Mini, GPT-5, Claude4-Sonnet, GPT-4.1-Mini	GRPO
2025.10	AutoGraph-R1	arXiv 论文 代码	知识图谱构建、RAG	知识图谱构建器（Qwen2.5-3B/7B）	冻结式RAG生成器（Qwen2.5-7B）	GRPO
2025.10	MAE	arXiv 论文 代码	数学、编程、常识推理	Qwen2.5-3B	Qwen2.5-3B	REINFORCE++
2025.09	Mem-α	arXiv 论文 代码	检索、测试时学习、长距离理解	Qwen3-4B	Qwen3-4B, Qwen3-32B, GPT-4.1-Mini	GRPO
2025.08	AI-SearchPlanner	arXiv 论文	网络QA	Qwen3-32b	Qwen2.5-7B	PPO
2025.08	Memento	arXiv 论文 代码	长期推理、网络研究、QA、学术推理	Q函数（两层MLP）	GPT-4.1	软Q学习
2025.08	R-Zero	arXiv 论文 代码	数学、推理	Qwen3-4B, Qwen3-8B, OctoThinker-3B, OctoThinker-8B	Qwen3-4B, Qwen3-8B, OctoThinker-3B, OctoThinker-8B	GRPO
2025.06	Sysformer	arXiv 论文	QA、RAG	小型Transformer	LLaMA-2-7B, LLaMA-3.1-8B, Mistral-7B, Phi-3.5-mini, Zephyr-7B-beta	监督学习
2025.05	s3	EMNLP'25 论文 代码	QA、RAG	Qwen2.5-7B	Qwen2.5-7B, Qwen2.5-14B, Claude-3-Haiku	PPO
2024.10	Matryoshka Pilot	NeurIPS'25 论文 代码	数学、规划、推理	LLaMA3-8B, Qwen2.5-7B	GPT-4o-Mini, GPT-3.5-Turbo	DPO, IDPO
2024.06	CoBB	EMNLP'24 论文 代码	QA、数学	Mistral-7b-inst-v2	GPT-3.5-Turbo, Claude-3-Haiku, Phi-3-mini-4k-inst, Gemma-1.1-7B-it, Mistral-7B-inst-v2	SFT, ORPO
2024.05	Medadapter	EMNLP'24 论文 代码	医疗QA、自然语言推理、关系问答	BERT-Base-Uncased	GPT-3.5-Turbo	SFT, BPO
2024.03	BLADE	AAAI'25 论文 代码	领域特定QA	BLOOMZ-1b7	ChatGPT, ChatGLM, Baichuan, Qwen	SFT, BPO
2024.02	ARL2	ACL'24 论文 代码	QA	LLaMA2-7B	GPT-3.5-Turbo	对比学习
2024.02	EVOR	EMNLP'24 论文 代码	基于RAG的编码	GPT-3.5-Turbo	GPT-3.5-Turbo, CodeLLaMA	提示工程
2024.02	Bbox-Adapter	ICML'24 论文 代码	QA	DeBERTa-v3-base (0.1B), DeBERTa-v3-large (0.3B)	GPT-3.5-Turbo, Mixtral-8x7B	对比学习
2024.01	Proxy-Tuning	COLM'24 论文 代码	QA、数学、代码	LLaMA2-7B	LLaMA2-70B	代理微调
2024.01	BGM	ACL'24 论文	QA、个性化生成（NQ、HotpotQA、邮件、书籍）	T5-XXL-11B	PaLM2-S	SFT, PPO
2023.10	RA-DIT	ICLR'24 论文	知识密集型任务（MMLU、NQ、TQA、ELI5、HotpotQA等）	DRAGON+	LLaMA-65B	SFT, LSR
2023.06	LLM-R	EACL'24 论文 代码	零样本NLU（阅读理解、QA、NLI、释义、情感分析、摘要生成）	E5-base	GPT-Neo-2.7B, LLaMA-13B, GPT-3.5-Turbo	对比学习
2023.05	AAR	ACL'23 论文 代码	零样本泛化（MMLU、PopQA）	ANCE、Contriever	Flan-T5-Small、InstructGPT	对比学习
2023.05	ToolkenGPT	NeurIPS'23 论文 代码	数值推理、QA、计划生成	Token Embedding	GPT-J 6B, OPT-6.7B, OPT-13B	代理微调
2023.03	UPRISE	EMNLP'23 论文 代码	零样本NLU（阅读理解、QA、NLI、释义、情感分析、摘要生成）	GPT-Neo-2.7B	BLOOM-7.1B, OPT-66B, GPT-3-175B	对比学习
2023.01	REPLUG	NAACL'24 论文 代码	QA	Contriever	GPT3-175B, PaLM, Codex, LLaMA-13B	代理微调、LSR

---

引用

如果您觉得本仓库有用，请考虑引用我们的综述：

@article{jiang2025adaptation,
  title={智能体AI的适应性},
  author={蒋鹏程、林嘉诚、史志毅、王子峰、何陆曦、吴一辰、钟明、宋沛洋、张启正、王恒等},
  journal={arXiv预印本 arXiv:2512.16301},
  year={2025}
}

贡献

我们欢迎各位贡献！请随时提交Pull Request，以添加新论文或更新现有条目。

---

_{(ﾉ◕ヮ◕)ﾉ*:･ﾟ✧ 继续探索智能体AI的精彩世界吧！✧ﾟ･: *ヽ(◕ヮ◕ヽ)}

Awesome-Adaptation-of-Agentic-AI 快速上手指南

项目简介： Awesome-Adaptation-of-Agentic-AI 并非一个单一的代码库或工具框架，而是一个精选论文与资源列表。它系统性地整理了关于“智能体（Agentic AI）自适应策略”的最新研究成果，涵盖了基于强化学习（RL）、监督微调（SFT）和直接偏好优化（DPO）等多种方法。

本指南旨在帮助开发者快速理解该列表的结构，并指导如何根据列表中的具体论文（如 Orion, Tool-R1, DeepRetrieval 等）找到对应的代码仓库进行复现和研究。

环境准备

由于本项目是资源索引，实际运行需针对列表中具体的论文项目进行环境配置。大多数列出的项目基于主流大模型框架，通用前置要求如下：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS
• Python 版本: >= 3.9 (部分新项目可能需要 3.10+)
• GPU: 支持 CUDA 的 NVIDIA 显卡 (显存需求视具体模型而定，通常建议 24GB+ 以运行 7B-14B 参数模型)
• 核心依赖:
  • PyTorch >= 2.0
  • Transformers >= 4.35
  • vLLM 或 TGI (用于高效推理)
  • Git

国内加速建议： 在安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于本仓库本身不包含可执行的核心训练代码，"安装"过程实质上是克隆目标论文的代码仓库。请按照以下步骤操作：

1. 克隆本资源列表仓库

首先获取最新的论文列表和分类索引：

git clone https://github.com/pat-jj/Awesome-Adaptation-of-Agentic-AI.git
cd Awesome-Adaptation-of-Agentic-AI

2. 选择并克隆具体项目

浏览 README.md 中的表格，找到你感兴趣的方法（例如 Tool-R1 或 DeepRetrieval），点击表格中的 [Code] 链接跳转至对应 GitHub 仓库。

以 Tool-R1 为例，安装其具体环境的命令通常如下（请在目标项目的根目录下执行）：

# 示例：克隆 Tool-R1 项目
git clone https://github.com/YBYBZhang/Tool-R1.git
cd Tool-R1

# 创建虚拟环境
python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

# 安装依赖 (优先使用国内镜像)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：不同论文项目的依赖名称可能不同（如 requirements.txt, setup.py 或 pyproject.toml），请以具体项目说明为准。

基本使用

本资源库的核心价值在于导航。使用流程分为“检索策略”和“复现实验”两步。

1. 检索自适应策略

打开本地或在线的 README.md，根据任务需求查找对应类别：

• 需要提升工具调用能力？
  • 查看 Agent Adaptation -> A1: Tool Execution Signaled 章节。
  • 关注基于 RL 的方法（如 Tool-R1, Orion）或 SFT 方法（如 ToolLLM）。
• 需要优化特定领域推理（如数学证明、代码生成）？
  • 查看 Task(s) 列，筛选 "Formal Theorem Proving" 或 "Coding"。
  • 推荐尝试 AlphaProof, DeepSeek-Prover-V2, 或 Code-R1。
• 需要多轮路由或检索增强？
  • 参考 Router-R1 或 DeepRetrieval。

2. 运行示例（以通用结构为例）

一旦进入具体项目仓库（例如 Tool-R1），典型的使用流程如下：

步骤 A: 数据准备 大多数项目需要提供训练数据或测试集。

# 示例：下载数据集
python scripts/download_data.py --dataset tool_bench

步骤 B: 模型微调/推理 根据项目提供的脚本启动训练或推理。以下是基于强化学习（GRPO/PPO）的典型启动命令：

# 示例：启动 GRPO 训练 (具体参数需参考该项目文档)
accelerate launch --num_processes 8 train_grpo.py \
    --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
    --dataset_path data/tool_usage.jsonl \
    --output_dir outputs/tool-r1-qwen2.5

步骤 C: 评估结果

# 示例：运行评估脚本
python eval.py --checkpoint outputs/tool-r1-qwen2.5/checkpoint-1000

3. 引用研究

如果您在研究中使用了该列表整理的内容，请在论文中引用其配套文章：

@article{jiang2025adaptation,
  title={Adaptation of Agentic AI},
  author={Jiang, Pengcheng and Lin, Jiacheng and Shi, Zhiyi and Wang, Zifeng and He, Luxi and Wu, Yichen and Zhong, Ming and Song, Peiyang and Zhang, Qizheng and Wang, Heng and others},
  journal={arXiv preprint arXiv:2512.16301},
  year={2025}
}