Agent Lightning⚡

点亮AI智能体的终极训练工具。

加入我们的Discord社区，与其他用户和贡献者交流互动。

⚡ 核心特性

• 无需任何代码修改（几乎！），即可将你的智能体转变为可优化的强大模型！💤
• 支持使用任意智能体框架（LangChain、OpenAI Agent SDK、AutoGen、CrewAI、Microsoft Agent Framework等）；甚至无需任何智能体框架，直接用Python OpenAI API即可。你想怎么来就怎么来！🤖
• 在多智能体系统中，有选择地优化一个或多个智能体。🎯
• 内置强化学习、自动提示优化、监督微调等多种算法。🤗

更多详情请访问我们的文档网站。

⚡ 安装

pip install agentlightning

如需最新夜间构建版（抢先体验前沿功能），可从Test PyPI安装：

pip install --upgrade --index-url https://test.pypi.org/simple/ --extra-index-url https://pypi.org/simple/ --pre agentlightning

更多详细信息请参阅我们的安装指南。

开始使用Agent-lightning，请查看我们的文档和示例。

⚡ 文章

• 2025年12月17日 采用轨迹级聚合加速训练 — Agent-lightning博客。
• 2025年11月4日 用Tinker ✕ Agent-lightning调优任意AI智能体 — Medium。另见第二部分。
• 2025年10月22日 不再出现重令牌化漂移：通过兼容OpenAI的API返回Token ID对智能体强化学习至关重要 — vLLM博客。另见Zhihu文章。
• 2025年8月11日 利用强化学习训练AI智能体编写并自我修正SQL语句 — Medium。
• 2025年8月5日 Agent Lightning：用强化学习训练任意AI智能体 — arXiv论文。
• 2025年7月26日 我们发现了一种方法，可以在几乎不修改代码的情况下，用强化学习训练任意AI智能体。 — Reddit。
• 2025年6月6日 Agent Lightning - 微软研究院 — 项目页面。

⚡ 社区项目

• DeepWerewolf — 基于AgentScope和Agent Lightning构建的中国狼人杀游戏智能体强化学习案例研究。
• AgentFlow — 一个模块化的多智能体框架，结合规划者、执行者、验证者和生成者智能体，以及Flow-GRPO算法，用于解决长周期、稀疏奖励的任务。
• Youtu-Agent — Youtu-Agent让你轻松构建和训练自己的智能体。基于Agent Lightning的定制分支开发，Youtu-Agent已成功验证在数学、代码和搜索任务上进行多达128张GPU的强化学习训练，并实现稳定的收敛。更多信息请参阅配方及他们的博客停止与你的智能体强化学习斗争：Youtu-Agent如何轻松实现128 GPU规模稳定扩展。

⚡ 架构

Agent Lightning将系统组件保持在最低限度，让你专注于创意本身，而非繁琐的底层实现。你的智能体仍可按常规方式运行，你依然可以自由选择喜欢的智能体框架；只需引入轻量级的agl.emit_xxx()辅助函数，或让追踪器自动收集每个提示、工具调用和奖励。这些事件会被转化为结构化的跨度数据，流入LightningStore——一个集中管理任务、资源和追踪信息的枢纽。

在LightningStore的另一端，则是你选择或自行编写的算法。算法会读取这些跨度数据，从中学习，并发布更新后的资源，例如优化后的提示模板或新的策略权重。Trainer则负责将这一切串联起来：它向运行引擎输送数据集，往返于LightningStore和算法之间传递资源，并在模型得到改进时更新推理引擎。你可以到此为止，也可以让整个流程持续循环下去。

无需重写代码，没有供应商锁定，只有一条清晰的路径，从首次部署到持续优化。

⚡ CI 状态

工作流	状态
CPU 测试
全量测试
UI 测试
示例集成
最新依赖兼容性
旧版示例兼容性

⚡ 引用

如果您在研究或项目中发现 Agent Lightning 非常有用，请引用我们的论文：

@misc{luo2025agentlightningtrainai,
      title={Agent Lightning: 使用强化学习训练任何 AI 代理},
      author={Xufang Luo 和 Yuge Zhang 和 Zhiyuan He 和 Zilong Wang 和 Siyun Zhao 和 Dongsheng Li 和 Luna K. Qiu 和 Yuqing Yang},
      year={2025},
      eprint={2508.03680},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2508.03680},
}

⚡ 贡献

本项目欢迎各种贡献和建议。请先阅读贡献指南，了解推荐的贡献点、环境搭建、分支规范以及对拉取请求的期望。大多数贡献都需要您签署一份贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。您只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需完成一次此步骤。

本项目已采纳微软开源行为准则。如需更多信息，请参阅行为准则常见问题解答或发送邮件至 opencode@microsoft.com 咨询更多问题或意见。

⚡ 商标

本项目可能包含与项目、产品或服务相关的商标或标识。未经授权使用微软商标或标识须遵守并遵循微软商标与品牌指南。在本项目的修改版本中使用微软商标或标识不得造成混淆或暗示微软的赞助关系。任何第三方商标或标识的使用均应遵守该第三方的相关政策。

⚡ 负责任的人工智能

本项目已通过评估并认证符合微软负责任人工智能标准。团队将继续监控和维护代码库，及时处理可能出现的严重问题，包括潜在的危害。

⚡ 许可证

本项目采用 MIT 许可证授权。详情请参阅LICENSE文件。

Agent Lightning 快速上手指南

Agent Lightning 是一款由微软研发的开源工具，旨在通过强化学习（RL）、自动提示优化等算法训练和优化 AI Agent。其核心优势在于几乎无需修改代码即可接入现有的任何 Agent 框架（如 LangChain、AutoGen、CrewAI 或原生 Python OpenAI），让开发者能够轻松将 Agent 转化为可优化的智能体。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows。
• Python 版本：建议 Python 3.9 及以上版本。
• 前置依赖：
  • 已安装任意主流 Agent 框架（可选，如 langchain, autogen, crewai 等）或直接使用 openai 库。
  • 具备访问 PyPI 的网络环境。
  • 注：国内用户若遇到网络延迟，建议配置 pip 国内镜像源（如清华源、阿里源）以加速下载。

安装步骤

1. 稳定版安装

通过 pip 直接安装最新稳定版本：

pip install agentlightning

国内加速推荐： 如果您在中国大陆地区，建议使用清华镜像源进行安装以提升速度：

pip install agentlightning -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 夜间版安装（可选）

如需体验最新的前沿功能（Nightly Build），可从 Test PyPI 安装：

pip install --upgrade --index-url https://test.pypi.org/simple/ --extra-index-url https://pypi.org/simple/ --pre agentlightning

基本使用

Agent Lightning 的设计理念是“零代码侵入”。您无需重写现有的 Agent 逻辑，只需引入轻量级的辅助函数或使用追踪器即可开始训练。

核心工作流程

1. 保持原有逻辑：您的 Agent 代码照常运行。
2. 插入探针：使用 agl.emit_xxx() helper 函数标记关键事件（如 Prompt、工具调用、奖励信号），或让内置 Tracer 自动收集。
3. 数据流转：事件被结构化并流入 LightningStore。
4. 算法优化：选择的算法（如 RL、SFT）读取数据，更新策略或提示模板，并通过 Trainer 反馈给推理引擎。

最简单的使用示例

假设您有一个基于原生 OpenAI 的简单 Agent，以下是接入 Agent Lightning 的最小化改动示例：

import openai
import agentlightning as agl

# 1. 初始化 Lightning (通常在程序入口处)
agl.init()

# 2. 定义您的原始 Agent 逻辑 (此处以简单的 Chat Completion 为例)
def run_agent(user_input):
    # 使用 agl.tracer 自动记录或通过 emit 手动记录关键跨度
    with agl.trace("agent_step"):
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": user_input}]
        )
        
        # 模拟获取奖励信号 (在实际 RL 场景中，这通常来自环境反馈)
        reward = calculate_reward(response) 
        
        # 发射奖励信号到 LightningStore
        agl.emit_reward(reward)
        
        return response.choices[0].message.content

# 3. 运行循环
# Trainer 会自动拦截流程，收集轨迹，并利用算法更新策略
if __name__ == "__main__":
    task = "Write a SQL query to select all users."
    result = run_agent(task)
    print(f"Agent Response: {result}")

关键特性说明

• 框架无关性：上述示例同样适用于 LangChain、AutoGen 等框架，只需在相应的位置插入 agl 的追踪或发射命令。
• 选择性优化：在多 Agent 系统中，您可以指定仅优化特定的一个或多个 Agent。
• 算法支持：支持强化学习（RL）、自动提示优化（APO）、监督微调（SFT）等多种算法，只需在配置中切换即可。

更多详细教程、架构说明及完整示例代码，请访问 官方文档 或查看仓库中的 examples 目录。