NVIDIA NeMo Agent Toolkit

🔥 新特性

• Dynamo 运行时智能： 自动从代理配置文件中推断每条请求的延迟敏感度，并应用运行时提示来控制缓存、进行负载感知路由以及优先级感知服务。
• 代理性能原语 (APP)： 引入与框架无关的性能原语，通过并行执行、推测性分支和节点级优先级路由，加速基于图的代理框架，如 LangChain、CrewAI 和 Agno。
• LangSmith 原生集成： 使用原生 LangSmith 跟踪功能观察端到端代理执行过程，运行评估实验、比较结果，并在开发和生产工作流中管理提示版本。
• FastMCP 工作流发布： 使用 FastMCP 服务器运行时将 NeMo Agent Toolkit 工作流发布为 MCP 服务器，从而简化基于 MCP 的部署和集成。
• 迁移通知： 1.5.0 版本简化了软件包安装和依赖管理。请参阅迁移指南。

✨ 核心功能

• 🛠️ 构建智能体：通过工具加速智能体开发，让您的智能体更快投入生产。
  • 🧩 框架无关性： 可与各类智能体框架无缝协作，添加必要的观测、性能分析和优化工具。该工具包支持主流框架，如 LangChain、LlamaIndex、CrewAI、Microsoft Semantic Kernel 和 Google ADK 等，同时也兼容企业自定义的智能体框架及简单的 Python 智能体。
  • 🔁 可复用性： 组件只需构建一次，即可多次使用，从而最大化开发投入的价值。
  • ⚡ 可定制性： 您可以从预构建的智能体、工具或工作流入手，根据需求进行个性化调整。
  • 💬 内置用户界面： 使用 NeMo Agent Toolkit 的 UI 聊天界面与您的智能体交互，可视化输出结果，并调试工作流。
• 📈 智能体洞察：借助 NeMo Agent Toolkit 的监控工具，深入理解智能体在运行时的行为。
  • 📊 性能分析： 从智能体层面到单个 token 层面，全面剖析整个工作流，识别瓶颈、分析 token 效率，并指导开发者优化智能体。
  • 🔎 可观测性： 跟踪性能、追踪执行流程，深入了解智能体在生产环境中的行为。
• 🚀 智能体优化：提供贯穿智能体生命周期各阶段的工具集，帮助您提升智能体的质量、准确性和性能。
  • 🧪 评估系统： 通过一系列离线评估工具，验证并持续保持智能体工作流的准确性。
  • 🎯 超参数与提示词优化器： 自动识别最佳配置和提示词，确保您充分利用智能体的能力。
  • 🧠 基于强化学习的微调： 针对您的智能体专门微调大语言模型，并将关于工作流的内在信息直接融入模型中。
  • ⚡ NVIDIA Dynamo 集成： 结合 Dynamo 和 NeMo Agent Toolkit，在大规模场景下提升智能体性能。
  • ⚙️ 智能体性能原语 (APP)： 通过并行执行、推测性分支和节点级优先路由，加速基于图结构的智能体框架，如 LangChain、CrewAI 和 Agno。
• 🔌 协议支持：集成用于构建智能体的常用协议。
  • 🔗 模型上下文协议 (MCP)： 将 MCP 工具 集成到您的智能体中，或将您的工具和智能体作为 MCP 服务器 提供给他人使用。
  • 🤝 智能体间通信协议 (A2A)： 构建分布式智能体团队，并提供完整的身份验证支持。

借助 NeMo Agent Toolkit，您可以快速推进项目、自由实验，并确保所有智能体驱动型项目的可靠性。

🚀 安装

在开始使用 NeMo Agent Toolkit 之前，请确保您的系统已安装 Python 3.11、3.12 或 3.13。

[!注意] 如果您想运行示例代码，需要克隆仓库并从源码安装，以获取运行示例所需的文件。更多信息请参阅 示例文档。

要从 PyPI 安装最新稳定版的 NeMo Agent Toolkit，请运行以下命令：

pip install nvidia-nat

NeMo Agent Toolkit 还有许多可选依赖项，可随核心包一起安装。这些可选依赖项按框架分组。例如，要安装 LangChain/LangGraph 插件，请运行：

pip install "nvidia-nat[langchain]"

详细的安装说明，包括所有可选依赖项及其冲突信息，可在 安装指南 中找到。

🌟 Hello World 示例

在开始之前，您无需任何设置即可在 Google Colab 中运行此简单工作流及其他多个示例。点击此处打开入门笔记本：。

1. 确保已设置 NVIDIA_API_KEY 环境变量，以便示例能够使用 NVIDIA NIM 模型。您可以通过访问 build.nvidia.com 并创建账户来获取 API 密钥。

   export NVIDIA_API_KEY=<your_api_key>
   

2. 创建 NeMo Agent Toolkit 工作流配置文件。该文件将定义示例中使用的智能体、工具和工作流。将以下内容保存为 workflow.yml：

   functions:
      # 添加一个用于搜索维基百科的工具
      wikipedia_search:
         _type: wiki_search
         max_results: 2
   
   llms:
      # 指定 NeMo Agent Toolkit 使用哪个 LLM 作为智能体的基础模型
      nim_llm:
         _type: nim
         model_name: nvidia/nemotron-3-nano-30b-a3b
         temperature: 0.0
         chat_template_kwargs:
            enable_thinking: false
   
   workflow:
      # 使用一个“推理”并“行动”的智能体
      _type: react_agent
      # 授予其访问维基百科搜索工具的权限
      tool_names: [wikipedia_search]
      # 指定使用的 LLM
      llm_name: nim_llm
      # 设置为详细模式
      verbose: true
      # 允许最多重试 3 次
      parse_agent_response_max_retries: 3
   

3. 使用 nat CLI 和 workflow.yml 文件运行 Hello World 示例。

   nat run --config_file workflow.yml --input "列出土豚的五个亚种"
   

   这将运行工作流，并将结果输出到控制台。

   工作流结果：
   ['以下是土豚的五个亚种：\n\n1. Orycteropus afer afer（南方土豚）\n2. O. a. adametzi Grote, 1921（西方土豚）\n3. O. a. aethiopicus Sundevall, 1843\n4. O. a. angolensis Zukowsky & Haltenorth, 1957\n5. O. a. erikssoni Lönnberg, 1906']
   

📚 其他资源

• 📖 文档：浏览 NeMo Agent Toolkit 的完整文档。
• 🧭 入门指南：设置您的环境并开始使用 NeMo Agent Toolkit 进行开发。
• 🤝 贡献指南：了解如何为 NeMo Agent Toolkit 做出贡献，并配置您的开发环境。
• 🧪 示例：探索位于源代码仓库 examples 目录中的 NeMo Agent Toolkit 工作流示例。
• 🛠️ 创建和自定义 NeMo Agent Toolkit 工作流：学习如何创建和自定义 NeMo Agent Toolkit 工作流。
• 🎯 使用 NeMo Agent Toolkit 进行评估：了解如何评估您的 NeMo Agent Toolkit 工作流。
• 🆘 故障排除：获取常见问题的解决方法。

🛣️ 路线图

• 自动强化学习 (RL)，用于针对特定智能体微调大语言模型。
• 与 NVIDIA Dynamo 集成，以在大规模场景下降低大语言模型的延迟。
• 通过 KV 缓存优化提升智能体吞吐量。
• 改进独立的评估框架，并将轨迹格式迁移到 ATIF。
• 支持更多编程语言（TypeScript、Rust、Go、WASM），并提供编译后的库。
• 逐步淘汰封装架构，以简化更多智能体的接入流程。
• 支持向现有智能体添加技能和沙盒环境。
• 改进 MCP 认证机制。
• 完善内存接口，以支持自我改进型智能体。

💬 反馈

我们非常期待您的反馈！如果您有任何意见或功能请求，请在 GitHub 上提交 issue。

🤝 致谢

我们感谢以下组织对本工具包的贡献：

• Synopsys
  • 提供 Google ADK 框架支持。
  • 提供 Microsoft AutoGen 框架支持。
• W&B Weave 团队
  • 为评估和遥测系统做出贡献。

此外，我们还要感谢以下开源项目，正是它们的支持才使得 NeMo Agent Toolkit 成为可能：

• Agent2Agent (A2A) 协议
• CrewAI
• Dynamo
• FastAPI
• Google 智能体开发套件 (ADK)
• LangChain
• Llama-Index
• Mem0ai
• Microsoft AutoGen
• MinIO
• 模型上下文协议 (MCP)
• OpenTelemetry
• Phoenix
• Ragas
• Redis
• 语义核
• Strands
• uv
• Weave

NVIDIA NeMo Agent Toolkit 快速上手指南

NVIDIA NeMo Agent Toolkit 是一个企业级 AI 智能体开发工具包，旨在为任何框架下的 AI 智能体增强速度、准确性和决策能力。它提供了框架无关的集成、性能分析、可观测性以及自动优化功能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：3.11, 3.12 或 3.13
• API Key：需要 NVIDIA API Key 以使用 NVIDIA NIMs 模型。请访问 build.nvidia.com 注册账号并获取密钥。

注意：如果您希望运行官方提供的完整示例代码，建议克隆仓库并从源码安装，以获取必要的配置文件和资源。

安装步骤

1. 安装核心包

使用 pip 安装最新稳定版本：

pip install nvidia-nat

2. 安装可选依赖（按需）

NeMo Agent Toolkit 支持多种主流智能体框架（如 LangChain, CrewAI 等）。您可以根据需要安装特定插件。例如，安装 LangChain/LangGraph 插件：

pip install "nvidia-nat[langchain]"

其他支持的框架依赖可通过 [crewai], [llamaindex] 等后缀进行安装。

基本使用

以下是一个最简单的"Hello World"示例，展示如何配置并运行一个基于 ReAct 模式的智能体，使其能够搜索维基百科。

第一步：设置环境变量

在终端中导出您的 NVIDIA API Key：

export NVIDIA_API_KEY=<your_api_key>

第二步：创建工作流配置文件

创建一个名为 workflow.yml 的文件，定义智能体使用的工具、大模型及工作流逻辑：

functions:
   # 添加一个搜索维基百科的工具
   wikipedia_search:
      _type: wiki_search
      max_results: 2

llms:
   # 指定智能体使用的大模型
   nim_llm:
      _type: nim
      model_name: nvidia/nemotron-3-nano-30b-a3b
      temperature: 0.0
      chat_template_kwargs:
         enable_thinking: false

workflow:
   # 使用具备“推理”和“行动”能力的 ReAct 智能体
   _type: react_agent
   # 赋予其访问维基百科搜索工具的权限
   tool_names: [wikipedia_search]
   # 指定使用的大模型
   llm_name: nim_llm
   # 开启详细输出模式
   verbose: true
   # 解析智能体响应时最多重试 3 次
   parse_agent_response_max_retries: 3

第三步：运行智能体

使用 nat 命令行工具加载配置文件并输入指令：

nat run --config_file workflow.yml --input "List five subspecies of Aardvarks"

预期输出： 智能体将调用工具进行搜索，并在控制台返回结果：

Workflow Result:
['Here are five subspecies of Aardvarks:\n\n1. Orycteropus afer afer (Southern aardvark)\n2. O. a. adametzi  Grote, 1921 (Western aardvark)\n3. O. a. aethiopicus  Sundevall, 1843\n4. O. a. angolensis  Zukowsky & Haltenorth, 1957\n5. O. a. erikssoni  Lönnberg, 1906']

---

更多高级功能（如性能分析、评估优化、MCP 协议集成等）请参考官方文档。