NVIDIA 生成式 AI 示例

本仓库为希望与 NVIDIA 软件生态系统集成以加速其生成式 AI 系统的开发者提供了一个起点。无论您是在构建 RAG 流水线、智能体工作流，还是进行模型微调，本仓库都将帮助您无缝且原生地将 NVIDIA 集成到您的开发栈中。

目录

• 最新内容
  • 数据飞轮
  • 更安全的智能体 AI
  • 知识图谱 RAG
  • 使用 Llama 3.1 的智能体工作流
  • 使用本地 NIM 部署和 LangChain 的 RAG
  • 视觉 NIM 工作流
• 立即体验！
• 数据飞轮
  • 工具调用笔记本
• RAG
  • RAG 笔记本
  • RAG 示例
  • RAG 工具
  • RAG 项目
• 文档
  • 入门指南
  • 操作指南
  • 参考
• 社区

最新内容？

数据飞轮

这些教程展示了使用 NVIDIA NeMo 微服务的数据飞轮工作流。它们包括 NVIDIA NeMo Datastore、NeMo Entity Store、NeMo Customizer、NeMo Evaluator、NeMo Guardrails 微服务以及 NVIDIA NIMs 等组件。

• 使用 NVIDIA NeMo 微服务和 NIMs 进行工具调用的微调、推理、评估和安全约束
• 使用 NVIDIA NeMo 微服务和 NIMs 进行嵌入的微调、推理和评估

更安全的智能体 AI

以下教程说明了如何使用 NeMo Auditor 审计大型语言模型，以识别对不安全提示的漏洞，以及如何并行运行多条安全规则进行推理，从而降低延迟并提高吞吐量。

• 审计您的 LLM
• 并行安全规则推理

知识图谱 RAG

本示例实现了一个 GPU 加速的流水线，用于通过 RAG 创建和查询知识图谱，利用 NIM 微服务和 RAPIDS 生态系统高效处理大规模数据集。

• 使用 NVIDIA AI 基础模型和端点的 RAG 知识图谱

使用 Llama 3.1 的智能体工作流

• 使用 Llama 3.1 和 NVIDIA NeMo Retriever NIM 微服务构建智能体 RAG 流水线 [博客, 笔记本]
• NVIDIA Morpheus、NIM 微服务和 RAG 流水线集成，创建基于 LLM 的智能体流水线

使用本地 NIM 部署和 LangChain 的 RAG

• Amit Bleiweiss 提供的使用 NVIDIA AI LangChain AI 端点构建 RAG 流水线的技巧。[博客, 笔记本]

更多信息，请参阅 生成式 AI 示例发布。

视觉 NIM 工作流

一系列使用视觉 NIM 构建的 Jupyter 笔记本、示例代码和参考应用。

要获取视觉 NIM 工作流，请递归克隆此仓库：

git clone https://github.com/nvidia/GenerativeAIExamples --recurse-submodules

然后，工作流将位于 GenerativeAIExamples/vision_workflows。

请按照以下链接了解更多：

• 学习如何使用 VLM 自动监控视频流中的自定义事件。
• 学习如何使用 NV-CLIP 通过自然语言搜索图像。
• 学习如何结合 VLM、LLM 和 CV 模型来构建强大的文本提取流水线。
• 学习如何使用 NVDINOv2 和 Milvus 向量数据库的嵌入来构建少样本分类模型。

立即体验！

只需几个步骤即可体验 NVIDIA RAG 流水线！

1. 获取您的 NVIDIA API 密钥。

   1. 前往 NVIDIA API 目录。
   2. 选择任意模型。
   3. 单击 获取 API 密钥。
   4. 执行：

      export NVIDIA_API_KEY=nvapi-...
      

2. 克隆仓库。

   git clone https://github.com/nvidia/GenerativeAIExamples.git
   

3. 构建并运行基础 RAG 流水线。

   cd GenerativeAIExamples/RAG/examples/basic_rag/langchain/
   docker compose up -d --build
   

4. 访问 https://localhost:8090/ 并向示例 RAG Playground 提交查询。

5. 完成后停止容器。

   docker compose down
   

数据飞轮

数据飞轮 是一种自我强化的循环，用户交互产生的数据会改进 AI 模型或产品，从而带来更好的结果，吸引更多用户，并进一步提升数据质量。这种反馈回路依赖于持续的数据处理、模型优化和安全约束，以确保准确性与合规性，同时随着时间推移不断累积价值。实际应用范围从个性化客户体验到库存管理等运营系统，其中改进的预测能够推动效率和增长。

工具调用笔记本

工具调用使大型语言模型（LLMs）能够与外部 API 集成、执行动态工作流，并在训练范围之外检索实时数据。NVIDIA NeMo 微服务平台提供了一个模块化的基础设施，用于部署 AI 流水线，其中包括微调、评估、推理和安全约束的实施——可在云端或本地环境中的 Kubernetes 集群上运行。

本端到端 教程 演示了如何利用 NeMo 微服务通过 xLAM 函数调用数据集定制 Llama-3.2-1B-Instruct，评估其准确性，并实施安全约束以规范其行为。

RAG

RAG 笔记本

NVIDIA 对流行的生成式 AI 开发框架提供了出色的支持，例如 LangChain、LlamaIndex 和 Haystack。这些端到端的笔记本展示了如何使用您偏好的生成式 AI 开发框架集成 NIM 微服务。

请使用这些 笔记本，了解 LangChain 和 LlamaIndex 的连接器。

LangChain 笔记本

• RAG
  • 基于 CHATNVIDIA 的 LangChain 集成的基础 RAG
  • 使用本地 NIM 微服务进行 LLM 和检索的 RAG
  • 针对 HTML 文档的 RAG
  • 与 NVIDIA 财务报告对话
• 代理
  • NIM 工具调用入门
  • 带有 NeMo 检索器的代理式 RAG
  • 人机协作的代理

LlamaIndex 笔记本

• 基于 LlamaIndex 集成的基础 RAG

RAG 示例

默认情况下，这些端到端的 示例 使用 NVIDIA API Catalog 上的预览版 NIM 端点。此外，您也可以在本地运行任何示例 本地部署。

基础 RAG 示例

• LangChain 示例
• LlamaIndex 示例

高级 RAG 示例

• 多轮对话
• 多模态数据
• 结构化数据（CSV）
• 查询分解

RAG 工具

用于增强使用 NVIDIA RAG 流程时 LLM 开发和生产力的示例工具及教程。

• 评估
• 可观测性

RAG 项目

• NVIDIA Tokkio LLM-RAG：使用 Tokkio 为 RAG 回答添加头像动画。
• AI Workbench 上的混合 RAG 项目：运行一个 NVIDIA AI Workbench 的 RAG 示例项目。

文档

入门

• 先决条件

操作指南

• 更改推理或嵌入模型
• 自定义向量数据库
• 自定义链服务器：
  • 分块策略
  • 提示模板设计
• 在运行时配置 LLM 参数
• 支持多轮对话
• 通过 NVIDIA Riva 进行语音查询和听取回答

参考

• 支持矩阵
• 架构
• 使用示例聊天 Web 应用程序
• RAG Playground Web 应用程序
• 软件组件配置

社区

我们将在 GitHub 上发布这些示例，以支持 NVIDIA LLM 社区并促进反馈。我们诚挚邀请大家贡献！欢迎打开 GitHub 问题或拉取请求！请参阅 贡献说明。同时，请查看 社区 中的示例和笔记本。

NVIDIA Generative AI Examples 快速上手指南

本指南帮助开发者快速集成 NVIDIA 软件生态，构建检索增强生成（RAG）、智能体工作流（Agentic Workflows）及模型微调系统。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04/22.04) 或 macOS。Windows 用户建议使用 WSL2。
• 核心依赖：
  • Git
  • Docker 和 Docker Compose
  • Python 3.10+ (用于运行 Notebook 示例)
• 硬件要求：
  • 云端模式：无需本地 GPU，通过 API 调用 NVIDIA NIM 微服务。
  • 本地部署模式：需要 NVIDIA GPU (建议显存 24GB+) 并安装 NVIDIA Container Toolkit。
• API 密钥：需要拥有 NVIDIA API Key。
  1. 访问 NVIDIA API Catalog。
  2. 选择任意模型，点击 Get API Key。
  3. 在终端中设置环境变量：

     export NVIDIA_API_KEY=nvapi-...
     

提示：国内开发者若访问 github.com 或 huggingface.co 受阻，建议配置相应的网络加速工具或使用国内镜像源克隆仓库。

安装步骤

1. 克隆仓库

将项目代码克隆到本地。如果需要体验视觉（Vision）相关工作流，请使用 --recurse-submodules 参数。

git clone https://github.com/nvidia/GenerativeAIExamples.git
# 若需包含视觉工作流子模块：
# git clone https://github.com/nvidia/GenerativeAIExamples --recurse-submodules

2. 进入示例目录

本指南以最基础的 LangChain RAG 示例为例：

cd GenerativeAIExamples/RAG/examples/basic_rag/langchain/

3. 构建并运行

使用 Docker Compose 一键构建并启动服务。这将自动拉取所需的 NIM 容器镜像（首次运行可能需要较长时间，视网络情况而定）。

docker compose up -d --build

基本使用

服务启动后，您将拥有一个本地的 RAG playground 环境。

1. 访问应用

打开浏览器，访问以下地址： https://localhost:8090/

2. 提交查询

在网页界面中，您可以直接输入问题进行测试。该示例默认加载了简单的文档数据，演示了从检索到生成的完整流程。

3. 停止服务

测试完成后，执行以下命令停止并清理容器：

docker compose down

---

进阶探索

完成基础体验后，您可以参考仓库中的其他资源进行深入开发：

• Notebooks：查看 RAG/notebooks 目录，了解如何使用 LangChain、LlamaIndex 集成 NVIDIA NIM。
• 高级 RAG：尝试 RAG/examples/advanced_rag 中的多轮对话、多模态数据处理及结构化数据示例。
• 智能体工作流：参考 nemo 目录下的 Data Flywheel 和 Safer Agentic AI 教程，学习模型微调与安全护栏设置。