NVIDIA RAG 蓝图

检索增强生成（RAG）将大型语言模型（LLM）的推理能力与来自可信数据源的实时检索相结合。 它使 AI 回答基于企业知识，从而减少幻觉现象，确保准确性、合规性和信息的新鲜度。

概述

NVIDIA RAG 蓝图是一个参考解决方案和基础起点， 用于使用 NVIDIA NIM 微服务构建检索增强生成（RAG）流水线。 它使企业能够基于自身数据提供自然语言问答服务， 同时满足治理、延迟和可扩展性要求。该蓝图设计为可分解且可配置， 集成了 GPU 加速组件、NeMo Retriever 模型、多模态和视觉语言模型以及安全约束服务， 以提供一个企业就绪的框架。凭借预构建的参考 UI、开源代码以及多种部署选项——包括本地 Docker（带或不带 NVIDIA 托管端点）和 Kubernetes—— 它为开发者提供了一个灵活的起点，可根据其特定需求进行调整和扩展。

主要特性

数据摄取

• 多模态内容提取——包含文本、表格、图表、信息图和音频的文档。有关支持的文件类型的完整列表，请参阅 [NeMo Retriever 提取概述](https://docs.nvidia.com/nemo/retriever/latest/extraction/overview/)。
• 自定义元数据支持

搜索与检索

• 多集合可搜索性
• 稠密与稀疏混合搜索
• 重排序以进一步提高准确性
• GPU 加速的索引创建与搜索
• 可插拔向量数据库

查询处理

• 查询分解
• 动态过滤表达式生成

生成与丰富

• 在答案生成管道中选择启用多模态和视觉语言模型支持。
• 采用多种策略进行文档摘要，支持灵活的页面筛选和实时进度跟踪
• 通过可选的反思机制提升准确性
• 可选的内容安全编程化护栏

评估

• 评估脚本（RAGAS 框架）

用户体验

• 示例用户界面
• 多轮对话
• 多会话支持

部署与运维

• 遥测与可观测性
• 可分解且可定制
• NIM Operator 支持
• Python 库模式支持
• 兼容 OpenAI 的 API

软件组件

RAG 蓝图由以下互补类别的软件构建而成：

• NVIDIA NIM 微服务——提供核心 AI 功能。大规模推理（例如用于响应生成的 Nemotron LLM 模型）、检索与重排序模型，以及用于文本、表格、图表和图形的专用提取器。可选的 NIM 还可通过 OCR、内容安全、主题控制和多模态嵌入等功能扩展这些能力。

• 集成与编排层——充当将系统整合为完整解决方案的粘合剂。

这种模块化设计确保了高效的查询处理、准确的信息检索以及便捷的定制化。

NVIDIA NIM 微服务

• 响应生成（推理）

  • NVIDIA NIM llama-3.3-nemotron-super-49b-v1.5

• 检索与提取模型

  • NVIDIA NIM llama-3_2-nv-embedqa-1b-v2
  • NVIDIA NIM llama-3_2-nv-rerankqa-1b-v2
  • NeMo Retriever 页面元素 NIM
  • NeMo Retriever 表格结构 NIM
  • NeMo Retriever 图形元素 NIM
  • NeMo Retriever OCR NIM

• 可选的 NIM

  • Llama 3.1 NemoGuard 8B 内容安全 NIM
  • Llama 3.1 NemoGuard 8B 主题控制 NIM
  • Llama-3.1 Nemotron-nano-12b-v2-vl NIM
  • NeMo Retriever Parse NIM
  • PaddleOCR NIM
  • llama-3.2-nemoretriever-1b-vlm-embed-v1（早期访问）

集成与编排层

• RAG 编排服务器——协调用户、检索器、向量数据库和推理模型之间的交互，确保多轮和上下文感知的查询处理。该系统基于 LangChain 构建。

• 向量数据库（由 NVIDIA cuVS 加速）——以 GPU 加速的索引和检索技术存储与搜索大规模嵌入，实现低延迟性能。您可以使用 Milvus 向量数据库 或 Elasticsearch。

• NeMo Retriever 提取——一个高性能的多模态内容解析摄取微服务。有关摄取流程的更多信息，请参阅 NeMo Retriever 提取概述。

• RAG 用户界面（rag-frontend）——一个轻量级用户界面，展示了面向开发人员和最终用户的端到端查询、检索和响应工作流。有关更多信息，请参阅 RAG UI。

技术架构图

下图展示了系统的架构和工作流程。

工作流程

以下是从终端用户视角出发的工作流程的逐步说明：

1. 数据摄取与提取管道 – 多模态企业文档（文本、图像、表格、图表、信息图和音频）被摄取。

2. 用户查询 – 用户通过 UI 或 API 与系统交互，提交问题。一个可选的 NeMo Guardrails 模块可以在查询进入检索管道之前，出于安全和合规性的考虑对其进行过滤或重塑。

3. 查询处理 – 查询由查询处理服务进行处理，该服务还可能利用反思功能（一个可选的 LLM 步骤）来提升对查询的理解或重新表述，以获得更好的检索结果。

4. 从企业数据中检索 – 经过处理的查询使用 NeMo Retriever Embedding 转换为嵌入向量，并与存储在 cuVS 加速向量数据库（CuVS）及关联对象存储（minIO）中的企业数据进行匹配。根据相似度识别出相关结果。

5. 精确度重排序 – 一个可选的 NeMo Retriever Reranker 对检索到的段落进行重新排序，确保选择最相关的片段作为响应的基础。

6. 响应生成 – 所选上下文被传递给 LLM 推理服务（例如 Llama Nemotron 模型）。一个可选的反思步骤可以进一步根据检索到的上下文验证或优化答案。在交付之前，还可以应用护栏机制以确保安全性。

7. 用户响应 – 生成的、有据可依的响应会被发送回用户界面，通常还会附上对检索文档的引用，以提高透明度。

AI 代理技能

包含一项代理技能，使 AI 编码助手（Claude Code、Cursor 等）能够自主部署、配置、故障排除并管理 RAG 蓝图。

安装

npx skills add .

这将从 skill-source/ 中安装 rag-blueprint 技能。安装完成后，代理可以处理如下请求：

• “在 Docker 上部署带有 NVIDIA 托管模型的 RAG”
• “启用 VLM 图像描述功能并重启摄取器”
• “3 个文件的摄取失败，你能检查一下原因吗？”
• “从 Docker 切换到库模式”
• “关闭所有 RAG 服务”

注意： 如果代理未能自动识别该技能（例如针对简短或模糊的查询），请使用 /rag-blueprint <your request> 显式调用它。

有关技能架构的详细信息，请参阅 skill-source/README.md。

开始使用 NVIDIA RAG 蓝图

推荐的入门方式是使用 Docker Compose 部署单节点的 NVIDIA RAG 蓝图，并采用自托管的本地模型。有关详细信息，请参阅 开始使用。

请参阅完整的文档 [docs/readme.md]，了解以下内容：

• 最低要求
• 部署选项
• 配置设置
• 常见自定义
• 可用笔记本
• 故障排除
• 附加资源

博客文章

• NVIDIA NeMo Retriever 提供准确的多模态 PDF 数据提取，速度提升 15 倍
• 寻找用于生成准确 AI 响应的最佳分块策略

邀请社区参与贡献

我们将在 GitHub 上发布这些示例，以支持 NVIDIA LLM 社区并促进反馈。我们诚挚邀请大家贡献力量！如需打开 GitHub 问题或拉取请求，请参阅 贡献指南。

许可证

本 NVIDIA AI 蓝图依据 Apache License, Version 2.0 进行许可。该项目会下载并安装其他第三方开源软件项目和容器。在使用前，请查阅 这些开源项目的许可条款。

本蓝图中所使用的模型受 NVIDIA AI 基础模型社区许可证的约束。

使用条款

本蓝图受 NVIDIA 协议 | 企业软件 | NVIDIA 软件许可协议以及 NVIDIA 协议 | 企业软件 | AI 产品特定条款的约束。模型则受 NVIDIA 协议 | 企业软件 | NVIDIA 社区模型许可以及 NVIDIA RAG 数据集的约束，后者受 NVIDIA 资产许可协议的约束。
以下基于 Llama 构建的模型受 Llama 3.2 社区许可协议约束：nvidia/llama-nemotron-embed-1b-v2、nvidia/llama-nemotron-rerank-1b-v2 和 llama-3.2-nemoretriever-1b-vlm-embed-v1。

补充信息

对于 llama-3.1-nemotron-nano-vl-8b-v1、llama-3.1-nemoguard-8b-content-safety 和 llama-3.1-nemoguard-8b-topic-control 模型，适用 Llama 3.1 社区许可协议。
对于 nvidia/llama-nemotron-embed-1b-v2、nvidia/llama-nemotron-rerank-1b-v2 和 llama-3.2-nemoretriever-1b-vlm-embed-v1 模型，适用 Llama 3.2 社区许可协议。
对于 llama-3.3-nemotron-super-49b-v1.5 模型，适用 Llama 3.3 社区许可协议。这些模型均基于 Llama 构建。
Apache 2.0 许可适用于 NVIDIA 摄取组件以及 nemoretriever-page-elements-v2、nemotron-table-structure-v1、nemotron-graphic-elements-v1、paddleocr 和 nemoretriever-ocr-v1 等模型。

NVIDIA RAG Blueprint 快速上手指南

NVIDIA RAG Blueprint 是一个基于 NVIDIA NIM 微服务构建的检索增强生成（RAG）参考解决方案。它帮助企业利用自有数据构建自然语言问答系统，结合 GPU 加速的检索、重排序及多模态处理能力，有效减少大模型幻觉，确保回答的准确性与合规性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS (部分功能受限)。
• GPU: 支持 CUDA 的 NVIDIA GPU（推荐用于加速向量检索和推理）。
• Docker: 已安装 Docker Engine 和 Docker Compose。
• 内存: 建议至少 16GB RAM（取决于所选模型大小）。

前置依赖

• NVIDIA API Key: 您需要一个 NVIDIA NGC API Key 来访问 NIM 微服务。
  • 注册地址：build.nvidia.com
  • 获取密钥后，请在终端设置环境变量：

    export NVIDIA_API_KEY=your_api_key_here
    

• Git: 用于克隆代码仓库。
• Python: 建议版本 3.10+（如需使用 Python 库模式）。

注意：国内开发者若访问 build.nvidia.com 或 Docker Hub 较慢，建议配置合适的网络代理或使用国内镜像源加速 Docker 拉取过程。

安装步骤

推荐使用 Docker Compose 进行单机部署，这是最快捷的启动方式。

1. 克隆项目仓库

git clone https://github.com/NVIDIA-AI-Blueprints/rag.git
cd rag

2. 配置环境变量

复制示例环境变量文件并根据需要修改（主要是填入 API Key）：

cp .env.example .env
# 编辑 .env 文件，确保 NVIDIA_API_KEY 已正确填写

3. 启动服务

使用 Docker Compose 启动所有组件（包括向量数据库、NIM 代理、编排服务和前端 UI）：

docker compose up -d

提示：首次运行时会拉取多个容器镜像，可能需要几分钟时间。您可以使用 docker compose logs -f 查看实时日志以确认服务状态。

4. 验证安装

等待所有服务状态变为 healthy 后，在浏览器中访问：

http://localhost:8501

您将看到 RAG 用户界面。

基本使用

以下是通过 Web 界面进行最简单问答的操作流程：

第一步：上传数据 (Data Ingestion)

1. 在 UI 界面左侧导航栏点击 "Ingest" 或 "Data Management"。
2. 上传您的企业文档（支持 PDF, TXT, Markdown, 图片，表格等多模态文件）。
   • 系统会自动调用 NeMo Retriever 进行内容提取、分块和向量化。
3. 等待处理状态显示为 "Completed"。

第二步：发起查询 (Query)

1. 切换到 "Chat" 标签页。
2. 在对话框中输入与自然语言相关的问题，例如：

   "根据上传的财报，上个季度的营收增长率是多少？"

3. 系统后台将自动执行以下流程：
   • 查询处理：优化问题表述。
   • 检索：在向量数据库中搜索相关片段。
   • 重排序：筛选最相关的上下文。
   • 生成：由 LLM 基于检索到的事实生成回答。

第三步：查看结果

• 界面将显示生成的回答，并附带引用来源（Citations），点击可跳转至原文档的具体位置，确保答案可追溯。
• 支持多轮对话，系统会记住上下文历史。

进阶：使用 AI Agent 技能管理

如果您使用支持 Agent 技能的编码助手（如 Cursor, Claude Code），可以安装内置技能来自动化管理 RAG 蓝图：

npx skills add .

安装后，您可以直接通过自然语言指令控制部署，例如：

• "Deploy RAG on Docker with NVIDIA-hosted models"
• "Ingestion failed for 3 files, can you check why?"
• "Shut down all RAG services"

若 Agent 未自动识别，可显式调用：

/rag-blueprint <your request>

---

更多详细配置、自定义模型替换及 Kubernetes 部署方案，请参阅项目根目录下的 docs/ 文件夹。