👩🏼‍💻 RAG 从零到英雄指南

本仓库旨在提供一份全面的指南，帮助您从基础到进阶学习 RAG。

快速链接

🧱 RAG 基础课程	🚀 RAG 工具包	🩸 RAG 综述论文
✅ RAG 评估课程

RAG 基础课程

主题	描述	链接
什么是 RAG？	通过一个简单示例解释 RAG。	链接
为什么需要 RAG？	解释 LLM 的缺点以及 RAG 如何解决这些问题。	链接
RAG 是如何工作的？	详细说明 RAG 的各个步骤——索引、检索、增强和生成。	链接
RAG 的优势与挑战	讨论 RAG 的优势和挑战。	链接
RAG 必备术语	RAG 相关必备术语的定义。	链接
RAG 学习路线图	从基础到进阶学习 RAG 的详细路线图。	链接
RAG 开发者技术栈	涵盖构建 RAG 系统所使用的各种库。	链接
从零开始实现 RAG	不使用任何框架，从头开始实现 RAG。	链接
使用 LangChain 实现 RAG	使用 LangChain 框架实现 RAG。	链接
网站 RAG	使用 LangChain 框架实现针对网站内容的 RAG。	链接
YouTube 视频 RAG	使用 LangChain 框架实现基于 YouTube 视频字幕的 RAG。	链接
代理式 RAG	使用 CrewAI 框架实现的代理式 RAG 系统。	链接

RAG 评估课程

主题	描述	链接
RAG 评估指标简介	RAG 评估指标的简要概述	链接
RAG 检索器评估指标	详细解释 RAG 检索器的评估指标	链接
RAG 生成器评估指标	详细解释 RAG 生成器的评估指标	链接
使用 RAGAS 进行 RAG 评估	使用 RAGAS 库实现 RAG 评估指标	链接
使用 DeepEval 进行 RAG 评估	使用 DeepEval 库实现 RAG 评估指标	链接
检测 RAG 中的幻觉	使用 LLM 和 LettuceDetect 库检测 RAG 中的幻觉	链接

RAG 工具包

🔴框架🔴

库	描述	链接
LangChain	LangChain 是一个用于开发由大型语言模型（LLM）驱动的应用程序的框架。	链接
Llama Index	LlamaIndex 是一个适用于 LLM 应用程序的数据框架	链接
Haystack	Haystack 是一个端到端的 LLM 框架，允许您构建由 LLM、Transformer 模型、向量搜索等技术驱动的应用程序。	链接
fastRAG	一个用于高效且优化的检索增强生成流水线的研究框架，结合了最先进的 LLM 和信息检索技术。	链接
Llmware	一个用于构建企业级 RAG 流水线的统一框架，采用小型专用模型	链接

🟠研究🟠

库	描述	链接
FlashRAG	一个用于高效 RAG 研究的 Python 工具箱。该工具箱包含 36 个预处理过的基准 RAG 数据集和 16 种最先进的 RAG 算法。	链接

🟡数据提取 - 网页爬取🟡

库	描述	链接
Crawl4AI（网页爬取）	一款开源的、对 LLM 友好的网络爬虫和抓取工具	链接
ScrapeGraphAI（网页及文档）	一种利用 LLM 和直接图逻辑构建网页及本地文档（XML、HTML、JSON、Markdown 等）抓取管道的 Python 爬虫库。	链接
Crawlee（网页爬取）	一个用于网页爬取和浏览器自动化的库	链接

🟢数据提取 - 文档🟢

库	描述	链接
Docling（文档）	Docling 能够轻松快速地解析文档并将其导出为所需格式。	链接
Llama Parse（文档）	一种原生支持 GenAI 的文档解析器，能够为下游任何 LLM 场景（如 RAG、智能体）解析复杂的文档数据。	链接
PyMuPDF4LLM（文档）	PyMuPDF4LLM 库使您更容易以 LLM 和 RAG 环境所需的格式提取 PDF 内容。	链接
MegaParse（文档）	一种适用于各类文档的解析器	链接
ExtractThinker（文档）	一个专为 LLM 设计的文档智能库	链接

🔵向量数据库🔵

库	描述	链接
SQLite-Vec	一个可在任何地方运行的向量搜索 SQLite 扩展！	链接
FAISS	用于高效相似性搜索和稠密向量聚类的库。	链接
PGVector	面向 Postgres 的开源向量相似性搜索	链接
Chroma	原生支持 AI 的开源嵌入数据库。使用内存构建 Python 或 JavaScript LLM 应用程序的最快方式！	链接
Qdrant	面向下一代 AI 的高性能、大规模向量数据库和向量搜索引擎。	链接
Pincone	用于机器学习应用的向量数据库。	链接
Weaviate	Weaviate 是一款云原生、开源的向量数据库，功能强大、速度快且可扩展。	链接
Milvus	Milvus 是一款为可扩展向量近似最近邻搜索而构建的高性能、云原生向量数据库	链接

🟣分块🟣

库	描述	链接
Chonkie	一种轻量级、闪电般快速且易于使用的 RAG 分块库。毫不拖泥带水的 RAG 分块库。该库支持七种不同的分块策略。	链接

🟤重排序器🟤

库	描述	链接
Rerankers	一个轻量级、低依赖性的统一 API，可用于所有常见的重排序和交叉编码器模型。只需很少的代码库知识，即可添加任何新的重排序模型。	链接

🟠代理式 RAG🟠

库	描述	链接
CrewAI	用于编排角色扮演、自主 AI 代理的框架。	链接
Agno	构建具有记忆、知识、工具和推理能力的 AI 代理。可通过精美的代理 UI 与它们对话。	链接
LangGraph	将稳健的语言代理构建为图结构。	链接
AutoGen	一个用于构建 AI 代理系统的开源框架。	链接
R2R	具有 RESTful API 的代理式检索增强生成 (RAG)。R2R 提供多模态内容摄取、混合搜索功能、知识图谱以及全面的用户和文档管理。	链接
Vectara	构建代理式 RAG 应用程序。	链接

🟢图式 RAG🟢

库	描述	链接
GraphRAG	一个模块化的基于图的检索增强生成 (RAG) 系统。	链接
Nano GraphRAG	一个简单易用、便于修改的 GraphRAG 实现。	链接
FastGraph RAG	简化且可提示的 Fast GraphRAG 框架，专为可解释、高精度的代理驱动型检索工作流设计。	链接

🔴评估🔴

库	描述	链接
RAGChecker	用于诊断 RAG 的细粒度框架。	链接
BeyondLLM	Beyond LLM 提供了一套一体化工具，用于检索增强生成 (RAG) 系统的实验、评估和部署	链接
RAGAS	Ragas 是您评估和优化大型语言模型 (LLM) 应用程序的终极工具包。	链接
Giskard	面向 ML 和 LLM 系统的开源评估与测试工具。	链接
DeepEval	LLM（RAG）评估框架。	链接

RAG 综述论文

论文	类别	链接
大型语言模型的检索增强生成：综述	通用	链接
自然语言处理中的检索增强生成：综述	通用	链接
检索增强生成 (RAG) 的综合综述：演变、现状与未来方向	通用	链接
人工智能生成内容的检索增强生成：综述	通用	链接
RAG 与 LLM 的融合：迈向检索增强型大型语言模型	通用	链接
面向大型语言模型的检索增强文本生成综述	通用	链接
检索增强生成 (RAG) 及其超越：如何更明智地让您的 LLM 使用外部数据的综合综述	通用	链接
图式检索增强生成：综述	图式 RAG	链接
代理式检索增强生成：关于代理式 RAG 的综述	代理式 RAG	链接
检索增强生成的评估：综述	评估	链接
检索增强生成最佳实践探索	RAG 最佳实践	链接

RAG Zero to Hero Guide 快速上手指南

本指南基于 rag-zero-to-hero-guide 开源项目整理，旨在帮助开发者从零开始掌握检索增强生成（RAG）技术。该项目主要提供学习路径、教程笔记和工具清单，而非单一的 Python 包。以下是基于其核心内容的快速入门流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.9 或更高版本
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆仓库)
  • API Key：准备 OpenAI API Key 或其他兼容的大模型 API Key（如 Azure OpenAI, Local LLM 等）

国内加速建议： 推荐使用国内镜像源安装 Python 依赖，以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于本项目是一个包含教程代码和笔记的资源库，首先需要克隆仓库并安装基础运行依赖。

1. 克隆项目仓库

   git clone https://github.com/kalyan-kpl/rag-zero-to-hero-guide.git
   cd rag-zero-to-hero-guide
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装核心框架依赖 根据教程路线，最基础的实现需要 LangChain 及其相关生态。执行以下命令安装核心组件：

   pip install langchain langchain-community langchain-openai faiss-cpu tiktoken
   

   若需运行特定进阶教程（如 Agentic RAG），可能还需额外安装：

   # 用于智能体教程
   pip install crewai
   
   # 用于评估教程
   pip install ragas deepeval
   

基本使用

本项目提供了从“零代码实现”到“框架实现”的多种路径。以下是最简单的 LangChain 基础 RAG 使用示例，对应仓库中 RAG Basics/notebooks/RAG_with_LangChain.ipynb 的核心逻辑。

1. 配置环境变量

在终端中设置您的 API Key：

export OPENAI_API_KEY="your-api-key-here"

2. 运行最小化 RAG 流程

创建一个名为 simple_rag.py 的文件，写入以下代码。该示例演示了文档加载、切片、向量化、检索及生成的完整闭环。

from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

# 1. 准备数据 (此处创建一个临时文本文件作为示例)
with open("sample_doc.txt", "w", encoding="utf-8") as f:
    f.write("RAG (Retrieval-Augmented Generation) 是一种结合检索和生成的 AI 技术。\n")
    f.write("它通过从外部知识库检索相关信息来增强大语言模型的回答能力。\n")
    f.write("RAG 能有效减少大模型的幻觉问题，并提供最新的领域知识。")

# 2. 加载文档
loader = TextLoader("sample_doc.txt", encoding="utf-8")
documents = loader.load()

# 3. 文本切片
text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 4. 初始化嵌入模型并构建向量库
embeddings = OpenAIEmbeddings()
db = FAISS.from_documents(texts, embeddings)

# 5. 初始化大语言模型
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# 6. 构建检索问答链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=db.as_retriever()
)

# 7. 执行查询
query = "RAG 的主要优势是什么？"
result = qa_chain.run(query)

print(f"问题：{query}")
print(f"回答：{result}")

3. 运行脚本

python simple_rag.py

下一步学习

完成上述基础示例后，建议按照项目目录结构深入探索：

• 原理深入：阅读 RAG Basics 目录下的 Markdown 文档，理解 Indexing, Retrieval, Augmentation 等核心概念。
• 场景扩展：参考 notebooks 目录中的 Web_Page_RAG.ipynb (网页 RAG) 或 YouTube_Video_RAG.ipynb (视频转录 RAG)。
• 系统评估：使用 RAG Evaluation 章节提供的 RAGAS 或 DeepEval 笔记，学习如何量化评估您的 RAG 系统性能。