All-in-RAG | 大模型应用开发实战一：RAG技术全栈指南

项目简介（中文 | English）

本项目是一个面向大模型应用开发者的RAG（检索增强生成）技术全栈教程，旨在通过体系化的学习路径和动手实践项目，帮助开发者掌握基于大语言模型的RAG应用开发技能，构建生产级的智能问答和知识检索系统。

主要内容包括：

1. RAG技术基础：深入浅出地介绍RAG的核心概念、技术原理和应用场景
2. 数据处理全流程：从数据加载、清洗到文本分块的完整数据准备流程
3. 索引构建与优化：向量嵌入、多模态嵌入、向量数据库构建及索引优化技术
4. 检索技术进阶：混合检索、查询构建、Text2SQL等高级检索技术
5. 生成集成与评估：格式化生成、系统评估与优化方法
6. 项目实战：从基础到进阶的完整RAG应用开发实践

项目意义

随着大语言模型的快速发展，RAG技术已成为构建智能问答系统、知识检索应用的核心技术。然而，现有的RAG教程往往零散且缺乏系统性，初学者难以形成完整的技术体系认知。

本项目从实践出发，结合最新的RAG技术发展趋势，构建了一套完整的RAG学习体系，帮助开发者：

• 系统掌握RAG技术的理论基础和实践技能
• 理解RAG系统的完整架构和各组件的作用
• 具备独立开发RAG应用的能力
• 掌握RAG系统的评估和优化方法

项目受众

本项目适合以下人群学习：

• 具备Python编程基础，对RAG技术感兴趣的开发者
• 希望系统学习RAG技术的AI工程师
• 想要构建智能问答系统的产品开发者
• 对检索增强生成技术有学习需求的研究人员

前置要求：

• 掌握Python基础语法和常用库的使用
• 能够简单使用docker
• 了解基本的LLM概念（推荐但非必需）
• 具备基础的Linux命令行操作能力

项目亮点

1. 体系化学习路径：从基础概念到高级应用，构建完整的RAG技术学习体系
2. 理论与实践并重：每个章节都包含理论讲解和代码实践，确保学以致用
3. 多模态支持：不仅涵盖文本RAG，还包括多模态嵌入和检索技术
4. 工程化导向：注重实际应用中的工程化问题，包括性能优化、系统评估等
5. 丰富的实战项目：提供从基础到进阶的多个实战项目，帮助巩固学习成果

内容大纲

第一部分：RAG基础入门

第一章 解锁RAG 📖 查看章节

• RAG简介 - RAG技术概述与应用场景
• 准备工作 - 环境配置与准备
• 四步构建RAG - 快速上手RAG开发
• 附：环境部署 - Python虚拟环境部署方案补充 (贡献者: @anarchysaiko)

第二章 数据准备 📖 查看章节

• 数据加载 - 多格式文档处理与加载
• 文本分块 - 文本切分策略与优化

第二部分：索引构建与优化

第三章 索引构建 📖 查看章节

• 向量嵌入 - 文本向量化技术详解
• 多模态嵌入 - 图文多模态向量化
• 向量数据库 - 向量存储与检索系统
• Milvus实践 - Milvus多模态检索实战
• 索引优化 - 索引性能调优技巧

第三部分：检索技术进阶

第四章 检索优化 📖 查看章节

• 混合检索 - 稠密+稀疏检索融合
• 查询构建 - 智能查询理解与构建
• Text2SQL - 自然语言转SQL查询
• 查询重构与分发 - 查询优化策略
• 检索进阶技术 - 高级检索算法

第四部分：生成与评估

第五章 生成集成 📖 查看章节

• 格式化生成 - 结构化输出与格式控制

第六章 RAG系统评估 📖 查看章节

• 评估介绍 - RAG系统评估方法论
• 评估工具 - 常用评估工具与指标

第五部分：高级应用与实战

第七章 高级RAG架构（拓展部分） 📖 查看章节

• 基于知识图谱的RAG

第八章 项目实战一 📖 查看章节

• 环境配置与项目架构
• 数据准备模块实现
• 索引构建与检索优化
• 生成集成与系统整合

第九章 项目实战一优化（选修篇） 📖 查看章节

🍽️ 项目展示

• 图RAG架构设计
• 图数据建模与准备
• Milvus索引构建
• 智能查询路由与检索策略

第十章 项目实战二（选修篇） 📖 查看章节 规划中

Extra-chapter

• Neo4J 简单应用 （贡献者: dalvqw）

如果你在使用 RAG / 向量数据库 / Agentic RAG 等相关技术时，也有值得分享的经验与专题内容，非常欢迎以独立章节的形式投稿到 Extra Chapter 中。提交前请先阅读 Extra Chapter 的贡献与 PR 指南，我们会根据内容的完整度、实践深度与参考价值综合评估是否合并，并视情况在主教程中进行引用或扩展说明。

目录结构说明

all-in-rag/
├── docs/           # 教程文档
├── code/           # 代码示例
├── data/           # 示例数据
├── models/         # 预训练模型
├── Extra-chapter/  # 扩展章节与社区实践内容
└── README.md       # 项目说明

实战项目展示

第八章 项目一：

第九章 项目一（Graph RAG优化）：

第十章 项目二：

致谢

核心贡献者

• dalvqw-项目负责人（项目发起人与主要贡献者）

额外章节贡献者

• 孙超-内容创作者（Datawhale成员-上海工程技术大学）

特别感谢

• 感谢 @Sm1les 对本项目的帮助与支持
• 感谢所有为本项目做出贡献的开发者们
• 感谢开源社区提供的优秀工具和框架支持
• 特别感谢以下为教程做出贡献的开发者！

由 contrib.rocks 制作。

参与贡献

我们欢迎所有形式的贡献，包括但不限于：

• 🚨 Bug报告：发现问题请提交 Issue
• 💭 教程建议：有好的想法欢迎在 Discussions 中讨论
• 📚 文档改进：帮助完善文档内容和示例代码（当前仅支持 Extra-chapter 优质内容pr）

Star History

关于 Datawhale

---

许可证

本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

---

All-in-RAG 快速上手指南

All-in-RAG 是一个面向大模型应用开发者的 RAG（检索增强生成）技术全栈教程，涵盖从理论原理到工程实战的完整体系。本指南将帮助你快速搭建环境并运行基础示例。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows (推荐 WSL2)
• Python 版本：3.12.7 (或其他 3.10+ 版本)
• 容器工具：Docker (用于部署向量数据库如 Milvus)
• 基础知识：具备 Python 基础语法及 Linux 命令行操作能力

前置依赖检查

请确保已安装 git 和 docker：

git --version
docker --version

2. 安装步骤

第一步：克隆项目

使用 git 克隆仓库到本地：

git clone https://github.com/datawhalechina/all-in-rag.git
cd all-in-rag

第二步：创建虚拟环境

推荐使用 venv 或 conda 隔离环境。

方案 A：使用 venv (推荐)

python -m venv venv
# Linux/macOS 激活
source venv/bin/activate
# Windows 激活
venv\Scripts\activate

方案 B：使用 Conda

conda create -n all-in-rag python=3.12
conda activate all-in-rag

第三步：安装依赖

进入代码目录并安装所需 Python 库。 (注：若需国内加速，可在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

cd code
pip install -r requirements.txt

第四步：启动基础设施 (Docker)

部分章节（如第三章 Milvus 实践）需要向量数据库支持。以启动 Milvus 为例：

# 在项目根目录或对应的 docker 配置目录下
docker compose up -d
# 或者使用单独的 docker run 命令（参考 docs/chapter3/09_milvus.md）

3. 基本使用

本项目采用“文档 + 代码”结合的学习方式。最简单的上手路径是跟随第一章完成一个最小可用的 RAG 流程。

运行第一个 RAG 示例

进入第一章的代码目录，执行快速入门脚本：

cd code/chapter1
python 03_get_start_rag.py

代码逻辑简述： 该脚本通常包含以下核心步骤（具体代码请参考源文件）：

1. 加载数据：读取本地文本文件。
2. 文本分块：将长文本切分为适合检索的片段。
3. 向量化：调用 Embedding 模型将文本转为向量。
4. 检索与生成：模拟用户提问，检索相关片段并交由 LLM 生成回答。

学习路径建议

1. 基础入门：阅读 docs/chapter1 和 docs/chapter2，掌握数据加载与分块策略。
2. 索引构建：阅读 docs/chapter3，配合 Docker 部署 Milvus，实践向量存储。
3. 进阶实战：直接运行 docs/chapter8 中的完整项目代码，体验从数据准备到系统整合的全流程。

提示：详细的技术原理解析和参数配置说明，请访问 在线阅读文档 或查看 docs/ 目录下的 Markdown 文件。