RAG（检索增强生成）系统研发实战

本项目是一个基于 DeepSeek 的 RAG 系统实战课程的代码仓库，实现了一个完整的检索增强生成系统。

课程地址：RAG系统研发实战

技术框架

配套书籍《RAG实战课》已经重磅出版！（人民邮电出版社）

点击这里优惠购书

项目架构

项目采用模块化设计，每个模块负责 RAG 系统的不同方面：

模块	功能	技术栈	依赖
00-简单RAG-SimpleRAG	基础 RAG 系统实现	LangChain/LlamaIndex	基础环境
01-数据导入-DataLoading	数据加载和预处理	pandas, PyPDF2	文档解析库
02-文本切块-DocChunking	文档分块策略	LangChain Splitters	NLP 工具
03-向量嵌入-Embedding	文本向量化	HuggingFace, BGE	GPU 支持(可选)
04-向量存储-VectorDB	向量数据库操作	Milvus, Chroma	向量数据库
05-检索前处理-PreRetrieval	检索优化	Query Expansion	NLP 工具
06-索引优化-Indexing	索引构建和优化	层次索引, 关键词索引	搜索引擎
07-检索后处理-PostRetrieval	检索结果优化	重排序, 过滤	ML 模型
08-响应生成-Generation	答案生成	LLM 集成	GPU 推荐
09-系统评估-Evaluation	系统性能评估	RAGAS, TruLens	评估框架
10-高级RAG-AdvanceRAG	高级 RAG 技术实现	Graph RAG, Multi-Agent	高级框架

环境要求

硬件要求

GPU 版本

• NVIDIA GPU (建议 >= 8GB 显存)
• CUDA 11.8 或更高版本
• cuDNN 8.0 或更高版本

CPU 版本

• 建议 >= 16GB RAM
• 多核处理器（建议 >= 4 核）

软件要求

操作系统支持

1. **Ubuntu **

• 推荐使用 22.04 LTS

1. MacOS (Intel/Apple Silicon)

   • Apple Silicon 可以使用 MPS 加速

2. Windows 10/11

   • 推荐使用 WSL2 + Ubuntu

框架选择

1. Python：3.10+

2. LangChain 框架

   • 基础版：requirements_langchain_简单RAG(后续模块还要安装其它包).txt
   • 完整版（GPU）：requirements_langchain_20250413(Ubuntu-with-GPU).txt
   • 完整版（CPU）：requirements_langchain_无GPU版(Mac,Win).txt

3. LlamaIndex 框架

   • 基础版：requirements_llamaindex_简单RAG(后续模块还要安装其它包).txt
   • 完整版（GPU）：requirements_llamaindex_20250413(Ubuntu-with-GPU).txt
   • 完整版（CPU）：requirements_llamaindex_无GPU版(Mac,Win).txt

环境配置

Ubuntu (GPU 版本+LangChain框架)

# 创建虚拟环境
python -m venv venv-rag-langchain
source venv-rag-langchain/bin/activate
## 或者使用conda
conda create -n venv-rag-langchain python=3.10.12
conda activate venv-rag-langchain

# 安装依赖
pip install -r 91-环境-Environment/requirements_langchain_20250413_Ubuntu-with-GPU.txt

Ubuntu (CPU 版本+LangChain框架)

# 创建虚拟环境
python -m venv venv-rag-langchain
source venv-rag-langchain/bin/activate
## 或者使用conda
conda create -n venv-rag-langchain python=3.10.12
conda activate venv-rag-langchain

# 安装依赖
pip install -r 91-环境-Environment/requirements_langchain_Ubuntu-with-CPU.txt

MacOS/Windows(CPU 版本+LangChain框架)

# 创建虚拟环境
python -m venv venv-rag-langchain
# Windows
.\venv-rag-langchain\Scripts\activate
# MacOS
source venv-rag-langchain/bin/activate
## 或者使用conda
conda create -n venv-rag-langchain python=3.10.12
conda activate venv-rag-langchain

# 安装依赖
pip install -r 91-环境-Environment/requirements_langchain_无GPU版_Mac-Win.txt

Ubuntu (GPU 版本+LlamaIndex框架)

# 创建虚拟环境
python -m venv venv-rag-llamaindex
source venv-rag-llamaindex/bin/activate
## 或者使用conda
conda create -n venv-rag-llamaindex python=3.10.12
conda activate venv-rag-llamaindex

# 安装依赖
pip install -r 91-环境-Environment/requirements_llamaindex_20250413_Ubuntu-with-GPU.txt

Ubuntu (CPU 版本+LlamaIndex框架)

# 创建虚拟环境
python -m venv venv-rag-llamaindex
source venv-rag-llamaindex/bin/activate
## 或者使用conda
conda create -n venv-rag-llamaindex python=3.10.12
conda activate venv-rag-llamaindex

# 安装依赖
pip install -r 91-环境-Environment/requirements_llamaindex_Ubuntu-with-CPU.txt

MacOS/Windows(CPU 版本+LlamaIndex框架)

# 创建虚拟环境
python -m venv venv-rag-llamaindex
# Windows
.\venv-rag-llamaindex\Scripts\activate
# MacOS
source venv-rag-llamaindex/bin/activate
## 或者使用conda
conda create -n venv-rag-llamaindex python=3.10.12
conda activate venv-rag-llamaindex

# 安装依赖
pip install -r 91-环境-Environment/requirements_llamaindex_无GPU版_Mac-Win.txt

特殊依赖说明

1. PDF 处理相关：

   • 使用 requirements_camelot_20250413.txt 安装 PDF 处理相关依赖
   • 可能需要额外安装系统级依赖：
     • Ubuntu: sudo apt-get install ghostscript python3-tk
     • MacOS: brew install ghostscript tcl-tk
     • Windows: 需要手动安装 Ghostscript

2. 标注工具相关：

   • 使用 requirements_marker_20250413.txt 安装标注工具相关依赖

使用说明

1. 选择合适的环境配置文件并安装依赖
2. 按照模块顺序逐步学习和实践
3. 每个模块都包含独立的示例和说明文档
4. 建议先从 00-简单RAG-SimpleRAG 开始，逐步深入

注意事项

1. GPU 版本需要确保 CUDA 环境配置正确
2. 不同操作系统可能需要额外的系统级依赖
3. 建议使用虚拟环境管理依赖
4. 部分模块可能需要额外的模型下载或 API 密钥配置

常见问题

1. CUDA 相关错误：检查 NVIDIA 驱动和 CUDA 版本是否匹配
2. 内存不足：调整批处理大小或使用 CPU 版本
3. 依赖冲突：使用虚拟环境并严格按照 requirements 文件安装

贡献指南

欢迎提交 Issue 和 Pull Request 来帮助改进项目。

许可证

本项目采用 MIT 许可证。

rag-in-action 快速上手指南

本项目是一个基于 DeepSeek 的 RAG（检索增强生成）系统实战代码库，涵盖从基础实现到高级优化的完整流程。本指南将帮助你快速搭建环境并运行第一个示例。

环境准备

系统要求

• 操作系统：
  • Ubuntu 22.04 LTS（推荐，尤其是 GPU 版本）
  • MacOS (Intel/Apple Silicon)
  • Windows 10/11（推荐使用 WSL2 + Ubuntu）
• Python 版本：3.10 或更高
• 硬件配置：
  • GPU 版本：NVIDIA GPU（显存 >= 8GB），CUDA 11.8+，cuDNN 8.0+
  • CPU 版本：内存 >= 16GB，多核处理器（>= 4 核）

前置依赖

部分模块（如 PDF 处理）需要安装系统级依赖：

• Ubuntu: sudo apt-get install ghostscript python3-tk
• MacOS: brew install ghostscript tcl-tk
• Windows: 需手动安装 Ghostscript

安装步骤

建议为项目创建独立的虚拟环境。以下以 Ubuntu + LangChain 框架为例，其他组合请参考项目根目录的 requirements 文件选择对应配置。

1. 创建并激活虚拟环境

使用 venv:

python -m venv venv-rag-langchain
source venv-rag-langchain/bin/activate

或使用 Conda:

conda create -n venv-rag-langchain python=3.10.12
conda activate venv-rag-langchain

2. 安装项目依赖

根据你的硬件环境选择对应的 requirements 文件进行安装。

方案 A：Ubuntu + GPU 加速

pip install -r 91-环境-Environment/requirements_langchain_20250413_Ubuntu-with-GPU.txt

方案 B：Ubuntu/CPU 或 MacOS/Windows (无 GPU)

# Ubuntu CPU 版
pip install -r 91-环境-Environment/requirements_langchain_Ubuntu-with-CPU.txt

# MacOS/Windows 版
pip install -r 91-环境-Environment/requirements_langchain_无GPU版_Mac-Win.txt

提示：若需使用 LlamaIndex 框架，请将上述命令中的文件名替换为对应的 requirements_llamaindex_*.txt 文件。

基本使用

项目采用模块化设计，建议按照编号顺序由浅入深进行学习。

1. 运行基础示例

进入基础 RAG 模块目录，查看并运行示例代码：

cd 00-简单 RAG-SimpleRAG
# 查看该目录下的示例脚本（具体文件名请以实际目录内容为准）
ls
python simple_rag_demo.py 

2. 进阶实践

完成基础示例后，可依次探索以下核心模块：

• 数据处理：01-数据导入-DataLoading 和 02-文本切块-DocChunking
• 核心组件：03-向量嵌入-Embedding 和 04-向量存储-VectorDB
• 优化策略：05-检索前处理 至 07-检索后处理
• 高级应用：10-高级 RAG-AdvanceRAG (Graph RAG, Multi-Agent)

每个模块均包含独立的示例代码和说明文档，请直接参考各文件夹内的具体实现。