🌟 支持本项目： 您的赞助将为RAG技术的创新提供动力。成为赞助者，帮助维护并扩展这一宝贵资源！

赞助商 ❤️

我们衷心感谢那些为本项目做出重大贡献的组织和个人。

公司赞助商

个人赞助商

高级RAG技术：提升你的检索增强生成系统 🚀

欢迎来到当今最全面、最具活力的检索增强生成（RAG）教程集合之一。本仓库是用于提升RAG系统准确性、效率和上下文丰富性的尖端技术中心。

📫 保持更新！

简介

检索增强生成（RAG）正在革新我们结合信息检索与生成式AI的方式。本仓库展示了一系列精心挑选的高级技术，旨在大幅提升您的RAG系统性能，使其能够提供更准确、更具上下文相关性且更全面的回答。

我们的目标是为希望突破RAG技术边界的研究人员和从业者提供宝贵的资源。通过营造协作环境，我们致力于加速这一激动人心领域的创新步伐。

相关项目

🚀 使用我的**Agents Towards Production**仓库进一步提升技能。它提供了以代码为中心的横向教程，涵盖了构建生产级GenAI代理生命周期中的每一个工具和步骤，从萌芽到规模化，采用经过验证的模式和可重用蓝图实现真实世界的部署，是您认真考虑将代理投入生产的最佳起点。

🤖 探索我的**GenAI Agents Repository**，发现各种AI代理实现和教程，展示如何结合不同的AI技术创建功能强大、交互式的系统。

🖋️ 查看我的**Prompt Engineering Techniques guide**，这是一份从基础概念到高级技巧的全面提示策略汇编，可提升您与AI语言模型有效互动的能力。

社区驱动的知识中心

本仓库因您的贡献而日益壮大！ 加入我们的活跃社区——共同塑造和推进该项目的核心枢纽 🤝

Educational AI Subreddit

RAG Techniques Discord Community

无论您是专家还是初学者，您的见解都能影响RAG技术的未来。加入我们，提出想法、获取反馈，并合作开发创新技术。有关贡献指南，请参阅我们的**CONTRIBUTING.md**文件。让我们携手推动RAG技术的进步！

🔗 如需讨论GenAI、RAG或自定义代理，或探索知识共享机会，欢迎随时**在LinkedIn上联系**。

核心特性

• 🧠 最先进的RAG增强技术
• 📚 每项技术的全面文档
• 🛠️ 实用的实施指南
• 🌟 定期更新最新进展

高级技术

探索我们丰富的前沿 RAG 技术列表：

#	类别	技术	查看
1	⭐ 关键协作	基于上下文的智能体RAG
2	基础 🌱	基本RAG
3	基础 🌱	使用CSV文件的RAG
4	基础 🌱	可靠的RAG
5	基础 🌱	优化分块大小
6	基础 🌱	命题式分块
7	查询增强 🔍	查询变换
8	查询增强 🔍	HyDE（假设文档嵌入）
9	查询增强 🔍	HyPE（假设提示嵌入）
10	上下文增强 📚	上下文分块头
11	上下文增强 📚	相关片段提取
12	上下文增强 📚	上下文窗口增强
13	上下文增强 📚	语义分块
14	上下文增强 📚	上下文压缩
15	上下文增强 📚	文档增广
16	高级检索 🚀	融合检索
17	高级检索 🚀	重排序
18	高级检索 🚀	多维度过滤
19	高级检索 🚀	层次索引
20	高级检索 🚀	集成检索
21	高级检索 🚀	飞镖盘检索
22	高级检索 🚀	多模态RAG与字幕生成
23	迭代技术 🔁	带反馈循环的检索
24	迭代技术 🔁	自适应检索
25	迭代检索 🔄	迭代检索
26	评估 📊	DeepEval
27	评估 📊	GroUSE
28	可解释性 🔬	可解释的检索
29	高级架构 🏗️	使用LangChain的图RAG
30	高级架构 🏗️	微软GraphRAG
31	高级架构 🏗️	RAPTOR
32	高级架构 🏗️	自我RAG
33	高级架构 🏗️	纠正型RAG（CRAG）
34	特殊技术 🌟	精湛可控代理

🌱 基础 RAG 技术

1. 简单 RAG 🌱

   • LangChain:
   • LlamaIndex:
   • 可运行脚本

   概述 🔎

   介绍适合初学者的基础 RAG 技术。

   实现 🛠️

   从基础的检索查询开始，并集成增量学习机制。

2. 使用 CSV 文件的简单 RAG 🧩

   • LangChain:
   • LlamaIndex:

   概述 🔎

   介绍使用 CSV 文件的基础 RAG。

   实现 🛠️

   利用 CSV 文件创建基础检索功能，并与 OpenAI 集成以构建问答系统。

3. 可靠 RAG 🏷️:

   概述 🔎

   在简单 RAG 的基础上增加验证和精炼步骤，以确保检索信息的准确性和相关性。

   实现 🛠️

   检查检索文档的相关性，并高亮显示用于回答问题的文档片段。

4. 选择分块大小 📏

   • LangChain:
   • 可运行脚本

   概述 🔎

   选择合适的固定文本分块大小，以在保持上下文完整性和检索效率之间取得平衡。

   实现 🛠️

   尝试不同的分块大小，找到最适合您特定应用场景的、能够在保留上下文的同时维持检索速度的最佳平衡点。

5. 命题分块 ⛓️‍💥:

   概述 🔎

   将文本分解为简洁、完整、有意义的句子，从而更好地控制和处理特定查询（尤其是知识提取）。

   实现 🛠️

   • 💪 命题生成: 结合自定义提示词，利用大模型从文档分块中生成事实性陈述。
   • ✅ 质量检查: 将生成的命题送入评分系统，评估其准确性、清晰度、完整性和简洁性。

其他资源 📚

• 命题方法：提升 AI 系统的信息检索能力 - 一篇全面的博客文章，探讨命题分块在 RAG 系统中的优势及实现方法。

🔍 查询增强

6. 查询变换 🔄

   • LangChain:
   • 可运行脚本

   概述 🔎

   通过修改和扩展查询来提升检索效果。

   实现 🛠️

   • ✍️ 查询重写: 重新表述查询以提高检索质量。
   • 🔙 退一步提示: 生成更宽泛的查询，以便更好地检索上下文。
   • 🧩 子查询分解: 将复杂查询拆分为更简单的子查询。

7. 假设性问题（HyDE 方法） ❓

   • LangChain:
   • 可运行脚本

   概述 🔎

   通过生成假设性问题来改善查询与数据之间的匹配度。

   实现 🛠️

   创建指向数据中相关位置的假设性问题，从而增强查询与数据的匹配效果。

   补充资源 📚

   • HyDE：探索用于 AI 检索的假设性文档嵌入 - 一篇简明易懂的博客文章，详细解释了该方法。

📚 上下文与内容增强

8. 假设性提示嵌入（HyPE） ❓🚀

   • LangChain:
   • 可运行脚本

   概述 🔎

   HyPE（假设性提示嵌入）是对传统 RAG 检索的一种改进，它在索引阶段预先计算假设性提示，并将这些提示插入到相应的位置。这样，检索就转变为一个问题与问题匹配的任务。这种方法避免了在运行时合成答案的需求，从而减少了推理时的计算开销，同时提升了检索的匹配精度。

   实现 🛠️

   • 📖 预计算问题: 与直接嵌入文档片段不同，HyPE 在索引时会为每个片段生成多个假设性查询。
   • 🔍 问题与问题匹配: 用户查询将与存储的假设性问题进行匹配，从而实现更好的检索匹配。
   • ⚡ 无运行时开销: 与 HyDE 不同，HyPE无需在查询时调用 LLM，因此检索过程更快、更经济。
   • 📈 更高的精确率与召回率: 可以将检索的上下文精确率提高多达 42 个百分点，并将证据召回率提高多达 45 个百分点。

   补充资源 📚

   • 预印本：假设性提示嵌入（HyPE） - 详细介绍了该方法、评估结果及基准测试的研究论文。

9. 上下文片段头 :label::

   概述 🔎

   上下文片段头（CCH）是一种创建文档级和章节级上下文的方法，并在嵌入片段之前将其添加到片段的开头。

   实现 🛠️

   创建包含文档和/或章节上下文信息的片段头，并将其添加到每个片段的开头，以提高检索准确性。

   补充资源 📚

   dsRAG：一个实现了该技术（以及一些其他高级 RAG 技术）的开源检索引擎。

10. 相关段落提取 🧩:

    概述 🔎

    相关段落提取（RSE）是一种动态构建与给定查询相关的多片段文本段落的方法。

    实现 🛠️

    在检索后处理步骤中，分析最相关的片段并识别出较长的多片段段落，以便为 LLM 提供更完整的上下文。

11. 上下文增强技术 📝

• LangChain:
• LlamaIndex:
• 可运行脚本

概述 🔎

通过嵌入单个句子并将上下文扩展到相邻句子，从而提高检索准确性。

实现 🛠️

检索最相关的句子，同时访问原文中该句子前后相邻的句子。

12. 语义分块 🧠

• LangChain:
• 可运行脚本

概述 🔎

根据语义连贯性而非固定大小来划分文档。

实现 🛠️

使用自然语言处理技术识别文档中的主题边界或连贯段落，以获得更有意义的检索单元。

补充资源 📚

• 语义分块：提升AI信息检索 - 一篇全面的博客文章，探讨语义分块在RAG系统中的优势及实现方法。

13. 上下文压缩 🗜️

• LangChain:
• 可运行脚本

概述 🔎

在保留与查询相关的内容的同时，对检索到的信息进行压缩。

实现 🛠️

使用大语言模型对检索到的文本块进行压缩或摘要，以保留与查询相关的关键信息。

14. 通过问题生成进行文档增强以提升检索效果

• LangChain:
• 可运行脚本

概述 🔎

该实现展示了一种文本增强技术，通过额外的问题生成来改善向量数据库中的文档检索。通过对每个文本片段生成并纳入各种相关问题，系统能够优化标准检索流程，从而提高找到可用于生成式问答背景的相关文档的可能性。

实现 🛠️

使用大语言模型为文本数据集生成与每份文档相关的所有可能问题，以进行扩充。

🚀 高级检索方法

15. 融合检索 🔗

    • LangChain:
    • LlamaIndex:
    • 可运行脚本

    概述 🔎

    通过结合不同的检索方法来优化搜索结果。

    实现 🛠️

    将基于关键词的搜索与基于向量的搜索相结合，以实现更全面、更准确的检索。

16. 智能重排序 📈

    • LangChain:
    • LlamaIndex:
    • 可运行脚本

    概述 🔎

    应用先进的打分机制，以提升检索结果的相关性排序。

    实现方式 🛠️

    • 🧠 基于LLM的打分： 使用语言模型对每个检索到的片段进行相关性评分。
    • 🔀 交叉编码器模型： 将查询和检索到的文档联合重新编码，用于相似度打分。
    • 🏆 元数据增强排序： 在打分过程中引入元数据，以实现更精细的排序。

    补充资源 📚

    • 相关性革命：重排序如何改变RAG系统 - 一篇全面的博客文章，探讨重排序在提升RAG系统性能方面的强大作用。

17. 多维度过滤 🔍

    概述 🔎

    应用多种过滤技术，以精炼并提升检索结果的质量。

    实现方式 🛠️

    • 🏷️ 元数据过滤： 根据日期、来源、作者或文档类型等属性应用过滤条件。
    • 📊 相似度阈值： 设置相关性得分阈值，仅保留最相关的结果。
    • 📄 内容过滤： 移除不符合特定内容标准或关键关键词的结果。
    • 🌈 多样性过滤： 通过过滤掉近似重复条目，确保结果的多样性。

18. 层次化索引 🗂️

    • LangChain:
    • 可运行脚本

    概述 🔎

    构建多层级系统，以实现高效的信息导航与检索。

    实现方式 🛠️

    实现一个由文档摘要和详细片段组成的双层系统，两者均包含指向数据中同一位置的元数据。

    补充资源 📚

    • 层次化索引：增强RAG系统 - 一篇全面的博客文章，探讨层次化索引在提升RAG系统性能方面的强大作用。

19. 集成检索 🎭

    概述 🔎

    结合多种检索模型或技术，以获得更稳健、更准确的结果。

    实现方式 🛠️

    应用不同的嵌入模型或检索算法，并使用投票或加权机制来确定最终的检索文档集合。

20. 飞镖盘检索 🎯

    • LangChain:

    概述 🔎

    优化检索中的相关信息增益

    实现方式 🛠️

    • 将相关性和多样性结合为单一的打分函数，并直接对其进行优化。
    • POC显示，在数据库较为密集的情况下，简单的RAG表现不佳，而飞镖盘检索则表现出色。

21. 多模态检索 📽️

    概述 🔎

    扩展RAG的能力，以处理多样化的数据类型，从而生成更丰富的响应。

    实现方式 🛠️

    • 多模态RAG与多媒体字幕生成： - 将PDF、PPT等其他多媒体数据连同文本数据一起进行字幕生成并存储到向量数据库中，随后一并检索。
    • 多模态RAG与Colpali： - 不再进行字幕生成，而是将所有数据转换为图像，然后找到最相关的图像，并将其传递给视觉大语言模型。

🔁 迭代与自适应技术

22. 带反馈循环的检索 🔁

    • LangChain:
    • 可运行脚本

    概述 🔎

    实现从用户交互中学习并改进未来检索的机制。

    实现 🛠️

    收集并利用用户对检索文档和生成回复的相关性和质量的反馈，以微调检索和排序模型。

23. 自适应检索 🎯

    • LangChain:
    • 可运行脚本

    概述 🔎

    根据查询类型和用户上下文动态调整检索策略。

    实现 🛠️

    将查询分类为不同类别，并针对每类查询使用量身定制的检索策略，同时考虑用户上下文和偏好。

24. 迭代式检索 🔄

    概述 🔎

    通过多轮检索来优化和提升结果质量。

    实现 🛠️

    使用LLM分析初始结果，并生成后续查询以填补空白或澄清信息。

📊 评估

25. DeepEval 评估: | 全面的RAG系统评估 |

    概述 🔎

    对检索增强生成系统进行评估，涵盖多项指标并创建测试用例。

    实现 🛠️

    使用deepeval库对RAG系统的正确性、忠实性和上下文相关性进行测试。

26. GroUSE 评估: | 上下文相关的LLM评估 |

    概述 🔎

    使用GroUSE框架的指标评估检索增强生成的最终阶段，并在GroUSE单元测试上对自定义的LLM评判器进行元评估。

    实现 🛠️

    使用grouse包，借助GPT-4评估基于上下文的LLM生成结果，涵盖GroUSE框架的6项指标；同时利用单元测试评估自定义的Llama 3.1 405B评判器。

🔬 可解释性与透明度

27. 可解释的检索 🔍

    • LangChain:
    • 可运行脚本

    概述 🔎

    提供检索过程的透明度，以增强用户信任并优化系统。

    实现 🛠️

    解释为何检索到某些信息以及这些信息如何与查询相关联。

🏗️ 高级架构

28. 基于情境AI的代理式RAG 🤖

    • 代理式RAG:

    概述 🔎

    利用Contextual AI的托管平台构建用于金融文档分析的生产级代理式RAG流水线。本综合教程展示了如何通过智能查询改写、文档解析、重排序和基于上下文的语言模型，利用代理式RAG解决复杂查询。

    实现 🛠️

    • 文档解析器: 采用视觉模型的企业级解析能力，适用于复杂表格、图表及多页文档
    • 指令遵循型重排序器: 具备指令遵循能力的SOTA重排序器，可处理冲突信息
    • 基于上下文的语言模型 (GLM): 专为减少RAG场景中的幻觉而设计的世界最可靠的LLM
    • LMUnit: 用于评估和优化RAG系统性能的自然语言单元测试框架

29. 基于Milvus向量数据库的图RAG 🔍

    • 图RAG与Milvus:

概述 🔎

一种简单而强大的方法，使用 Milvus 向量数据库实现图 RAG。该技术通过将基于关系的检索与向量搜索和重排序相结合，显著提升了对复杂多跳问题的性能。

#### 实现 🛠️
- 将文本段落和关系三元组（主语-谓语-宾语）分别存储在不同的 Milvus 集合中
- 通过查询两个集合进行多路检索
- 使用 LLM 根据检索到的关系与查询的相关性对其进行重排序
- 根据最相关的关系检索最终的文本段落

30. 知识图谱集成（Graph RAG） 🕸️

    • LangChain:
    • 可运行脚本

    概述 🔎

    将知识图谱中的结构化数据融入其中，以丰富上下文并改进检索效果。

    实现 🛠️

    从知识图谱中检索与查询相关的实体及其关系，将这些结构化数据与非结构化文本结合，从而生成更具信息量的响应。

31. GraphRag（微软） 🎯

    • GraphRag:

    概述 🔎

    微软 GraphRAG（开源）是一种先进的 RAG 系统，通过集成知识图谱来提升 LLM 的性能。

    实现 🛠️

    • 分析输入语料，从文本单元中提取实体和关系；自下而上地为每个社区及其组成部分生成摘要。

32. RAPTOR：面向树形组织检索的递归抽象处理 🌳

    • LangChain:
    • 可运行脚本

    概述 🔎

    实现一种递归方法，将检索到的信息以树形结构进行处理和组织。

    实现 🛠️

    使用抽象摘要技术递归地处理和总结检索到的文档，将信息组织成树形结构，以提供分层的上下文。

33. 自我 RAG 🔁

    • LangChain:
    • 可运行脚本

    概述 🔎

    一种动态方法，结合基于检索和基于生成的方法，自适应地决定是否使用检索到的信息以及如何最佳利用这些信息来生成响应。

    实现 🛠️

    • 实施一个多步骤流程，包括检索决策、文档检索、相关性评估、响应生成、支持度评估和效用评估，以产生准确、相关且有用的结果。

34. 纠正型 RAG 🔧

    • LangChain:
    • 可运行脚本

    概述 🔎

    一种复杂的 RAG 方法，能够动态评估和纠正检索过程，结合向量数据库、网络搜索和语言模型，以生成高度准确且具有上下文感知能力的响应。

    实现 🛠️

    • 集成检索评估器、知识精炼模块、网络搜索查询改写器和响应生成器组件，构建一个系统，该系统会根据相关性得分调整其信息获取策略，并在必要时整合多个来源。

🌟 特别高级技术 🌟

35. 用于复杂 RAG 任务的精密可控智能体 🤖

    概述 🔎

    一种先进的 RAG 解决方案，旨在应对简单的语义相似度检索无法解决的复杂问题。该方法使用一个精密的确定性图作为高度可控自主智能体的“大脑” 🧠，能够根据您自己的数据回答非平凡的问题。

    实现 🛠️

    • 实施一个多步骤流程，包括问题匿名化、高层次规划、任务分解、自适应信息检索与问答、持续重新规划以及严格的答案验证，以确保生成有依据且准确的回应。

开始使用

要在您的项目中开始实施这些高级 RAG 技术：

1. 克隆此仓库：

   git clone https://github.com/NirDiamant/RAG_Techniques.git
   

2. 导航到您感兴趣的技术目录：

   cd all_rag_techniques/technique-name
   

3. 按照各技术目录中的详细实施指南操作。

贡献

我们欢迎社区的贡献！如果您有新的技术或改进建议：

1. 分支此仓库
2. 创建您的功能分支：git checkout -b feature/AmazingFeature
3. 提交您的更改：git commit -m 'Add some AmazingFeature'
4. 推送到分支：git push origin feature/AmazingFeature
5. 打开拉取请求

贡献者

许可证

本项目采用自定义的非商业许可协议授权——详情请参阅 LICENSE 文件。

---

⭐️ 如果您觉得这个仓库很有帮助，请考虑给它点个赞！

关键词：RAG，检索增强生成，NLP，AI，机器学习，信息检索，自然语言处理，LLM，嵌入，语义搜索

RAG_Techniques 快速上手指南

RAG_Techniques 是一个汇集了最先进检索增强生成（RAG）技术的开源项目，旨在通过多种高级策略提升 RAG 系统的准确性、效率和上下文丰富度。本指南将帮助你快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本: Python 3.9 或更高版本
• 包管理工具: pip 或 conda
• API 密钥: 根据你选择的具体技术（如调用 OpenAI、Anthropic 等模型），需提前准备相应的 API Key。

前置依赖建议： 由于本项目包含大量不同的 Notebook 教程，建议为每个实验或整体项目创建独立的虚拟环境，以避免依赖冲突。

安装步骤

1. 克隆仓库

首先，从 GitHub 克隆项目到本地：

git clone https://github.com/NirDiamant/RAG_Techniques.git
cd RAG_Techniques

2. 创建虚拟环境

推荐使用 venv 或 conda 创建隔离环境：

# 使用 venv
python -m venv rag_env
source rag_env/bin/activate  # Windows 用户请使用: rag_env\Scripts\activate

# 或者使用 conda
conda create -n rag_env python=3.10
conda activate rag_env

3. 安装依赖

项目中的每个 Notebook 可能有特定的依赖需求，但通常核心依赖可以通过以下方式安装。如果根目录没有统一的 requirements.txt，请参考具体 Notebook 单元格中的安装命令，或安装通用的 RAG 生态库：

pip install langchain langchain-community langchain-openai faiss-cpu chromadb pypdf tiktoken notebook

提示：针对国内网络环境，建议使用清华源或阿里源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain langchain-community langchain-openai faiss-cpu chromadb pypdf tiktoken notebook

基本使用

本项目以 Jupyter Notebook 形式提供了多种技术实现。以下是运行最基础的 Simple RAG 示例的步骤：

1. 启动 Jupyter Notebook

在项目根目录下启动服务：

jupyter notebook

2. 打开示例文件

在浏览器中导航至 all_rag_techniques 文件夹，选择并打开 simple_rag.ipynb。

3. 配置 API 密钥

在 Notebook 的第一个代码单元格中，设置你的大模型 API 密钥（以 OpenAI 为例）：

import os
os.environ["OPENAI_API_KEY"] = "your-api-key-here"

4. 运行单元格

按顺序执行 Notebook 中的所有单元格。该示例将演示：

1. 加载文档（通常是 PDF 或文本文件）。
2. 将文档切分为块（Chunking）。
3. 创建向量存储（Vector Store）。
4. 构建检索器并生成回答。

5. 尝试其他高级技术

熟悉基础流程后，你可以探索其他高级技术笔记本，例如：

• 查询增强: query_transformations.ipynb, HyDe_Hypothetical_Document_Embedding.ipynb
• 上下文优化: contextual_chunk_headers.ipynb
• 代理 RAG: Agentic_RAG.ipynb

只需打开对应的 .ipynb 文件，按照单元格说明配置参数并运行即可。