面向复杂 RAG 任务的高级可控智能体 🧠📚

这是一项先进的检索增强生成（RAG）解决方案，旨在应对简单语义相似性检索无法解决的复杂问题。该项目展示了一个复杂的确定性图结构，作为高度可控的自主智能体的“大脑”，能够根据您自己的数据回答非平凡的问题。

🚀 使用我的 Agents Towards Production 仓库进一步提升：它提供了以代码为中心的横向教程，覆盖构建生产级生成式 AI 智能体生命周期中的每一个工具和步骤，通过经过验证的模式和可重用蓝图，引导您从想法到规模化落地，是如果您认真考虑将智能体部署到生产环境的理想起点。

📚 探索我的 RAG 技术综合指南，以补充这一高级智能体实现，并学习更多 RAG 技术。

🤖 探索我的 GenAI Agents Repository，以补充这一高级智能体实现，并获取更多 AI 智能体的实现与教程。

📫 保持更新！

🌟 核心特性

• 复杂的确定性图结构：作为智能体的“大脑”，支持复杂推理。
• 可控的自主智能体：能够根据自定义数据集回答非平凡问题。
• 防止幻觉：确保答案完全基于提供的数据，避免 AI 幻觉。
• 多步推理：将复杂查询分解为可管理的子任务。
• 自适应规划：根据新信息持续更新计划。
• 性能评估：使用 Ragas 指标进行全面的质量评估。

🧠 工作原理

1. PDF 加载与处理：加载 PDF 文档并将其拆分为章节。
2. 文本预处理：清理和预处理文本，以便更好地进行摘要生成和编码。
3. 摘要生成：利用大型语言模型为每个章节生成详细摘要。
4. 书籍引文数据库创建：为需要访问书中引文的具体问题创建数据库。
5. 向量存储编码：将书籍内容和章节摘要编码为向量存储，以实现高效检索。
6. 问题处理：
   • 将问题中的命名实体替换为变量以匿名化。
   • 生成回答匿名化问题的高层次计划。
   • 对计划去匿名化，并将其分解为可检索或可直接回答的任务。
7. 任务执行：
   • 对于每个任务，根据上下文决定是检索信息还是直接作答。
   • 如果需要检索，则从向量存储中获取相关信息并提炼。
   • 如果直接作答，则使用链式思维生成响应。
8. 验证与重新规划：
   • 验证生成的内容是否基于原始上下文。
   • 根据新信息重新规划剩余步骤。
9. 最终答案生成：结合积累的上下文和链式思维生成最终答案。

📊 评估

该解决方案使用 Ragas 指标进行评估：

• 答案正确性
• 忠实度
• 答案相关性
• 上下文召回率
• 答案相似性

🔍 使用场景：哈利·波特书籍分析

该算法使用第一本《哈利·波特》书籍进行了测试，从而可以监控模型对检索信息与预训练知识的依赖程度。这一选择使我们能够验证模型是在使用其预训练知识，还是严格依赖向量存储中的检索信息。

示例问题

问：主角是如何击败反派的助手的？

要解答这个问题，需要以下步骤：

1. 确定故事情节中的主角。
2. 确定反派。
3. 确定反派的助手。
4. 寻找主角与反派之间的对抗或互动。
5. 推断出导致主角击败助手的原因。

智能体能够分解并解决此类复杂查询，充分展示了其强大的推理能力。

🚀 开始使用

前置条件

• Python 3.8+
• 您所选 LLM 提供商的 API 密钥

安装（不使用 Docker）

1. 克隆仓库：

   git clone https://github.com/NirDiamant/Controllable-RAG-Agent.git
   cd Controllable-RAG-Agent
   

2. 设置环境变量： 在根目录下创建一个 .env 文件，并填入您的 API 密钥：

   OPENAI_API_KEY=
   GROQ_API_KEY=
   

   您可以参考 .env.example 文件作为示例。

使用 Docker

3. 运行以下命令构建 Docker 镜像：

   docker-compose up --build
   

安装（不使用 Docker）

3. 安装所需软件包：

   pip install -r requirements.txt
   

使用

1. 浏览分步教程：sophisticated_rag_agent_harry_potter.ipynb

2. 运行实时智能体可视化（不使用 Docker）：

   streamlit run simulate_agent.py
   

3. 运行实时智能体可视化（使用 Docker）： 打开浏览器并访问 http://localhost:8501/

🛠️ 使用的技术

• LangChain
• FAISS 向量存储
• Streamlit（用于可视化）
• Ragas（用于评估）
• 灵活集成多种大语言模型（例如 OpenAI GPT 模型、Groq 或您选择的其他模型）

💡 启发式方法与技术

1. 对书籍内容按块进行编码，同时结合由大语言模型生成的章节摘要和书中的引文。
   
2. 对问题进行匿名化处理，以创建一个通用计划，避免任何参与的大语言模型产生偏见或先验知识。
   
3. 将计划中的每项任务分解为可由自定义函数执行的部分，实现完全可控的操作。
   
4. 对检索到的内容进行提炼，以提升大语言模型生成的质量和准确性，从而减少幻觉现象。
   
5. 基于上下文，采用思维链方法回答问题，该方法包含正面和负面示例，旨在得出经过充分推理的答案，而非简单的直接回复。
   
6. 按照《Self-RAG：通过自我反思学习检索、生成和批判》一文中的建议，进行内容验证和无幻觉验证——https://arxiv.org/abs/2310.11511。
   
7. 利用由大语言模型持续更新的计划来解决复杂问题。部分思路源自《Plan-and-Solve Prompting》——https://arxiv.org/abs/2305.04091 以及“babyagi”项目——https://github.com/yoheinakajima/babyagi。
   
8. 使用 Ragas 的各项指标（如答案正确性、忠实度、相关性、召回率和相似度）评估模型性能，确保输出高质量的答案。
   

🤝 贡献

欢迎各位贡献！如有任何建议或改进，请随时提交拉取请求或新建议题。

📚 了解更多

• 讲座视频
• 博客文章

🙏 致谢

特别感谢 Elad Levi 提供的宝贵建议和创意。

📄 许可证

本项目采用 Apache-2.0 许可证授权——详情请参阅 LICENSE 文件。

---

⭐️ 如果您觉得这个仓库很有帮助，请考虑给它点个赞！

关键词：RAG、检索增强生成、智能体、Langgraph、NLP、AI、机器学习、信息检索、自然语言处理、LLM、嵌入、语义搜索

Controllable-RAG-Agent 快速上手指南

Controllable-RAG-Agent 是一个高级的检索增强生成（RAG）解决方案，专为解决简单语义检索无法处理的复杂问题而设计。它通过确定性的图谱作为“大脑”，将复杂查询拆解为可执行的子任务，有效防止幻觉，确保回答严格基于提供的数据。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.8 或更高版本
• API 密钥：您需要拥有所选大语言模型（LLM）提供商的 API Key（如 OpenAI 或 Groq）
• 依赖管理：建议安装 pip 和 git

安装步骤

1. 克隆项目

首先，将代码仓库克隆到本地并进入项目目录：

git clone https://github.com/NirDiamant/Controllable-RAG-Agent.git
cd Controllable-RAG-Agent

2. 配置环境变量

在项目根目录下创建 .env 文件，并填入您的 API 密钥。您可以参考 .env.example 文件格式：

# 创建 .env 文件
touch .env

# 编辑 .env 文件，填入以下内容（替换为您的真实 Key）
OPENAI_API_KEY=your_openai_api_key_here
GROQ_API_KEY=your_groq_api_key_here

3. 安装依赖

您可以选择直接使用 Python 环境安装，或使用 Docker 运行。

方式 A：直接使用 Python 安装（推荐用于开发调试）

安装项目所需的 Python 包：

pip install -r requirements.txt

提示：国内用户若下载较慢，可使用清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式 B：使用 Docker 运行（推荐用于快速体验）

如果您已安装 Docker 和 Docker Compose，可直接构建并启动容器：

docker-compose up --build

基本使用

安装完成后，您可以通过以下两种方式体验该工具：

1. 运行交互式教程（Jupyter Notebook）

项目包含一个基于《哈利·波特》书籍数据的完整分步教程，适合深入理解代理的工作流程：

• 打开文件：sophisticated_rag_agent_harry_potter.ipynb
• 在 Jupyter Lab 或 VS Code 中按顺序执行单元格即可运行。

2. 启动实时可视化界面 (Streamlit)

该项目提供了一个 Streamlit 应用，用于实时展示代理的思考过程和任务执行步骤。

如果使用 Python 环境：

在终端运行以下命令启动服务：

streamlit run simulate_agent.py

启动后，浏览器会自动打开 http://localhost:8501/。

如果使用 Docker 环境：

无需额外命令，直接在浏览器访问：

http://localhost:8501/

使用示例逻辑

在界面或 Notebook 中，您可以尝试输入复杂问题，例如：

"主角是如何击败反派助手的？"

代理将自动执行以下步骤：

1. 识别主角、反派及其助手。
2. 制定检索计划并拆解任务。
3. 从向量数据库中检索相关章节摘要和原文引用。
4. 通过思维链（Chain-of-Thought）推理生成最终答案，并验证是否产生幻觉。