RAGs

https://github.com/run-llama/rags/assets/4858925/a6204550-b3d1-4cde-b308-8d944e5d3058

RAGs 是一款 Streamlit 应用，允许您使用自然语言从数据源创建 RAG 流程。

您可以执行以下操作：

1. 描述您的任务（例如“加载此网页”）以及您希望从 RAG 系统中获取的参数（例如“我想检索 X 条文档”）。
2. 进入配置视图，根据需要查看或修改生成的参数（如 top-k、摘要生成等）。
3. 使用您的问题向 RAG 代理查询数据。

该项目灵感来源于 OpenAI 推出的 GPTs。

安装与设置

克隆本项目，进入 rags 项目文件夹。我们建议为依赖项创建一个虚拟环境（python3 -m venv .venv）。

poetry install --with dev

默认情况下，我们同时使用 OpenAI 作为构建代理和生成的 RAG 代理。在主目录下创建 .streamlit/secrets.toml 文件。

然后添加以下内容：

openai_key = "<openai_key>"

接着从“主页”文件运行应用。

streamlit run 1_🏠_Home.py

注意：如果您升级了 RAGs 的版本，并且在启动时遇到问题，可能需要删除主目录中的 cache 文件夹（我们可能在不同版本之间对存储的数据结构进行了破坏性更改）。

详细概述

该应用包含以下几个部分，分别对应上述步骤。

1. 🏠 主页

这是您通过指示“构建代理”来构建 RAG 流程的部分。通常，要设置 RAG 流程，您需要以下组件：

1. 描述数据集。目前我们支持 单个本地文件 或 网页。我们也欢迎您的建议！
2. 描述任务。具体来说，此描述将用于初始化驱动 RAG 流程的 LLM 的“系统提示”。
3. 定义 RAG 设置的典型参数。有关参数列表，请参阅下文。

2. ⚙️ RAG 配置

本节包含由上一节中的“构建代理”生成的 RAG 参数。在此部分，您将看到一个展示生成参数的用户界面，并可以自由地根据需要手动编辑或更改这些参数。

当前的参数集如下：

• 系统提示
• 是否包含摘要生成：是否同时添加摘要工具（而不仅仅是进行 top-k 检索）。
• Top-K
• 分块大小
• 嵌入模型
• LLM

如果您手动更改了参数，可以点击“更新代理”按钮以更新代理。

如果您没有看到“更新代理”按钮，那是因为您尚未创建代理。请返回之前的“主页”并完成设置过程。

我们随时可以添加更多参数以使其更加“高级”🛠️，但认为这是一个不错的起点。

3. 生成的 RAG 代理

一旦您的 RAG 代理创建完毕，您就可以访问此页面。

这是一个标准的聊天机器人界面，您可以在其中向 RAG 代理提问，它会根据您的数据回答问题。

它能够选择合适的 RAG 工具（无论是 top-k 向量搜索还是可选的摘要生成），以满足您的查询需求。

支持的 LLM 和嵌入模型

构建代理

默认情况下，构建代理使用 OpenAI。这在 core/builder_config.py 文件中定义。您可以将其自定义为您想要的任何 LLM（Anthropic 提供了一个示例）。

请注意，GPT-4 系列在实际构建代理方面效果最为可靠（我们未能使 Claude 正常工作）。

生成的 RAG 代理

您可以通过自然语言或手动方式为嵌入模型和 LLM 设置配置。

• LLM：我们支持以下 LLM，但您需要明确指定 ID 给构建代理。
  • OpenAI：ID 为 “openai:”，例如 “openai:gpt-4-1106-preview”
  • Anthropic：ID 为 “anthropic:”，例如 “anthropic:claude-2”
  • Replicate：ID 为 “replicate:”
  • HuggingFace：ID 为 “local:”，例如 “local:BAAI/bge-small-en”
• 嵌入模型：默认支持 text-embedding-ada-002，但也支持 Hugging Face 模型。要使用 Hugging Face 模型，只需在其前面加上 “local”，例如 local:BAAI/bge-small-en。

资源

遇到问题？请提交 GitHub 问题或加入我们的 Discord。

此应用基于 LlamaIndex Python 构建。

请参阅我们的发布博客文章 这里。

RAGs 快速上手指南

RAGs 是一个基于 Streamlit 的应用，允许你通过自然语言指令快速构建针对特定数据源的 RAG（检索增强生成）流水线。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.9 或更高版本
• 前置依赖：
  • Git（用于克隆项目）
  • Poetry（用于依赖管理）
  • OpenAI API Key（默认使用 OpenAI 模型）

提示：国内开发者若无法直接访问 PyPI 或 GitHub，建议配置国内镜像源（如清华源、阿里源）加速依赖下载，并使用代理工具解决网络问题。

安装步骤

1. 克隆项目并进入目录

   git clone https://github.com/run-llama/rags.git
   cd rags
   

2. 创建虚拟环境

   python3 -m venv .venv
   source .venv/bin/activate  # Windows 用户请使用: .venv\Scripts\activate
   

3. 安装依赖

   poetry install --with dev
   

   注：若未安装 Poetry，请先运行 curl -sSL https://install.python-poetry.org | python3 - 进行安装。

4. 配置 API Key 在项目根目录下创建 .streamlit 文件夹，并在其中新建 secrets.toml 文件：

   mkdir -p .streamlit
   touch .streamlit/secrets.toml
   

   编辑 .streamlit/secrets.toml，填入你的 OpenAI Key：

   openai_key = "<your_openai_key>"
   

基本使用

1. 启动应用 在终端运行以下命令启动 Streamlit 服务：

   streamlit run 1_🏠_Home.py
   

   浏览器将自动打开本地页面（通常为 http://localhost:8501）。

2. 构建 RAG 流水线（Home Page）

   • 描述数据源：输入本地文件路径或网页 URL（目前支持单个本地文件或网页）。
   • 描述任务：用自然语言说明需求（例如：“加载这个网页并回答相关问题”），系统将据此生成 System Prompt。
   • 定义参数：简要说明期望的检索行为（例如：“我想检索前 3 个文档”）。
   • 点击提交，等待"Builder Agent"自动生成配置。

3. 调整配置（可选） 切换到 ⚙️ RAG Config 页面，查看或手动修改生成的参数（如 Top-K、Chunk Size、模型选择等）。如有修改，点击 Update Agent 按钮生效。

4. 开始问答 进入 Generated RAG Agent 页面，在聊天框中输入问题。系统将自动调用检索工具（向量搜索或摘要生成）并基于你的数据返回答案。

注意：若升级版本后启动报错，请尝试删除用户主目录下的 cache 文件夹以清除旧版缓存数据。