🧺 RAGstack

在您的 VPC 内部署一个私有 ChatGPT 替代方案。将其连接到贵组织的知识库，并用作企业级智能助手。支持 Llama 2、Falcon 和 GPT4All 等开源大模型。

检索增强生成 (RAG) 是一种技术，它通过从其他系统中检索信息，并将这些信息以提示的形式插入到大语言模型 (LLM) 的上下文窗口中，从而增强 LLM 的能力。这使得 LLM 能够获取超出其训练数据范围的信息，而这是几乎所有企业应用场景所必需的。例如，可以从当前网页、Confluence 或 Salesforce 等 SaaS 应用程序中获取数据，也可以从销售合同、PDF 文档等文件中提取信息。

与微调模型相比，RAG 具有更好的效果，因为它成本更低、速度更快且更可靠，因为每次响应都会提供信息来源。

RAGstack 会部署以下资源来实现检索增强生成：

开源大模型

• GPT4All：在本地运行时，RAGstack 会下载并部署 Nomic AI 的 gpt4all 模型，该模型可在消费级 CPU 上运行。
• Falcon-7b：在云端，RAGstack 会将 Technology Innovation Institute 的 falcon-7b 模型部署到配备 GPU 的 GKE 集群上。
• LLama 2：在云端，RAGstack 还可以将 Meta 的 Llama 2 模型的 7B 参数版本部署到配备 GPU 的 GKE 集群上。

向量数据库

• Qdrant：Qdrant 是一个用 Rust 编写的开源向量数据库，性能优异且可自行托管。

服务器 + UI

一个简单的服务器和用户界面，用于处理 PDF 上传，以便您可以通过 Qdrant 和选定的开源大模型与您的 PDF 文件进行对话。

本地运行

1. 将 ragstack-ui/local.env 复制到 ragstack-ui/.env。
2. 将 server/example.env 复制到 server/.env。
3. 在 server/.env 中，将 YOUR_SUPABASE_URL 替换为您的 Supabase 项目 URL，将 YOUR_SUPABASE_KEY 替换为您的 Supabase 秘密 API 密钥。在 ragstack-ui/.env 中，将 YOUR_SUPABASE_URL 替换为您的 Supabase 项目 URL，将 YOUR_SUPABASE_PUBLIC_KEY 替换为您的 Supabase 秘密 API 密钥。您可以在 Supabase 控制台的 设置 > API 中找到这些值。
4. 在 Supabase 中，创建一个名为 ragstack_users 的表，包含以下列：

   列名	类型
   id	uuid
   app_id	uuid
   secret_key	uuid
   email	text
   avatar_url	text
   full_name	text

如果您启用了行级安全策略，请确保插入和查询操作具有 (auth.uid() = id) 的 WITH CHECK 表达式。 5. 运行 scripts/local/run-dev。这将下载 ggml-gpt4all-j-v1.3-groovy.bin 到 server/llm/local/ 目录下，并在本地运行服务器、大模型和 Qdrant 向量数据库。 当您看到以下消息时，所有服务即准备就绪：

INFO:     Application startup complete.

部署到 Google Cloud

要使用运行在 GPU 上的 Falcon-7B 将 RAG 栈部署到您自己的 Google Cloud 实例上，请按照以下步骤操作：

1. 运行 scripts/gcp/deploy-gcp.sh。此脚本会提示您输入 GCP 项目 ID、服务账户密钥文件和区域以及其他参数（模型、HuggingFace 令牌等）。
2. 如果在部署 Falcon-7B 时出现错误，请运行以下命令，然后再次运行 scripts/gcp/deploy-gcp.sh：

gcloud config set compute/zone YOUR-REGION-HERE
gcloud container clusters get-credentials gpu-cluster
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml

部署脚本是使用 Terraform 实现的。

3. 您可以通过在 ragstack-ui 目录下创建一个 .env 文件，并将 VITE_SERVER_URL 设置为您 Google Cloud Run 中 ragstack-server 实例的 URL 来运行前端。

部署到 AWS

要使用运行在 GPU 上的 Falcon-7B 将 RAG 栈部署到您自己的 AWS EC2 实例上（使用 ECS），请按照以下步骤操作：

1. 运行 scripts/aws/deploy-aws.sh。此脚本会提示您输入 AWS 凭证以及其他参数（模型、HuggingFace 令牌等）。

部署脚本是使用 Terraform 实现的。

3. 您可以通过在 ragstack-ui 目录下创建一个 .env 文件，并将 VITE_SERVER_URL 设置为您 ALB 实例的 URL 来运行前端。

部署到 Azure

要使用运行在 GPU 上的 Falcon-7B 将 RAG 栈部署到您自己的 AKS 上，请按照以下步骤操作：

1. 运行 ./azure/deploy-aks.sh。此脚本会提示您输入 AKS 订阅以及其他参数（模型、HuggingFace 令牌等）。

部署脚本是使用 Terraform 实现的。

1. 您可以通过在 ragstack-ui 目录下创建一个 .env 文件，并将 VITE_SERVER_URL 设置为您 AKS 中 ragstack-server 服务的 URL 来运行前端。

请注意，此 AKS 部署使用的是配备 NVIDIA Tesla T4 加速卡的节点池，而并非所有订阅都支持此配置。

路线图

• ✅ 支持 GPT4all
• ✅ 支持 Falcon-7b
• ✅ 支持 GCP 部署
• ✅ 支持 AWS 部署
• ✅ 支持 Azure 部署
• 🚧 支持 Llama-2-40b

致谢

用于容器化 Falcon 7B 的代码来自 Het Trivedi 的 教程仓库。请查看他在 Medium 上发表的关于如何将 Falcon 容器化的文章 这里!

RAGstack 快速上手指南

RAGstack 是一个可部署在私有云（VPC）内的开源 ChatGPT 替代方案。它支持连接企业知识库，利用检索增强生成（RAG）技术，让开源大模型（如 Llama 2、Falcon、GPT4All）基于您的文档（PDF 等）进行问答。

环境准备

系统要求

• 本地运行：
  • 操作系统：Linux / macOS / Windows (WSL2)
  • CPU：支持运行 GPT4All 模型的消费级 CPU
  • 内存：建议 8GB 以上
  • Docker & Docker Compose（推荐用于管理向量数据库和服务）
• 云端部署（GPU 加速）：
  • Google Cloud (GKE), AWS (ECS/EC2), 或 Azure (AKS) 账号
  • 具备 GPU 资源的集群（用于运行 Falcon-7B 或 Llama 2）
  • Terraform（云端部署脚本依赖）

前置依赖

1. Git：用于克隆代码库。
2. Supabase 账号：用于用户认证和数据存储（本地和云端均需）。
3. 云厂商 CLI 工具（仅云端部署需要）：
   • GCP: gcloud
   • AWS: aws-cli
   • Azure: az-cli
4. Hugging Face Token（可选）：如果需要下载受保护的模型（如 Llama 2），需提前在 Hugging Face 获取 Access Token。

注意：国内开发者若遇到模型下载缓慢问题，建议配置 Hugging Face 镜像源或使用代理加速。

---

安装步骤

方案一：本地运行（推荐初学者）

此方案使用 GPT4All 模型，无需 GPU，直接在本地 CPU 运行。

1. 克隆项目

   git clone https://github.com/psychicapi/rag-stack.git
   cd rag-stack
   

2. 配置环境变量 复制示例配置文件到实际配置位置：

   cp ragstack-ui/local.env ragstack-ui/.env
   cp server/example.env server/.env
   

3. 配置 Supabase 密钥 登录 Supabase Dashboard，进入 Settings > API 获取密钥。

   • 编辑 server/.env： 替换 YOUR_SUPABASE_URL 和 YOUR_SUPABASE_KEY。
   • 编辑 ragstack-ui/.env： 替换 YOUR_SUPABASE_URL 和 YOUR_SUPABASE_PUBLIC_KEY。

4. 初始化数据库表 在 Supabase SQL Editor 中执行以下语句创建 ragstack_users 表：

   create table ragstack_users (
     id uuid primary key,
     app_id uuid,
     secret_key uuid,
     email text,
     avatar_url text,
     full_name text
   );
   

   如果启用了行级安全策略 (RLS)，请确保 Insert/Select 策略包含 (auth.uid() = id) 检查。

5. 启动服务 运行本地开发脚本，它将自动下载模型并启动服务器、LLM 和 Qdrant 向量数据库：

   scripts/local/run-dev
   

   当看到 INFO: Application startup complete. 时，表示启动成功。

方案二：云端部署（生产环境/GPU）

部署到 Google Cloud (GCP)

scripts/gcp/deploy-gcp.sh

按提示输入 GCP Project ID、Service Account 密钥文件路径、区域及模型参数。 若遇到 Falcon-7B 部署错误，请先执行以下命令修复驱动，再重试部署脚本：

gcloud config set compute/zone YOUR-REGION-HERE
gcloud container clusters get-credentials gpu-cluster
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml

部署到 AWS

scripts/aws/deploy-aws.sh

按提示输入 AWS 凭证及模型参数。

部署到 Azure

./azure/deploy-aks.sh

按提示输入 AKS 订阅信息及模型参数。 注意：此部署依赖包含 NVIDIA Tesla T4 加速器的节点池，请确认您的订阅可用。

---

基本使用

1. 配置前端连接

无论本地还是云端部署，最后一步都是配置前端以连接后端服务。

• 进入前端目录：

  cd ragstack-ui
  

• 创建或编辑 .env 文件，设置 VITE_SERVER_URL：
  • 本地运行：通常设置为 http://localhost:8000 (具体端口视 run-dev 输出而定)。
  • 云端运行：设置为云服务商提供的负载均衡器 (ALB) 或 Cloud Run 服务地址。

2. 上传文档并对话

1. 在浏览器打开前端地址（本地通常为 http://localhost:5173 或脚本输出的地址）。
2. 登录/注册账号（数据存储在您的 Supabase 实例中）。
3. 上传 PDF：在界面中上传您的知识库文档（如销售合同、技术手册等）。
4. 开始提问：在聊天框中输入问题，系统将自动检索文档内容并结合开源大模型生成回答。

3. 验证运行状态

本地运行时，观察终端日志。模型文件（如 ggml-gpt4all-j-v1.3-groovy.bin）会自动下载到 server/llm/local/ 目录。一旦服务就绪，即可通过 UI 进行交互。