PrivateGPT

由 Zylon 打造的 PrivateGPT 是一个生产就绪的 AI 项目，它使您能够利用大型语言模型（LLMs）的力量，在没有互联网连接的情况下，就您的文档内容提出问题。整个过程完全私密，数据在任何时候都不会离开您的执行环境。

[!TIP] 如果您正在寻找一个适用于受监管行业的企业级、完全私密的 AI 平台，例如金融服务（银行、保险、投资）、国防、关键基础设施服务、政府和医疗保健领域，请访问 Zylon 的网站 或 申请演示。 Zylon 是一家为企业提供私有生成式 AI 和本地部署 AI 软件的平台，专为受监管行业设计，能够在企业内部基础设施中安全部署，无需依赖外部云服务。

该项目提供了一个 API，包含了构建私有、上下文感知型 AI 应用程序所需的所有基本功能。它遵循并扩展了 OpenAI API 标准，支持普通响应和流式响应。

API 分为两个逻辑模块：

高级 API，抽象了 RAG（检索增强生成）流水线实现中的所有复杂性：

• 文档导入：内部管理文档解析、分割、元数据提取、嵌入生成和存储。
• 基于导入文档上下文的聊天和补全：抽象出上下文检索、提示工程和响应生成的过程。

低级 API，允许高级用户实现自己的复杂流水线：

• 基于文本片段生成嵌入。
• 根据查询返回导入文档中最相关的文本片段。

此外，还提供了一个可用的 Gradio UI 客户端来测试 API，并附带一些实用工具，如批量模型下载脚本、导入脚本、文档文件夹监控等。

🎞️ 概述

[!WARNING] 此 README 并不像 文档 那样频繁更新。 请查看文档以获取最新信息！

PrivateGPT 的动机

生成式 AI 正在改变我们的社会，但在各规模的企业以及医疗、法律等对数据高度敏感的领域中，其采用却受到一个明确顾虑的限制：隐私。 无法确保在使用第三方 AI 工具时数据完全处于您的控制之下，是这些行业无法承受的风险。

初版

PrivateGPT 的初版于 2023 年 5 月发布，作为一种新颖的方法，通过完全离线的方式使用 LLM 来解决隐私问题。

该版本迅速成为注重隐私的部署场景中的首选项目，并为数千个本地化的生成式 AI 项目奠定了基础。它也是如今 PrivateGPT 发展的基础；因此，它是一个更简单、更具教育意义的实现，有助于理解构建完全本地化——从而完全私密——类似 ChatGPT 工具所需的基本概念。

如果您想继续尝试这个版本，我们已将其保存在项目的primordial 分支中。

强烈建议从之前的 primordial 版本迁移过来的用户，重新克隆并安装新版本的 PrivateGPT。

PrivateGPT 的现状与未来

PrivateGPT 目前正朝着成为生成式 AI 模型和基础组件的入口方向发展，包括补全、文档导入、RAG 流水线以及其他底层构建模块。我们希望让任何开发者都能更轻松地构建 AI 应用程序和体验，并为社区提供一个合适的、可扩展的架构，以便持续贡献。

请关注我们的 发行版，以了解所有新增功能和变更。

📄 文档

关于安装、依赖项、配置、运行服务器、部署选项、本地文档导入、API 细节和 UI 功能的完整文档，请参阅此处：https://docs.privategpt.dev/

🧩 架构

从概念上讲，PrivateGPT 是一个封装了 RAG 流水线并暴露其基础组件的 API。

• API 使用 FastAPI 构建，并遵循 OpenAI 的 API 规范。
• RAG 流水线基于 LlamaIndex。

PrivateGPT 的设计使得 API 和 RAG 实现都能够轻松扩展和调整。一些关键的架构决策包括：

• 依赖注入，解耦各个组件和层。
• 使用 LlamaIndex 的抽象，如 LLM、BaseEmbedding 或 VectorStore，从而可以立即更换这些抽象的实际实现。
• 简洁性，尽量减少层数和新的抽象。
• 开箱即用，提供了 API 和 RAG 流水线的完整实现。

主要构建块：

• API 在 private_gpt:server:<api> 中定义。每个包包含一个 <api>_router.py（FastAPI 层）和一个 <api>_service.py（服务实现）。每个 Service 使用 LlamaIndex 的基础抽象，而不是具体的实现， 从而将实际实现与其使用方式解耦。
• 组件位于 private_gpt:components:<component> 中。每个 Component 负责为 Services 中使用的基础抽象提供实际实现——例如，LLMComponent 负责提供一个 LLM 的具体实现（如 LlamaCPP 或 OpenAI）。

💡 贡献

我们欢迎各种贡献！为确保代码质量，我们已启用多项格式和类型检查。请在提交代码前运行 make check，以确认您的代码符合要求。 别忘了测试您的代码哦！项目中有一个 tests 文件夹，内含辅助工具，您可以通过 make test 命令来运行测试。

不知道该做些什么贡献？这里有一个公开的 项目看板，上面有许多创意点子。

请前往 Discord 的 #contributors 频道，申请该 GitHub 项目的写入权限。

💬 社区

加入我们关于 PrivateGPT 的讨论：

• Twitter（即 X）
• Discord

📖 引用

如果您在论文中使用了 PrivateGPT，请查看 引用文件，以获取正确的引用格式。您也可以使用本仓库中的“引用此仓库”按钮，以不同格式获取引用信息。

以下是一些示例：

BibTeX

@software{Zylon_PrivateGPT_2023,
author = {Zylon by PrivateGPT},
license = {Apache-2.0},
month = may,
title = {{PrivateGPT}},
url = {https://github.com/zylon-ai/private-gpt},
year = {2023}
}

APA

Zylon by PrivateGPT (2023). PrivateGPT [计算机软件]. https://github.com/zylon-ai/private-gpt

🤗 合作伙伴与支持者

PrivateGPT 得到了以下团队的积极支持：

• Qdrant 提供默认的向量数据库
• Fern 提供文档和 SDK
• LlamaIndex 提供基础的 RAG 框架及抽象层

此外，本项目还深受其他优秀开源项目的影响和支持，例如： LangChain、 GPT4All、 LlamaCpp、 Chroma 和 SentenceTransformers 等。

PrivateGPT 快速上手指南

PrivateGPT 是一个生产级的 AI 项目，允许你在完全离线（无互联网连接）的环境下，利用大语言模型（LLM）对本地文档进行问答。数据 100% 保留在本地执行环境中，绝不外传。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python: 3.10 或更高版本
• 硬件:
  • 最低：8GB RAM
  • 推荐：16GB+ RAM，若有 NVIDIA GPU 可显著加速推理

前置依赖

确保已安装以下工具：

• git
• python3 和 pip
• make (可选，用于运行检查脚本)

国内开发者提示：建议配置国内镜像源以加速依赖下载。

• pip 镜像：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• HuggingFace 镜像：设置环境变量 HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆项目

git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. 创建虚拟环境并激活

python3 -m venv .venv
source .venv/bin/activate  # Windows 用户请使用: .venv\Scripts\activate

3. 安装依赖

pip install -r requirements.txt

4. 下载模型

项目提供脚本自动下载所需的嵌入模型和 LLM 模型。

python scripts/setup.py

注：若网络受限，请确保已设置 HF_ENDPOINT 环境变量指向国内镜像，否则下载可能失败或极慢。

5. 配置文件（可选）

默认配置通常可直接运行。如需自定义模型路径或向量数据库设置，复制并重命名配置文件：

cp settings.yaml settings.local.yaml

编辑 settings.local.yaml 以调整参数。

基本使用

启动服务

运行以下命令启动 API 服务器和内置的 Gradio Web UI：

poetry run python main.py

如果没有安装 poetry，直接使用虚拟环境中的 python:

python main.py

启动成功后，终端将显示类似以下信息：

• API 地址：http://localhost:8001
• Web UI 地址：http://localhost:8001/?__theme=light (通常会自动在浏览器打开)

上传文档与问答

1. 访问 Web UI：在浏览器打开上述 Web UI 地址。
2. 上传文档：点击界面中的上传按钮，选择本地的 PDF、TXT、Markdown 等文档。系统会自动解析、分块并向量化存储。
3. 开始提问：在对话框输入关于文档内容的问题，系统将基于文档上下文生成回答。

命令行交互示例

你也可以直接通过 API 进行测试。首先确保有一个文档已被摄入，然后使用 curl 发送请求：

curl http://localhost:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      {
        "role": "user",
        "content": "这份文档主要讲了什么？"
      }
    ],
    "use_context": true,
    "context_injector": "ingest"
  }'

现在，你已经成功部署并使用了 PrivateGPT，可以安全地在本地探索私有文档数据了。