领域特定 ChatGPT 入门应用

ChatGPT 非常适合日常的通用问答，但在需要领域特定知识时就显得力不从心。此外，当它遇到知识空白时，往往会编造答案，而且从不引用来源，因此难以令人信赖。这款入门应用利用嵌入向量结合向量搜索来解决这些问题，更具体地说，展示了如何使用 OpenAI 的聊天补全 API 来构建面向领域特定知识的对话式界面。

嵌入向量由浮点数组成的向量表示，用于衡量文本字符串之间的“相关性”。它们在搜索结果排序、聚类、分类等方面非常有用。相关性的度量标准是余弦相似度：如果两个向量的余弦相似度接近 1，则说明这两个向量高度相似且指向相同方向。对于文本嵌入而言，两个嵌入向量的高余弦相似度意味着对应的文本字符串具有高度相关性。

本入门应用使用嵌入技术为文档生成向量表示，然后通过向量搜索找到与查询最相似的文档。接着，利用向量搜索的结果构造提示词，并将 GPT 的响应流式传输给用户。更多背景信息请参阅 Supabase 博客文章《pgvector 和 OpenAI 嵌入》（https://supabase.com/blog/openai-embeddings-postgres-vector）。

所用技术：

• Next.js（React 框架）+ Vercel 托管
• Supabase（使用其 pgvector 实现作为向量数据库）
• OpenAI API（用于生成嵌入和聊天补全）
• TailwindCSS（用于样式设计）

功能概述

创建并存储嵌入

• 抓取网页内容，去除格式后提取纯文本，并将其分割成每段 1000 字符的文档。
• 使用 OpenAI 的嵌入 API，基于 “text-embedding-ada-002” 模型为每个文档生成嵌入向量。
• 将这些嵌入向量连同文档文本和源 URL 一起存储到 Supabase 的 PostgreSQL 表中，该表包含三列：文档文本、源 URL 和来自 OpenAI API 的嵌入向量。

回答查询

• 根据用户输入的提示生成一个嵌入向量。
• 使用该向量在向量数据库中执行相似度搜索。
• 将搜索结果用于构造 GPT-3.5 或 GPT-4 的提示词。
• 最后，将 GPT 的响应流式传输给用户。

快速开始

以下设置指南假定您至少具备使用 React 和 Next.js 开发 Web 应用的基本经验。虽然熟悉 OpenAI API 和 Supabase 会有所帮助，但并非运行本项目所必需。

设置 Supabase

• 访问 https://app.supabase.com/sign-in 创建 Supabase 账号和项目。注意：Supabase 对 pgvector 的支持相对较新（2023 年 2 月），因此如果您之前的项目是在此之前创建的，请务必新建一个项目。
• 首先启用 Vector 扩展。在 Supabase 管理面板中，依次进入 Database → Extensions 即可完成；或者直接在 SQL 编辑器中执行以下命令：

  create extension vector;
  

• 接下来创建一个用于存储文档及其嵌入向量的表。切换到 SQL 编辑器，运行以下 SQL 语句：

  create table documents (
    id bigserial primary key,
    content text,
    url text,
    embedding vector (1536)
  );
  

• 最后，创建一个用于执行相似度搜索的函数。继续在 SQL 编辑器中运行以下代码：

  create or replace function match_documents (
    query_embedding vector(1536),
    similarity_threshold float,
    match_count int
  )
  returns table (
    id bigint,
    content text,
    url text,
    similarity float
  )
  language plpgsql
  as $$
  begin
    return query
    select
      documents.id,
      documents.content,
      documents.url,
      1 - (documents.embedding <=> query_embedding) as similarity
    from documents
    where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
    order by documents.embedding <=> query_embedding
    limit match_count;
  end;
  $$;
  

设置本地环境

• 克隆仓库：gh repo clone gannonh/chatgpt-pgvector
• 在您喜欢的编辑器中打开项目（以下以 Mac 上的 VS Code 为例）：

  cd chatgpt-pgvector
  code .
  

• 安装依赖项：

  npm install
  

• 在项目根目录下创建 .env.local 文件以存储环境变量：

  cp .env.local.example .env.local
  

• 打开 .env.local 文件，填入您的 Supabase 项目 URL 和 API 密钥。您可以在 Supabase 管理面板的 Project → API 中找到这些信息。API 密钥应存入 SUPABASE_ANON_KEY 变量，项目 URL 则存入 NEXT_PUBLIC_SUPABASE_URL。
• 将您的 OpenAI API 密钥添加到 .env.local 文件中。您可以在 OpenAI 网站的 API Keys 页面找到该密钥。请将其存入 OPENAI_API_KEY 变量。
• [可选] 您可以设置 OPENAI_PROXY 环境变量来指定自定义的 OpenAI API 代理服务器。若留空，则直接调用官方 API。
• [可选] 您还可以设置 SPLASH_URL 环境变量来使用 Splash API。Splash 是一种 JavaScript 渲染服务，它是一个轻量级的 Web 浏览器，提供基于 HTTP 的 API，采用 Python 3 结合 Twisted 和 QT5 实现。若留空，则直接抓取目标 URL。
• 启动应用：

  npm run dev
  

• 打开浏览器访问 http://localhost:3000，即可查看应用界面。

chatgpt-pgvector 快速上手指南

本指南帮助中国开发者快速部署基于 Supabase pgvector 和 OpenAI 的领域专用聊天应用。该工具通过向量搜索解决通用大模型在特定领域知识缺失及“幻觉”问题。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：macOS, Linux 或 Windows (WSL2 推荐)
• Node.js：建议版本 v16+ (需包含 npm)
• 代码编辑器：VS Code 或其他常用编辑器
• 账号准备：
  • Supabase 账号：需创建新项目（2023 年 2 月后创建的项目才默认支持 pgvector）。
  • OpenAI 账号：需拥有有效的 API Key。
• 网络环境：由于涉及访问 OpenAI 和 Supabase 服务，国内开发者可能需要配置科学上网环境，或在 .env.local 中配置自定义代理 (OPENAI_PROXY)。

安装步骤

1. 克隆项目与安装依赖

打开终端，执行以下命令克隆仓库并安装依赖：

gh repo clone gannonh/chatgpt-pgvector
cd chatgpt-pgvector
npm install

提示：如果 gh 命令不可用，可使用 git clone https://github.com/gannonh/chatgpt-pgvector.git 替代。若 npm 下载缓慢，可临时切换至国内镜像源（如淘宝镜像）： npm config set registry https://registry.npmmirror.com

2. 配置 Supabase 数据库

登录 Supabase Console，进入您的项目，依次执行以下 SQL 操作：

1. 启用 Vector 扩展： 在 Database -> Extensions 中搜索并启用 vector，或在 SQL Editor 中运行：

   create extension vector;
   

2. 创建文档存储表： 在 SQL Editor 中运行以下语句创建 documents 表：

   create table documents (
     id bigserial primary key,
     content text,
     url text,
     embedding vector (1536)
   );
   

3. 创建相似度搜索函数： 在 SQL Editor 中运行以下语句创建 match_documents 函数：

   create or replace function match_documents (
     query_embedding vector(1536),
     similarity_threshold float,
     match_count int
   )
   returns table (
     id bigint,
     content text,
     url text,
     similarity float
   )
   language plpgsql
   as $$
   begin
     return query
     select
       documents.id,
       documents.content,
       documents.url,
       1 - (documents.embedding <=> query_embedding) as similarity
     from documents
     where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
     order by documents.embedding <=> query_embedding
     limit match_count;
   end;
   $$;
   

3. 配置本地环境变量

在项目根目录复制环境变量模板文件：

cp .env.local.example .env.local

编辑 .env.local 文件，填入以下关键信息：

• NEXT_PUBLIC_SUPABASE_URL: 您的 Supabase 项目 URL (在 Project -> API 中获取)。
• SUPABASE_ANON_KEY: 您的 Supabase anon/public key (在 Project -> API 中获取)。
• OPENAI_API_KEY: 您的 OpenAI API Key。
• (可选) OPENAI_PROXY: 如果您有自定义的 OpenAI 代理地址，在此填写；否则留空直接调用官方 API。
• (可选) SPLASH_URL: 如果需要渲染 JavaScript 页面，可配置 Splash 服务地址；否则留空。

基本使用

完成上述配置后，即可启动应用并进行测试。

1. 启动开发服务器： 在终端运行：

   npm run dev
   

2. 访问应用： 打开浏览器访问 http://localhost:3000。

3. 工作流程说明：

   • 数据导入：应用会自动抓取网页内容，将其分割为 1000 字符的片段，调用 OpenAI text-embedding-ada-002 模型生成向量，并存入 Supabase。
   • 对话查询：用户在界面输入问题时，系统会将问题转化为向量，在数据库中检索最相似的文档片段，并将这些片段作为上下文构建 Prompt 发送给 GPT-3.5/4，最终将流式回答返回给用户。

现在您可以尝试在对话框中输入与您存入文档领域相关的问题，体验基于私有知识库的精准问答。