PostgreSQL + GPU，用于机器学习和人工智能应用。

| 文档 | 博客 | Discord |

---

为什么要在 PostgreSQL 中进行机器学习和人工智能？

机器学习与人工智能系统的数据规模通常比模型本身更大、更动态。将模型迁移到数据库中，而不是不断将数据传输到模型中，这种方式更加高效、易于管理且可靠。

• 开始使用
  • PostgresML 云服务
  • 自托管
  • 生态系统
• 大型语言模型
  • Hugging Face
  • OpenAI及其他提供商
• RAG
  • 分块
  • 嵌入
  • 排序
  • 转换
• 机器学习

架构

功能概览

• 数据库内机器学习/人工智能：直接在 PostgreSQL 中运行机器学习和人工智能任务
• GPU 加速：利用 GPU 提供的算力，实现更快的计算和模型推理
• 大型语言模型：集成并使用来自 Hugging Face 的最先进语言模型
• RAG 流程：内置函数用于文本分块、嵌入、排序和转换
• 向量搜索：通过 pgvector 集成实现高效的相似性搜索
• 多样化的机器学习算法：提供 47 种以上的分类和回归算法
• 高性能：相比基于 HTTP 的模型服务，推理速度提升 8 至 40 倍
• 可扩展性：支持每秒数百万笔事务，并可水平扩展
• 自然语言处理任务：具备广泛的自然语言处理能力
• 安全性：通过将模型与数据保存在一起，增强数据隐私
• 无缝集成：可与现有的 PostgreSQL 工具和客户端库协同工作

开始使用

使用 PostgresML 的唯一先决条件是安装了我们的开源 pgml 扩展的 PostgreSQL 数据库。

PostgresML 云服务

我们的无服务器云服务是入门最简单且推荐的方式。

注册免费的 PostgresML 账户。您将在几秒钟内获得一个免费数据库，同时享有 GPU 计算能力和最先进的语言模型。

自托管

如果您不想使用我们的云服务，也可以选择自托管。

docker run \
    -it \
    -v postgresml_data:/var/lib/postgresql \
    -p 5433:5432 \
    -p 8000:8000 \
    ghcr.io/postgresml/postgresml:2.10.0 \
    sudo -u postgresml psql -d postgresml

更多详细信息，请参阅我们的《Docker 快速入门》文档：[https://postgresml.org/docs/open-source/pgml/developers/quick-start-with-docker]。

生态系统

我们还开发了一系列专门用于与 PostgresML 配合使用的工具和库。请记住，PostgresML 是一个运行在 PostgreSQL 内部的扩展，因此您可以使用 psql 连接，并借助任何您喜爱的工具和客户端库（如 psycopg）来连接和执行查询。

PostgresML 特定的客户端库：

• Korvus：Korvus 是一个 Python、JavaScript、Rust 和 C 语言的搜索 SDK，可在单个数据库查询中统一整个 RAG 流程。
• postgresml-django：postgresml-django 是一个 Python 模块，用于将 PostgresML 与 Django ORM 集成。

推荐的 PostgreSQL 连接池：

• pgcat：pgcat 是一个支持分片、负载均衡和故障转移的 PostgreSQL 连接池。

大型语言模型

PostgresML 将模型直接部署到您的数据上，从而消除了昂贵且耗时的数据传输需求。这种方法显著提升了 AI 驱动应用的性能、安全性和可扩展性。

通过在数据库内运行模型，PostgresML 实现了以下优势：

• 降低延迟并提高查询性能
• 增强数据隐私和安全性
• 简化基础设施管理
• 与现有数据库操作无缝集成

Hugging Face

PostgresML 支持 Hugging Face 模型中心上提供的多种最先进的深度学习架构。这种集成使您能够：

• 访问数千个预训练模型
• 使用前沿的自然语言处理、计算机视觉和其他 AI 模型
• 轻松尝试不同的架构

OpenAI 及其他提供商

虽然云端的大型语言模型提供商能够提供强大的功能，但从数据库内部调用 API 可能会带来延迟、安全风险以及潜在的合规性问题。目前，PostgresML 尚不直接支持与 OpenAI 等远程 LLM 提供商的集成。

RAG

PostgresML 可以将您的 PostgreSQL 数据库转变为一个功能强大的向量数据库，适用于检索增强生成（RAG）应用。它利用 pgvector 实现高效的嵌入存储和检索。

我们的 RAG 实现基于四个关键的 SQL 函数：

1. 分块：将文本拆分为易于管理的片段
2. 嵌入：使用预训练模型生成文本的向量嵌入
3. 排序：对嵌入进行相似性搜索
4. 转换：应用语言模型进行文本生成或转换

有关如何使用 PostgresML 进行 RAG 的更多信息，请参阅我们的《统一 RAG》指南：[https://postgresml.org/docs/open-source/pgml/guides/unified-rag]。

分块

pgml.chunk 函数使用指定的分词器对文档进行分块。这通常在嵌入之前完成。

pgml.chunk(
    splitter TEXT,    -- 分词器名称
    text TEXT,        -- 要嵌入的文本
    kwargs JSON       -- 可选参数（见下文）
)

更多信息请参阅 pgml.chunk 文档。

嵌入

pgml.embed 函数使用数据库内的模型从文本中生成嵌入向量。

pgml.embed(
    transformer TEXT,
    "text" TEXT,
    kwargs JSONB
)

更多信息请参阅 pgml.embed 文档。

排序

pgml.rank 函数使用 交叉编码器 对句子对进行打分。

这通常用作搜索时的重新排序步骤。

pgml.rank(
    transformer TEXT,
    query TEXT,
    documents TEXT[],
    kwargs JSONB
)

文档即将发布。

转换

pgml.transform 函数可用于生成文本。

SELECT pgml.transform(
    task   => TEXT OR JSONB,     -- 流水线初始化参数
    inputs => TEXT[] OR BYTEA[], -- 推理输入
    args   => JSONB              -- （可选）流水线参数。
)

更多信息请参阅 pgml.transform 文档。

有关文本生成的指南，请参阅我们的 文本生成指南。

机器学习

部分亮点：

• 47+ 种分类和回归算法
• 推理速度比基于 HTTP 的模型服务快 8 至 40 倍
• 每秒处理数百万笔事务
• 水平可扩展性

训练分类模型

训练

SELECT * FROM pgml.train(
    '手写数字图像分类器',
    algorithm => 'xgboost',
    'classification',
    'pgml.digits',
    'target'
);

推理

SELECT pgml.predict(
    '我的分类项目',
    ARRAY[0.1, 2.0, 5.0]
) AS prediction;

自然语言处理

pgml.transform 函数公开了多种可用的自然语言处理任务。

可用的任务包括：

• 文本分类
• 零样本分类
• 标记分类
• 翻译
• 摘要生成
• 问答
• 文本生成
• 文本到文本生成
• 填空

PostgresML 快速上手指南

PostgresML 是一个强大的 PostgreSQL 扩展，旨在将机器学习（ML）和人工智能（AI）推理直接带入数据库内部。它支持 GPU 加速、大语言模型（LLM）集成以及完整的 RAG（检索增强生成）管道，让您无需移动数据即可在数据所在地执行复杂的 AI 操作。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐)、macOS 或 Windows (需通过 WSL2 或 Docker)。
• 容器运行时：推荐使用 Docker 进行快速部署（最简便方式）。
• 硬件要求：
  • 基础运行：标准 CPU 即可。
  • GPU 加速：若需高性能推理或训练大型模型，建议配备 NVIDIA GPU 并安装对应的 NVIDIA Container Toolkit。
• 客户端工具：已安装 psql 或任意支持 PostgreSQL 的客户端库（如 Python 的 psycopg、Node.js 驱动等）。

注意：目前国内暂无官方维护的专属镜像加速源，拉取 Docker 镜像时如遇网络问题，建议配置通用的 Docker 国内镜像加速器。

安装步骤

推荐使用 Docker 一键启动包含 PostgresML 扩展的数据库实例。

使用 Docker 快速启动

执行以下命令拉取镜像并启动容器。该命令将映射数据库端口（5433）和管理界面端口（8000），并持久化数据卷。

docker run \
    -it \
    -v postgresml_data:/var/lib/postgresql \
    -p 5433:5432 \
    -p 8000:8000 \
    ghcr.io/postgresml/postgresml:2.10.0 \
    sudo -u postgresml psql -d postgresml

启动成功后，您将直接进入 psql 交互界面。若需从外部连接，请使用以下信息：

• Host: localhost
• Port: 5433
• Database: postgresml
• User: postgresml

如需更复杂的自托管配置（如 Kubernetes 部署或源码编译），请参考官方 Docker 快速入门文档。

基本使用

PostgresML 的核心优势在于通过 SQL 函数直接调用 AI 能力。以下是三个最核心的使用场景。

1. 文本嵌入与向量搜索 (RAG 基础)

利用 pgml.embed 函数将文本转换为向量，并结合 pgvector 进行相似度搜索。

生成嵌入向量：

SELECT pgml.embed(
    'sentence-transformers/all-MiniLM-L6-v2', -- 模型名称
    'Hello, PostgresML!'                      -- 输入文本
) AS embedding;

2. 大语言模型推理 (Text Generation)

使用 pgml.transform 函数调用 Hugging Face 上的模型进行文本生成、摘要或翻译。

生成文本示例：

SELECT pgml.transform(
    task := 'text-generation',
    inputs := ARRAY['Once upon a time in the database,'],
    args := '{"max_new_tokens": 50}'::jsonb
) AS generated_text;

支持的 NLP 任务包括：文本分类、零样本分类、翻译、摘要、问答、掩码填充等。

3. 传统机器学习训练与预测

直接在数据库内训练分类或回归模型（支持 XGBoost 等 47+ 种算法）。

训练模型：

SELECT * FROM pgml.train(
    'Handwritten Digit Image Classifier', -- 项目名称
    algorithm => 'xgboost',               -- 算法
    task => 'classification',             -- 任务类型
    relation_name => 'pgml.digits',       -- 数据表
    y_column_name => 'target'             -- 目标列
);

进行预测：

SELECT pgml.predict(
    'Handwritten Digit Image Classifier', -- 项目名称
    ARRAY[0.1, 2.0, 5.0]                  -- 输入特征
) AS prediction;

生态集成提示

• Python 开发：推荐使用官方 SDK Korvus，它可以将整个 RAG 流程封装为单个数据库查询。
• Django 项目：可使用 postgresml-django 模块无缝集成 ORM。
• 连接池：高并发场景下推荐搭配 pgcat 使用。