注意： 我们已暂时停止 OpenPipe 开源版本的开发，以集成一些专有的第三方代码。一旦我们有精力这样做，我们希望在开源核心（open core）模式下再次将仓库的非专有部分开放！

OpenPipe

开源微调（fine-tuning）和模型托管平台。

演示 - 本地运行 - 文档

使用强大但昂贵的大语言模型（LLMs）来微调更小、更便宜的模型，以满足您的确切需求。查询过去的请求并相互评估模型。只需一行代码即可在 OpenAI 和微调模型之间切换。

功能特性

• 轻松集成 OpenAI 的软件开发工具包（SDK），支持 Python 和 TypeScript。
  • Python SDK
  • TypeScript SDK
• 兼容 OpenAI 的聊天补全（chat completions）端点。
• 微调 GPT 3.5、Mistral 和 Llama 2 模型。在平台上托管或下载权重（weights）。
  • 模型输出兼容 OpenAI 格式。
  • 从 GPT 4 切换到微调后的 Mistral 模型只需更改模型名称。
• 使用强大的内置过滤器查询日志。
• 导入兼容 OpenAI 格式的 JSONL 文件数据集。
• 修剪大量重复文本，如系统提示（system prompts）。
• 与基础模型（base models）（如 gpt-3.5-turbo）对比输出准确性。

支持的基础模型

• mistralai/Mixtral-8x7B-Instruct-v0.1
• OpenPipe/mistral-ft-optimized-1227
• meta-llama/Llama-3-8B
• meta-llama/Llama-3-70B
• gpt-3.5-turbo-0613
• gpt-3.5-turbo-1106
• gpt-3.5-turbo-0125

文档

• 查看 文档

本地运行

1. 安装 Postgresql 数据库。
2. 安装 NodeJS 20 环境（早期版本很可能也能工作，但未经测试）。
3. 安装 pnpm 包管理器：npm i -g pnpm
4. 克隆此仓库：git clone https://github.com/openpipe/openpipe
5. 安装依赖：cd openpipe && pnpm install
6. 创建 .env 文件（cd app && cp .env.example .env）并输入您的 OPENAI_API_KEY。
7. 如果您刚安装 postgres 并希望使用默认的 DATABASE_URL，请运行以下命令：

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD 'postgres';
ALTER ROLE postgres SUPERUSER;

8. 如有必要，更新 DATABASE_URL 以指向您的 Postgres 实例，并在 app 目录中运行 pnpm prisma migrate dev 以创建数据库。
9. 创建一个 GitHub OAuth 应用，将回调 URL 设置为 <your local instance>/api/auth/callback/github，例如 http://localhost:3000/api/auth/callback/github。
10. 使用 Github OAuth 应用中的值更新 GITHUB_CLIENT_ID 和 GITHUB_CLIENT_SECRET（注意：如果在本地运行时使身份验证可选，将是一个很好的拉取请求（PR）贡献！）。
11. 要启动应用，请在 app 目录中运行 pnpm dev。
12. 导航至 http://localhost:3000

本地使用

import os
from openpipe import OpenAI

client = OpenAI(
    api_key="Your API Key",
    openpipe={
        "api_key": "Your OpenPipe API Key",
        "base_url": "http://localhost:3000/api/v1", # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "system", "content": "count to 10"}],
    openpipe={
        "tags": {"prompt_id": "counting"},
        "log_request": True
    },
)

本地测试

1. 将您的 .env 文件复制为 .env.test。
2. 更新 DATABASE_URL 使其具有与开发环境不同的数据库名称
3. 运行 DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. 运行 pnpm test

OpenPipe 快速上手指南

重要提示：OpenPipe 开源版本的开发已暂时停止，以便集成专有第三方代码。团队计划在带宽允许时，通过开放核心模型重新开放非专有部分。

OpenPipe 是一个开源的微调与模型托管平台，支持使用强大的 LLM 微调更小、更便宜的模型，并提供与 OpenAI 兼容的 API 接口。

环境准备

在开始之前，请确保您的系统已安装以下依赖：

• 数据库: PostgreSQL
• 运行时: NodeJS 20 (早期版本可能可用但未测试)
• 包管理器: pnpm
• 版本控制: Git
• 语言环境: Python (用于 SDK 调用)

安装 pnpm：

npm i -g pnpm

安装步骤

1. 克隆与依赖安装

git clone https://github.com/openpipe/openpipe
cd openpipe && pnpm install

2. 配置文件设置

进入 app 目录并创建环境变量文件：

cd app && cp .env.example .env

编辑 .env 文件，填入您的 OPENAI_API_KEY。

3. 数据库初始化

如果您刚安装 PostgreSQL 并希望使用默认配置，运行以下命令：

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD 'postgres';
ALTER ROLE postgres SUPERUSER;

更新 .env 中的 DATABASE_URL 指向您的 Postgres 实例，然后运行迁移：

pnpm prisma migrate dev

4. 配置 GitHub OAuth (本地运行必需)

1. 创建 GitHub OAuth App。
2. 设置回调 URL 为 <your local instance>/api/auth/callback/github (例如 http://localhost:3000/api/auth/callback/github)。
3. 将生成的 GITHUB_CLIENT_ID 和 GITHUB_CLIENT_SECRET 填入 .env 文件。

5. 启动服务

在 app 目录下运行：

pnpm dev

访问 http://localhost:3000 查看界面。

基本使用

1. 安装 SDK

支持 Python 和 TypeScript，此处以 Python 为例：

pip install openpipe

2. 调用示例

通过 OpenPipe 本地实例调用模型，支持记录请求日志和切换模型：

import os
from openpipe import OpenAI

client = OpenAI(
    api_key="Your API Key",
    openpipe={
        "api_key": "Your OpenPipe API Key",
        "base_url": "http://localhost:3000/api/v1", # 本地 OpenPipe 实例
    }
)

completion = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "system", "content": "count to 10"}],
    openpipe={
        "tags": {"prompt_id": "counting"},
        "log_request": True
    },
)

3. 支持的基础模型

平台支持微调及托管多种模型，包括但不限于：

• Mistral (Mixtral-8x7B-Instruct-v0.1 等)
• Llama 3 (8B, 70B)
• GPT-3.5 Turbo (多个版本)

模型输出与 OpenAI 兼容，切换模型仅需更改 model 参数名称。