openplayground

一个你可以在笔记本电脑上运行的大型语言模型 playground。

https://user-images.githubusercontent.com/111631/227399583-39b23f48-9823-4571-a906-985dbe282b20.mp4

特性

• 可以使用来自 OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha、Replicate、Banana 和 llama.cpp 的任何模型。
• 完整的 playground UI，包括历史记录、参数调优、快捷键和 logprops。
• 使用相同的提示并排比较不同模型，单独调整模型参数，并尝试不同的参数设置。
• 自动检测 HuggingFace 缓存中的本地模型，并允许你安装新模型。
• 在手机上也能正常工作。
• 大概率不会造成灾难性后果。

在 nat.dev 上试用

体验托管版本：nat.dev。

如何安装和运行

pip install openplayground
openplayground run

或者，也可以通过 Docker 容器运行：

docker run --name openplayground -p 5432:5432 -d --volume openplayground:/web/config natorg/openplayground

这会启动一个 Flask 进程，因此你可以添加常用的标志，例如设置不同的端口 openplayground run -p 1235 等。

开发环境运行方式

git clone https://github.com/nat/openplayground
cd app && npm install && npx parcel watch src/index.html --no-cache
cd server && pip3 install -r requirements.txt && cd .. && python3 -m server.app

Docker 构建与运行

docker build . --tag "openplayground"
docker run --name openplayground -p 5432:5432 -d --volume openplayground:/web/config openplayground

第一个卷挂载是可选的，用于存储 API 密钥和模型设置。

贡献建议

• 在 playground 中添加 token 计数器。
• 在 playground 和对比页面中添加成本计数器。
• 测量并显示生成第一个 token 所需的时间。
• 使用 GitHub Actions 设置自动构建流程。
• 每个模型的默认参数配置在 server/models.json 文件中。如果你发现某个模型有更好的默认参数，请提交 pull request！
• 有人可以帮助我们制作 homebrew 包和 Dockerfile。
• 提供更简便的方式，直接从 openplayground 安装开源模型，例如使用 openplayground install <model> 命令或通过 UI。
• 发现并修复 bug。
• ChatGPT 风格的 UI，支持逐轮对话、Markdown 渲染以及 ChatGPT 插件等。
• 我们可能在 2023 年某个时候需要多模态输入和输出功能。

llama.cpp

向 openplayground 添加模型

在 openplayground 中，模型和提供商分为三类：

• 可搜索
• 本地推理
• API

你可以在 server/models.json 文件中按照以下模式添加模型：

本地推理

对于在你的设备上本地运行的模型，可以按如下方式添加到 openplayground（最小示例）：

"llama": {
    "api_key" : false,
    "models" : {
        "llama-70b": {
            "parameters": {
                "temperature": {
                    "value": 0.5,
                    "range": [
                        0.1,
                        1.0
                    ]
                },
            }
        }
    }
}

请注意，你需要在 server/app.py 中为你的模型添加生成方法。可以参考 local_text_generation() 作为示例。

API 提供商推理

适用于 OpenAI、Cohere、Forefront 等模型提供商。你可以轻松地将它们连接到 openplayground（最小示例）：

"cohere": {
    "api_key" : true,
    "models" : {
        "xlarge": {
            "parameters": {
                "temperature": {
                    "value": 0.5,
                    "range": [
                        0.1,
                        1.0
                    ]
                },
            }
        }
    }
}

同样，你需要在 server/app.py 中为你的模型添加生成方法。可以参考 openai_text_generation() 或 cohere_text_generation() 作为示例。

可搜索模型

我们将其用于 HuggingFace 的远程推理模型，搜索端点有助于在设置页面中扩展到 N 个模型。

"provider_name": {
    "api_key": true,
    "search": {
        "endpoint": "ENDPOINT_URL"
    },
    "parameters": {
        "parameter": {
            "value": 1.0,
            "range": [
                0.1,
                1.0
            ]
        },
    }
}

致谢

由 Nat Friedman 发起。最初由 Zain Huda 作为 repl.it 的奖励项目实现。许多功能和大规模重构由 Alex Lourenco 完成。

OpenPlayground 快速上手指南

OpenPlayground 是一款可在本地运行的轻量级大语言模型（LLM）游乐场，支持对比测试来自 OpenAI、Anthropic、HuggingFace、llama.cpp 等多种提供商的模型。

环境准备

• 操作系统：Windows、macOS 或 Linux（支持在笔记本电脑甚至手机上运行）。
• 运行环境：
  • Python 3.x（用于后端服务）
  • Node.js & npm（仅开发模式需要）
  • Docker（可选，用于容器化部署）
• 网络要求：访问外部模型 API（如 OpenAI、Cohere 等）需要稳定的网络连接。若使用本地模型（如 llama.cpp），需确保已下载对应模型文件至 HuggingFace 缓存目录。

安装步骤

你可以选择以下任意一种方式进行安装：

方式一：使用 Pip 安装（推荐）

这是最简便的安装方式，适合快速体验。

pip install openplayground

方式二：使用 Docker 运行

如果你偏好容器化环境，可以使用官方镜像：

docker run --name openplayground -p 5432:5432 -d --volume openplayground:/web/config natorg/openplayground

注：--volume 参数用于持久化存储 API Key 和模型配置，首次运行可省略，但建议保留以防配置丢失。

方式三：源码安装（开发模式）

如需修改源码或贡献代码，请克隆仓库并安装依赖：

git clone https://github.com/nat/openplayground
cd app && npm install && npx parcel watch src/index.html --no-cache
cd server && pip3 install -r requirements.txt && cd .. && python3 -m server.app

基本使用

安装完成后，启动服务即可在浏览器中访问界面。

1. 启动服务

Pip 用户：

openplayground run

提示：默认端口为 5432，如需修改端口可添加 -p 参数，例如 openplayground run -p 1235。

Docker 用户： 服务已在后台运行，无需额外命令。

2. 访问界面

打开浏览器访问： http://localhost:5432

3. 核心功能操作

• 选择模型：在左侧面板选择任意支持的模型（如 OpenAI 的 GPT 系列、本地的 llama.cpp 模型等）。如果是 API 模型，需在设置中输入对应的 API Key。
• 参数调优：针对选中的模型，调整 Temperature、Top P 等参数，实时观察输出变化。
• 模型对比：输入相同的 Prompt，添加多个模型进行侧边栏对比测试，评估不同模型的表现。
• 本地模型自动发现：工具会自动检测你 HuggingFace 缓存中的本地模型，无需手动配置即可直接调用。
• 历史记录：所有对话和生成记录会自动保存，方便回溯和重试。

现在，你可以在本地轻松探索和对比各种大语言模型了。