Genoss GPT

一款由开源模型驱动、可替代 OpenAI ChatGPT 及 Embeddings 的单行代码解决方案

Genoss 是一项开创性的开源项目，旨在利用 GPT4ALL 等开源模型，为 OpenAI 的 GPT 3.5 和 4 等模型提供无缝替代方案。

该项目基于 Sicarator 自主开发。

功能特性

• 开源：Genoss 基于 GPT4ALL 等开源模型构建。
• 单行替换：Genoss 可以作为 OpenAI ChatGPT API 的单行替换方案。

演示

使用 GPT4ALL 进行聊天补全与嵌入

https://github.com/OpenGenenerativeAI/GenossGPT/assets/19614572/9cfd4f69-6396-4883-b94d-e94dd76663dc

支持的模型

• GPT4ALL 模型及嵌入
• 更多模型即将推出！

快速入门

在开始之前，请确保您的机器上已安装 Python 3.11 或更高版本。

安装服务器

使用 pip（推荐）

:warning: 目前我们正处于预发布阶段。

pip install genoss

从本仓库安装最新版本

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main\#egg\=genoss

启动服务器

genoss-server
# 查看更多帮助信息
genoss-server --help

可通过 http://localhost:4321/docs 访问 API 文档。

模型安装

git clone --recurse-submodules git@github.com:nomic-ai/gpt4all.git

cd gpt4all/gpt4all-backend/

mkdir build && cd build

cmake ..
cmake --build . --parallel

cd ../../gpt4all-bindings/python
pip3 install -e .

运行应用

您需要安装 poetry 和有效的 Python 版本（3.11*）。

poetry install

如需完整的开发环境安装说明，请参阅 CONTRIBUTING.md。 如果您只想启动服务器，可以使用相应的 poetry 组进行安装：

poetry install --only main,llms

Python 包安装完成后，即可运行应用。您可以使用 Uvicorn ASGI 服务器来运行应用程序：

uvicorn main:app --host 0.0.0.0 --port 4321

此命令将在您机器的 4321 端口上启动 Genoss 应用程序。

运行 Web 应用演示

在 demo/ 目录下：

cp .env.example .env

替换其中的值后，执行：

PYTHONPATH=. streamlit run demo/main.py

Genoss API 使用

Genoss API 是 OpenAI ChatGPT API 的单行替换方案。它支持相同的参数，并返回与 OpenAI API 相同的响应格式。

只需将 OpenAI API 的端点替换为 Genoss API 的端点，即可开始使用！

同时，请将模型配置调整为支持的模型列表，即可顺利运行！

API 文档可在 /docs 或 /redoc 页面查看。

未来规划

尽管目前仅支持 GPT4ALL 模型，但我们计划在未来添加更多模型。敬请期待更多精彩更新！

愿景目标：

• 支持本地运行 LLM 模型
• 支持通过 HuggingFace 在本地运行 LLM
• 支持在 HuggingFace 上运行 LLM，并仅作为推理 API 的封装层
• 实现 LLM 模型的便捷本地安装
• 允许用户使用 GCP、AWS、Azure 等云服务提供商的解决方案
• 提供 API 密钥管理功能
• 提供各类模型供使用（文本到文本、文本到图像、文本到音频、音频到文本等）
• 对兼容 OpenAI API 的模型实现与 OpenAI API 的兼容性

历史沿革

Genoss 的灵感来源于 Stan Girard，当时他在开发 Quivr 的某个功能时，发现该功能过于庞大且复杂，难以维护。

于是他萌生了创建一个简单 API 的想法，使任何模型都能使用与 OpenAI ChatGPT API 相同的接口。

随后，@mattzcarey、@MaximeThoonsen、@Wirg 和 @StanGirard 共同参与开发，最终使这一设想成为现实。

贡献

我们非常欢迎您的贡献！欢迎提交任何问题或拉取请求。

特别感谢以下各位：

赞助商 ❤️

没有赞助商的支持，本项目将无法实现。感谢您的支持！

许可证

Genoss 采用 Apache2 许可证授权。更多详情请参阅 LICENSE 文件。

GenossGPT 快速上手指南

GenossGPT 是一个开源项目，旨在提供 OpenAI ChatGPT 和 Embeddings API 的无缝替代方案。它允许你使用本地运行的开源模型（如 GPT4ALL），并通过兼容 OpenAI 的 API 接口进行调用，只需修改一行代码即可切换后端。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.11 或更高版本（必须）
• 构建工具（如需从源码编译模型后端）：cmake, git
• 包管理工具：pip (推荐) 或 poetry (用于开发)

提示：国内用户建议在安装 Python 依赖时使用清华或阿里镜像源加速下载： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 安装 Genoss 服务端

目前项目处于预发布阶段，推荐使用 pip 安装：

pip install genoss

或者安装最新的仓库版本：

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main#egg=genoss

2. 安装模型后端 (GPT4ALL)

GenossGPT 目前主要支持 GPT4ALL 模型。你需要手动编译并安装其 Python 绑定：

1. 克隆仓库：

   git clone --recurse-submodules git@github.com:nomic-ai/gpt4all.git
   

2. 编译后端库：

   cd gpt4all/gpt4all-backend/
   mkdir build && cd build
   cmake ..
   cmake --build . --parallel
   

   确认 gpt4all-backend/build 目录下存在 libllmodel.* 文件。

3. 安装 Python 包：

   cd ../../gpt4all-bindings/python
   pip3 install -e .
   

4. 下载模型文件： 从 官方链接 下载模型文件，并将其重命名为 ggml-gpt4all-j-v1.3-groovy.bin 放入项目根目录下的 local_models 文件夹中。

基本使用

启动服务

安装完成后，直接在终端运行以下命令启动服务器：

genoss-server

服务默认运行在 http://localhost:4321。你可以访问 http://localhost:4321/docs 查看完整的 API 文档。

(开发者模式也可通过 uvicorn 启动：uvicorn main:app --host 0.0.0.0 --port 4321)

代码调用示例

GenossGPT 完全兼容 OpenAI Python SDK。你只需将 base_url 指向本地服务，并将 model 名称改为支持的开源模型名称即可。

from openai import OpenAI

# 初始化客户端，指向本地 Genoss 服务
client = OpenAI(
    base_url="http://localhost:4321/v1",
    api_key="not-needed" # 本地运行通常不需要真实的 API Key
)

# 调用聊天完成接口
response = client.chat.completions.create(
    model="gpt4all-j", # 使用已安装的本地模型名称
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "你好，请介绍一下 GenossGPT。"}
    ]
)

print(response.choices[0].message.content)

通过以上步骤，你即可在本地私有环境中运行大语言模型，并享受与 OpenAI API 相同的开发体验。