chatglm-openai-api

为 ChatGLM-6B/ChatGLM2-6B 和中文 Embeddings Model（嵌入模型）提供 OpenAI 风格 API（应用程序编程接口）

更新历史

• 2023-04-26：支持 FreedomIntelligence/phoenix-inst-chat-7b 模型
  • 使用 --llm_model phoenix-inst-chat-7b/phoenix-inst-chat-7b-int4 加载

注意事项

• 模型托管在 Hugging Face（模型社区）上，需要良好的国际互联网访问体验。
• 默认运行在 GPU（图形处理器） + CUDA（统一计算设备架构）上。

在 Colab（云端笔记本环境）中运行

# 必须首先选择运行时为 GPU 运行时
!git clone https://github.com/ninehills/chatglm-openai-api.git
!cd chatglm-openai-api && cp config.toml.example config.toml
!cd chatglm-openai-api && pip install -r requirements.txt
!cd chatglm-openai-api && python3 main.py --llm_model="chatglm2-6b-int4" --tunnel=ngrok --port 8100

高级功能

1. 从本地加载

在 config.toml 中，配置模型的 path 为本地目录即可

    [models.llm."chatglm-6b-int4"]
    type = "chatglm"
    path = "{checkpoint_path}"

2. 多卡运行推理

使用 CUDA_VISIBLE_DEVICES 环境变量，选择运行的 GPU 卡号，并设定运行的 GPU 数量（目前仅对 LLM Model（大型语言模型）有效），例如：

CUDA_VISIBLE_DEVICES=0,1 python main.py --port 8080 --llm_model chatglm-6b-int4 --tunnel ngrok --gpus 2

本地运行（ngrok（内网穿透工具）隧道，测试用）

注：ngrok 隧道在未付费的时候无法使用自定义域名，只能使用动态域名，仅用来演示
ngrok 的 token（令牌）和 subdomain（子域名），请在 config.toml 中配置

# 首先初始化虚拟环境
python3 -m venv .venv
source .venv/bin/activate

# 安装依赖
pip install -r requirements.txt

# 复制配置文件
cp config.toml.example config.toml

# 使用 CUDA_VISIBLE_DEVICES 选择运行的 GPU
# llm_model 支持 chatglm-6b、chatglm-6b-int8、chatglm-6b-int4，占用显存从高到低。
CUDA_VISIBLE_DEVICES=0 python main.py --port 8080 --llm_model chatglm-6b-int4 --tunnel ngrok

# 如果想同时包含 Embedding Model，可以使用 --embeddings_model 参数
CUDA_VISIBLE_DEVICES=0 python main.py --port 8080 --llm_model chatglm-6b-int4 --embeddings_model text2vec-large-chinese --tunnel ngrok

# 如果想让 API 一直运行，可以使用 nohup
CUDA_VISIBLE_DEVICES=0 nohup python main.py <args> > nohup.out 2>&1 &

运行后，访问显示的 ngrok 隧道地址，即可使用 API，默认输出 {"hello": "world"}，该 API 和 OpenAI API 一致。

# https://platform.openai.com/docs/api-reference/chat/create
export CHATGLM_API_KEY=token1   # API key 配置在 config.toml 中
curl https://<your domain>/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $CHATGLM_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

本地运行（Cloudflare（网络服务提供商）隧道，推荐）

前提：需要你已经在 cloudflare 上绑定了域名，且已经配置好了 DNS（域名系统）解析

首先安装 cloudflare tunnel

# https://developers.cloudflare.com/cloudflare-one/connections/connect-apps/install-and-setup/tunnel-guide/local/

# 假如 cloudflared 已经安装，路径为 `.cloudflared`
# 首先登录 cloudflare
./cloudflared tunnel login
# 此处需要选择 tunnel 绑定的域名
./cloudflared tunnel create chatglm-openai-api
# 将 tunnel 和你的自定义域名的自域名绑定，这里的 chatglm-openai-api.ninehills.tech 就是你选择的自域名，后续访问这个域名。
./cloudflared tunnel route dns chatglm-openai-api chatglm-openai-api.ninehills.tech

然后运行 API

CUDA_VISIBLE_DEVICES=0 python main.py --port 8080 --llm_model chatglm-6b-int4 --embeddings_model text2vec-large-chinese --tunnel cloudflare

这样，你访问 https://chatglm-openai-api.ninehills.tech 就可以使用 API 了。

常见客户端配置

OpenCat

Chatbot-UI

1. Fork（代码库分支）https://github.com/ninehills/chatbot-ui（去掉了系统 Prompt（提示词））到你的仓库
2. 注册 https://vercel.com/ 账号
3. Add new - Project - Import Git Repository（代码仓库） 选择你 Fork 的仓库
4. 在环境变量部分，填写
   • OPENAI_API_KEY=token1，token1 为你的 API key
   • OPENAI_API_HOST=https://chatglm-openai-api.ninehills.tech，chatglm-openai-api.ninehills.tech 为你的域名
   • 
5. 点击 Deploy（部署） 部署
6. 等待部署完成后，点击 Visit（访问），即可使用。

chatglm-openai-api 快速上手指南

为 ChatGLM-6B/ChatGLM2-6B 及中文 Embedding 模型提供 OpenAI 风格的 API 接口。

环境准备

• 系统要求：Linux / macOS / Windows (WSL)
• 硬件要求：GPU + CUDA 环境（默认运行在 GPU 上）
• 网络要求：模型托管在 HuggingFace，需要良好的国际互联网访问体验
• 软件依赖：Python 3

安装步骤

1. 克隆项目

   git clone https://github.com/ninehills/chatglm-openai-api.git
   cd chatglm-openai-api
   

2. 创建虚拟环境

   python3 -m venv .venv
   source .venv/bin/activate
   

3. 安装依赖

   pip install -r requirements.txt
   

4. 配置初始化

   cp config.toml.example config.toml
   

   注：如需配置 API Key 或 Ngrok Token，请编辑 config.toml 文件。

基本使用

1. 启动服务 以下命令使用 chatglm-6b-int4 模型（显存占用较低），并通过 ngrok 隧道暴露接口（适用于测试）：

   CUDA_VISIBLE_DEVICES=0 python main.py --port 8080 --llm_model chatglm-6b-int4 --tunnel ngrok
   

   支持模型：chatglm-6b、chatglm-6b-int8、chatglm-6b-int4（占用显存从高到低）。 如需同时启用 Embedding 模型，可添加参数 --embeddings_model text2vec-large-chinese。

2. 测试 API 运行后获取 ngrok 隧道地址，使用以下命令测试（默认 API Key 为 token1）：

   export CHATGLM_API_KEY=token1
   curl https://<your domain>/v1/chat/completions \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer $CHATGLM_API_KEY" \
     -d '{
       "model": "gpt-3.5-turbo",
       "messages": [{"role": "user", "content": "Hello!"}]
     }'
   

3. 后台运行（可选） 如需让 API 持续运行，可使用 nohup：

   CUDA_VISIBLE_DEVICES=0 nohup python main.py <args> > nohup.out 2>&1 &