LLM 网关

LLM 网关是一个面向大型语言模型（LLMs）的开源 API 网关。它充当您的应用程序与各类 LLM 提供商之间的中间件，使您能够：

• 将请求路由到多个 LLM 提供商（OpenAI、Anthropic、Google Vertex AI 等）
• 在一处集中管理不同提供商的 API 密钥
• 跟踪所有 LLM 交互中的 token 使用量和费用
• 分析性能指标以优化 LLM 的使用

功能特性

• 统一的 API 接口：兼容 OpenAI API 格式，实现无缝迁移
• 使用情况分析：跟踪请求数量、token 使用量、响应时间和费用
• 多提供商支持：通过单一网关连接到不同的 LLM 提供商
• 性能监控：比较不同模型的性能和成本效益

快速入门

您可以采用两种方式使用 LLM 网关：

• 托管版本：无需任何设置即可立即使用，请访问 llmgateway.io 创建账户并获取 API 密钥。
• 自托管：将 LLM 网关部署在您自己的基础设施上，以完全掌控数据和配置。

使用 Docker 自托管

对于统一镜像，请使用 Docker 管理的数据卷。请勿直接将主机目录挂载到 /var/lib/postgresql/data，因为容器内的 PostgreSQL 初始化需要对该目录设置权限，而这一过程可能会因主机文件系统及其所有权问题而失败。

export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
./scripts/run-unified-container.sh

如果您更倾向于一次性运行 docker run 命令，可以使用命名卷代替 ~/some-host-dir：

docker volume create llmgateway_postgres
docker volume create llmgateway_redis

docker run -d \
  --name llmgateway \
  --restart unless-stopped \
  -p 3002:3002 \
  -p 3003:3003 \
  -p 3005:3005 \
  -p 3006:3006 \
  -p 4001:4001 \
  -p 4002:4002 \
  -v llmgateway_postgres:/var/lib/postgresql/data \
  -v llmgateway_redis:/var/lib/redis \
  -e AUTH_SECRET="$LLM_GATEWAY_SECRET" \
  -e GATEWAY_API_KEY_HASH_SECRET="$GATEWAY_API_KEY_HASH_SECRET" \
  ghcr.io/theopenco/llmgateway-unified:latest

使用 LLM 网关 API

curl -X POST https://api.llmgateway.io/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" \
  -d '{
  "model": "gpt-4o",
  "messages": [
    {"role": "user", "content": "你好，最近怎么样？"}
  ]
}'

开发环境搭建

1. 安装依赖并设置开发环境：

   pnpm i && pnpm run setup
   

   此命令将安装所有依赖项、启动 Docker 服务、同步数据库模式并填充初始数据。

   WSL2 用户请注意：确保 Docker Desktop 已启用 WSL 集成并正在运行。

2. 启动开发服务器：

   pnpm dev
   

3. 构建生产环境：

   pnpm build
   

目录结构

• apps/ui：Next.js 控制面板前端
• apps/playground：Next.js LLM 实验平台
• apps/code：Next.js 开发计划及编码工具着陆页与控制面板
• apps/api：Hono 后端
• apps/gateway：用于路由 LLM 请求的 API 网关
• apps/docs：文档站点
• apps/admin：内部管理控制面板
• packages/db：Drizzle ORM 模式与迁移脚本
• packages/models：模型与提供商定义
• packages/shared：共享类型与工具

许可证

LLMGateway 采用双重许可证：

• 开源：核心功能基于 AGPLv3 许可证授权——详情请参阅 LICENSE 文件。
• 企业版：位于 ee/ 目录下的商业功能需要企业许可证——详情请参阅 ee/LICENSE 文件。

企业版功能包括：

• 高级计费与订阅管理
• 扩展的数据保留期限（无限制 vs 30 天）
• 自定义提供商密钥配置
• 团队与组织管理
• 优先支持
• 以及其他待定功能

如需企业版许可，请联系 contact@llmgateway.io。

LLM Gateway 快速上手指南

LLM Gateway 是一个开源的大语言模型（LLM）API 网关。它作为应用程序与各类 LLM 提供商（如 OpenAI、Anthropic、Google Vertex AI 等）之间的中间件，提供统一接口、密钥管理、用量追踪及性能分析功能。

环境准备

在自行部署前，请确保您的系统满足以下要求：

• 操作系统：Linux、macOS 或 Windows (需安装 WSL2)
• 核心依赖：
  • Docker & Docker Compose：用于容器化部署。
  • OpenSSL：用于生成安全密钥（大多数 Linux/macOS 系统默认自带）。
• 网络要求：确保服务器可以访问外部 LLM 提供商的 API 端点。
• WSL2 用户注意：如果您在 Windows 上使用 WSL2，请确保 Docker Desktop 已运行并启用了 WSL 集成。

提示：原文未提供特定的中国镜像源。如遇 Docker 拉取缓慢，建议配置国内通用的 Docker 镜像加速器（如阿里云、腾讯云等）后再执行安装命令。

安装步骤（自托管模式）

推荐使用 Docker 进行一键部署。为避免权限问题，请务必使用**命名卷（Named Volumes）**而非直接绑定主机目录。

1. 生成安全密钥

在终端中执行以下命令，生成必要的加密密钥：

export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"

2. 创建数据卷并启动容器

执行以下命令创建持久化存储卷并启动服务：

docker volume create llmgateway_postgres
docker volume create llmgateway_redis

docker run -d \
  --name llmgateway \
  --restart unless-stopped \
  -p 3002:3002 \
  -p 3003:3003 \
  -p 3005:3005 \
  -p 3006:3006 \
  -p 4001:4001 \
  -p 4002:4002 \
  -v llmgateway_postgres:/var/lib/postgresql/data \
  -v llmgateway_redis:/var/lib/redis \
  -e AUTH_SECRET="$LLM_GATEWAY_SECRET" \
  -e GATEWAY_API_KEY_HASH_SECRET="$GATEWAY_API_KEY_HASH_SECRET" \
  ghcr.io/theopenco/llmgateway-unified:latest

启动完成后，网关将在本地多个端口运行（如 3002 等），具体端口用途请参考官方文档或仪表盘。

基本使用

LLM Gateway 兼容 OpenAI API 格式，您可以无缝迁移现有的代码。只需将请求地址指向您的网关地址，并使用网关生成的 API Key。

调用示例

以下是一个使用 curl 调用网关的最简示例：

curl -X POST https://api.llmgateway.io/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" \
  -d '{
  "model": "gpt-4o",
  "messages": [
    {"role": "user", "content": "Hello, how are you?"}
  ]
}'

使用说明：

1. 将 $LLM_GATEWAY_API_KEY 替换为您在网关后台配置的实际 API Key。
2. 如果是自托管版本，请将 URL https://api.llmgateway.io 替换为您的服务器地址（例如 http://localhost:3002）。
3. model 字段填写您在网关中配置的路由模型名称。

---

注：如需立即体验而无需部署，可访问 llmgateway.io 使用托管版本。开发者若需二次开发，可克隆源码后运行 pnpm i && pnpm run setup 初始化环境。