Helicone AI Gateway

市场上速度最快、体积最轻、集成最简单的AI网关。

由Helicone团队打造，面向社区开源。

🚀 快速入门 • 📖 文档 • 💬 Discord • 🌐 官网

---

🚆 1个API，支持100+模型。

开源、轻量级，基于Rust构建。

以极低的延迟和最高的可靠性处理数百种模型及数百万次LLM请求。

LLM领域的NGINX。

---

👩🏻‍💻 几秒内即可部署

使用云端托管的AI网关

from openai import OpenAI

client = OpenAI(
  api_key="YOUR_HELICONE_API_KEY",
  base_url="https://ai-gateway.helicone.ai/ai",
)

completion = client.chat.completions.create(
  model="openai/gpt-4o-mini", # 或者其他100多种模型
  messages=[
    {
      "role": "user",
      "content": "你好，最近怎么样？"
    }
  ]
)

-- 如需自定义配置，请参阅我们的配置指南以及我们支持的提供商列表。

---

为什么选择Helicone AI Gateway？

🌐 统一接口

使用熟悉的OpenAI语法即可调用任何LLM提供商。无需重复编写集成代码——一个API即可对接OpenAI、Anthropic、Google、AWS Bedrock等20多家提供商。

⚡ 智能提供商选择

通过智能路由始终选择最快、最便宜或最可靠的选项，并实时掌握各提供商的可用性和您的速率限制。内置策略包括：基于模型延迟的路由（选择最快的模型）、基于提供商延迟的P2C + PeakEWMA（选择最快的提供商）、加权分配（根据模型权重）以及成本优化（选择最经济的选项）。

💰 控制支出

通过速率限制防止费用失控和滥用。可按用户、团队或全局设置限制，支持请求数、Token用量和金额三种方式。

🚀 提升性能

利用响应缓存将成本和延迟降低多达95%。支持Redis和S3后端，并具备智能缓存失效机制。

📊 简化追踪

借助内置的Helicone集成以及OpenTelemetry支持的日志、指标和追踪功能，轻松监控性能并排查问题。

☁️ 一键部署

您可以使用我们的云托管AI网关，也可以通过Docker或参考我们提供的部署指南在几秒钟内将其部署到自己的基础设施中。

https://github.com/user-attachments/assets/ed3a9bbe-1c4a-47c8-98ec-2bb4ff16be1f

---

⚡ 适用于生产环境的可扩展性

指标	Helicone AI Gateway	常规方案
P95延迟	<5ms	~60-100ms
内存占用	~64MB	~512MB
每秒请求数	~3,000	~500
二进制大小	~30MB	~200MB
冷启动时间	~100ms	~2s

注：详细基准测试方法和结果请参阅benchmarks/README.md。

---

🎥 演示视频

https://github.com/user-attachments/assets/dd6b6df1-0f5c-43d4-93b6-3cc751efb5e1

---

🏗️ 工作原理

┌─────────────────┐    ┌─────────────────┐    ┌─────────────────┐
│   您的应用程序  │───▶│ Helicone AI     │───▶│  LLM提供商      │
│                 │    │ 网关            │    │                 │
│ OpenAI SDK      │    │ • 负载均衡      │    │ • OpenAI        │
│ (任意语言)      │    │ • 速率限制      │    │ • Anthropic     │
│                 │    │ • 缓存          │    │ • AWS Bedrock   │
│                 │    │ • 追踪          │    │ • Google Vertex │
│                 │    │ • 回退机制      │    │ • 20+家其他    │
└─────────────────┘    └─────────────────┘    └─────────────────┘
                               │
                               ▼
                      ┌─────────────────┐
                      │ Helicone        │
                      │ 可观测性        │
                      │                 │
                      │ • 仪表盘        │
                      │ • 可观测性       │
                      │ • 监控          │
                      │ • 调试          │
                      └─────────────────┘

---

⚙️ 自定义配置

云托管路由器配置

对于云托管路由器，我们在UI中提供了一个配置向导，帮助您无需编写YAML即可完成路由器的设置。

如需了解完整的配置选项，请查阅我们的配置参考文档以及我们支持的提供商列表。

---

📚 迁移指南

从OpenAI（Python）迁移

from openai import OpenAI

client = OpenAI(
-   api_key=os.getenv("OPENAI_API_KEY")
+   api_key="placeholder-api-key" # 网关负责管理API密钥
+   base_url="http://localhost:8080/router/your-router-name"
)

response = client.chat.completions.create(
-    model="gpt-4o-mini",
+    model="openai/gpt-4o-mini", # 或者100多种模型
    messages=[{"role": "user", "content": "你好！"}]
)

从OpenAI（TypeScript）迁移

import { OpenAI } from "openai";

const client = new OpenAI({
-   apiKey: os.getenv("OPENAI_API_KEY")
+   apiKey: "placeholder-api-key", // 网关负责管理API密钥
+   baseURL: "http://localhost:8080/router/your-router-name",
});

const response = await client.chat.completions.create({
-  model: "gpt-4o",
+  model: "openai/gpt-4o",
  messages: [{ role: "user", content: "来自Helicone AI Gateway的问候！" }],
});

---

自行部署AI网关

如果您对延迟极其敏感，或者希望避免使用云服务而选择自行托管网关，那么这一选项可能最适合您。

在本地运行 AI 网关

1. 使用您的 PROVIDER_API_KEY 配置 .env 文件

OPENAI_API_KEY=your_openai_key
ANTHROPIC_API_KEY=your_anthropic_key

2. 在终端中本地运行

npx @helicone/ai-gateway@latest

3. 使用任何 OpenAI SDK 发送请求：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/ai",
    # 网关会处理 API 密钥，因此只有在启用身份验证时，才需要将此字段设置为有效的 Helicone API 密钥。
    api_key="placeholder-api-key"
)

# 通过同一接口路由到任何 LLM 提供商，其余工作由我们完成。
response = client.chat.completions.create(
    model="anthropic/claude-3-5-sonnet",  # 或其他 100 多种模型..
    messages=[{"role": "user", "content": "来自 Helicone AI 网关的问候！"}]
)

就是这样。 无需学习新的 SDK，也无需维护集成。功能齐全且开源。

-- 如需自定义配置，请参阅我们的配置指南以及我们支持的提供商列表。

自托管配置自定义

如果您正在自托管网关，并希望配置不同的路由策略，可以按照以下步骤操作：

1. 设置环境变量

将您的 PROVIDER_API_KEY 添加到 .env 文件中。

如果您希望启用身份验证，请同时设置 HELICONE_CONTROL_PLANE_API_KEY 变量。

OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=sk-ant-...
HELICONE_CONTROL_PLANE_API_KEY=sk-...

2. 自定义配置文件

注意：这是一个示例 config.yaml 文件。请参阅我们的配置指南，以获取完整的选项、示例和默认值。 请参阅我们的完整提供商列表。

helicone: # 请将您的 HELICONE_API_KEY 添加到 .env 文件中
  features: all

cache-store:
  type: in-memory

global: # 所有路由器的全局设置
  cache:
    directive: "max-age=3600, max-stale=1800"

routers:
  your-router-name: # 单个路由器配置
    load-balance:
      chat:
        strategy: model-latency
        models:
          - openai/gpt-4o-mini
          - anthropic/claude-3-7-sonnet
    rate-limit:
      per-api-key:
        capacity: 1000
        refill-frequency: 1m # 每分钟 1000 次请求

3. 使用自定义配置运行

npx @helicone/ai-gateway@latest --config config.yaml

4. 发送请求

from openai import OpenAI
import os

helicone_api_key = os.getenv("HELICONE_API_KEY")

client = OpenAI(
    base_url="http://localhost:8080/router/your-router-name",
    api_key=helicone_api_key
)

# 通过同一接口路由到任何 LLM 提供商，其余工作由我们完成。
response = client.chat.completions.create(
    model="anthropic/claude-3-5-sonnet",  # 或其他 100 多种模型..
    messages=[{"role": "user", "content": "来自 Helicone AI 网关的问候！"}]
)

有关自托管选项的完整指南，包括 Docker 部署、Kubernetes 和云平台，请参阅我们的部署指南。

---

📚 资源

文档

• 📖 完整文档 - 完整指南和 API 参考
• 🚀 快速入门指南 - 1 分钟内即可上手
• 🔬 高级配置 - 配置参考与示例

社区

• 💬 Discord 服务器 - 我们的热情 AI 工程师社区
• 🐙 GitHub 讨论 - 问答与功能请求
• 🐦 Twitter - 最新动态与公告
• 📧 邮件列表 - 部署 AI 应用程序的技巧与窍门

支持

• 🎫 报告问题：Github 问题
• 💼 企业支持：与我们的团队预约探索性会议

---

📄 许可证

Helicone AI 网关采用 Apache 许可证 许可，详情请参阅该文件。

---

由 Helicone 用心打造。

官网 • 文档 • Twitter • Discord

Helicone AI Gateway 快速上手指南

Helicone AI Gateway 是一款基于 Rust 构建的开源、轻量级 AI 网关。它被称为"LLM 界的 Nginx"，支持通过统一的 OpenAI 接口调用 100+ 种大模型（包括 OpenAI、Anthropic、Google、AWS Bedrock 等），并提供智能路由、速率限制、缓存和可观测性功能。

环境准备

• 操作系统：Linux, macOS, Windows (WSL 推荐)
• 前置依赖：
  • Node.js (版本 18 或更高，用于运行 npx 命令)
  • 或者 Docker (用于容器化部署)
• API Keys：准备好你需要使用的 LLM 提供商密钥（如 OPENAI_API_KEY, ANTHROPIC_API_KEY 等）。

安装步骤

你可以选择直接在本地运行（最快）或使用 Docker 部署。

方式一：使用 npx 直接运行（推荐用于快速测试）

无需手动下载二进制文件，直接使用 npm 包运行：

npx @helicone/ai-gateway@latest

方式二：使用 Docker 部署

docker run -d \
  -p 8080:8080 \
  -e OPENAI_API_KEY=your_openai_key \
  -e ANTHROPIC_API_KEY=your_anthropic_key \
  helicone/ai-gateway

注意：请将 your_openai_key 等替换为你真实的 API Key。也可以通过挂载 .env 文件来管理密钥。

基本使用

启动网关后，它默认监听在 http://localhost:8080。你只需修改现有代码中的 base_url 和 api_key，即可通过统一接口调用不同厂商的模型。

1. 配置环境变量

在运行网关前，确保终端中已导出所需的提供商密钥：

export OPENAI_API_KEY=sk-...
export ANTHROPIC_API_KEY=sk-ant-...

2. Python 使用示例

只需更改 base_url 指向网关地址，并在 model 参数中指定 提供商/模型名 格式。

from openai import OpenAI

client = OpenAI(
    # 指向本地运行的 Helicone Gateway
    base_url="http://localhost:8080/ai",
    # 网关会处理实际的 API Key 转发，此处可设为占位符或你的 Helicone Key
    api_key="placeholder-api-key"
)

# 调用 Anthropic 的 Claude 模型 (通过统一接口)
response = client.chat.completions.create(
    model="anthropic/claude-3-5-sonnet", 
    messages=[{"role": "user", "content": "Hello from Helicone AI Gateway!"}]
)

print(response.choices[0].message.content)

3. TypeScript/Node.js 使用示例

import { OpenAI } from "openai";

const client = new OpenAI({
  baseURL: "http://localhost:8080/ai",
  apiKey: "placeholder-api-key", 
});

const response = await client.chat.completions.create({
  // 调用 OpenAI 的 GPT-4o 模型
  model: "openai/gpt-4o",
  messages: [{ role: "user", content: "Hello from Helicone AI Gateway!" }],
});

console.log(response.choices[0].message.content);

核心特性速览

• 统一接口：无需为不同厂商更换 SDK，所有模型均通过 OpenAI 格式调用。
• 模型命名规范：格式为 provider/model-name (例如 openai/gpt-4o-mini, google/gemini-pro)。
• 零代码侵入：除了修改初始化配置外，业务逻辑代码无需变动。

如需配置智能路由、缓存策略或速率限制，可创建 config.yaml 文件并通过 --config config.yaml 参数启动网关。详细配置请参考官方文档。