文档 • 更新日志 • Bug 报告 • 观看 Helicone 实际运行！（免费）

Helicone 是面向 AI 工程师的 AI 网关及 LLM 可观测性平台

• 🌐 AI 网关: 通过 OpenAI API，使用一个 API 密钥即可访问 100 多种 AI 模型，并提供智能路由和自动回退功能。2 分钟即可开始使用。
• 🔌 快速集成: 仅需一行代码，即可记录来自 OpenAI、Anthropic、LangChain、Gemini、Vercel AI SDK 等的全部请求，以及更多模型。查看完整列表。
• 📊 可观测性: 检查并调试代理、聊天机器人、文档处理流水线等的追踪记录和 会话。
• 📈 分析: 跟踪成本、延迟、质量等指标，并可通过一行代码导出至 PostHog，以创建自定义仪表盘。
• 🎮 游乐场: 在我们的 UI 中快速测试和迭代提示词、会话和追踪记录。
• 🧠 提示词管理: 使用生产数据对提示词进行 版本控制。无需更改代码，即可通过 AI 网关部署提示词。您的提示词始终处于您的控制之下，随时可访问。
• 🎛️ 微调: 可与我们的微调合作伙伴之一合作：OpenPipe 或 Autonomi（更多合作伙伴即将推出）。
• 🛡️ 企业级支持: 符合 SOC 2 和 GDPR 标准。

🎁 每月提供慷慨的 免费套餐（每月 1 万次请求）——无需信用卡！

快速入门 ⚡️

1. 请在此处注册以获取您的 API 密钥 这里，并在 helicone.ai/credits 充值。

2. 更新您代码中的 baseURL 并添加您的 API 密钥。

   import OpenAI from "openai";
   
   const client = new OpenAI({
     baseURL: "https://ai-gateway.helicone.ai",
     apiKey: process.env.HELICONE_API_KEY,
   });
   
   const response = await client.chat.completions.create({
     model: "gpt-4o-mini",  // claude-sonnet-4, gemini-2.0-flash 或其他任何来自 https://www.helicone.ai/models 的模型
     messages: [{ role: "user", content: "Hello!" }]
   });
   

3. 🎉 完成！您现在可以在 Helicone 查看日志，并通过一个 API 访问 100 多种模型。

开源 LLM 可观测性的自托管

Docker

Helicone 非常易于自托管和更新。要在本地开始使用，只需使用我们的 docker-compose 文件。

# 克隆仓库
git clone https://github.com/Helicone/helicone.git
cd docker
cp .env.example .env

# 启动服务
./helicone-compose.sh helicone up

Helm

对于企业级工作负载，我们还提供适用于生产的 Helm 图表。如需访问，请联系 enterprise@helicone.ai。

手动部署（不推荐）

不建议手动部署。请使用 Docker 或 Helm。如果您必须手动部署，请按照 此处 的说明操作。

架构

Helicone 由五个服务组成：

• Web: 前端平台（NextJS）
• Worker: 代理日志记录（Cloudflare Workers）
• Jawn: 专用服务器，用于收集和存储日志（Express + Tsoa）
• Supabase: 应用程序数据库和身份验证系统
• ClickHouse: 分析数据库
• Minio: 用于存储日志的对象存储。

集成 🔌

推理提供商

集成	支持	描述
AI 网关	JS/TS、Python、cURL	面向 100 多家提供商的统一 API，具备智能路由、自动回退和统一可观测性功能
异步日志记录（OpenLLMetry）	JS/TS、Python	针对多个 LLM 平台的异步日志记录
OpenAI	JS/TS、Python	推理提供商
Azure OpenAI	JS/TS、Python	推理提供商
Anthropic	JS/TS、Python	推理提供商
Ollama	JS/TS	在本地运行和使用大型语言模型
AWS Bedrock	JS/TS	推理提供商
Gemini API	JS/TS	推理提供商
Gemini Vertex AI	JS/TS	Google Cloud 的 Vertex AI 上的 Gemini 模型
Vercel AI	JS/TS	用于构建 AI 驱动应用的 AI SDK
Anyscale	JS/TS、Python	推理提供商
TogetherAI	JS/TS、Python	推理提供商
Hyperbolic	JS/TS、Python	推理提供商
Groq	JS/TS、Python	高性能模型
DeepInfra	JS/TS、Python	面向各类模型的无服务器 AI 推理
Fireworks AI	JS/TS、Python	面向开源 LLM 的快速推理 API

框架

框架	支持	描述
LangChain	JS/TS, Python	使用 AI Gateway 与 LangChain 实现统一的提供商接入
LlamaIndex	Python	用于构建由大语言模型驱动的数据应用的框架
LangGraph	Python	使用大语言模型构建有状态、多主体的应用
Vercel AI SDK	JS/TS	用于构建人工智能驱动应用的 AI SDK
Semantic Kernel	C#, Python	微软的人工智能编排框架
CrewAI	Python	用于编排角色扮演型 AI 代理的框架
ModelFusion	JS/TS	用于将 AI 模型集成到 JavaScript 和 TypeScript 应用程序中的抽象层
PostHog	JS/TS, Python, cURL	产品分析平台。构建自定义仪表板。
RAGAS	Python	针对检索增强生成的评估框架
Open WebUI	JS/TS	用于与本地大语言模型交互的 Web 界面
MetaGPT	YAML	多智能体框架
Open Devin	Docker	AI 软件工程师
Mem0 EmbedChain	Python	用于构建 RAG 应用的框架
Dify	无需代码	面向原生 AI 应用开发的 LLMOps 平台

此列表可能已过时。未找到您的提供商或框架？请查看我们文档中的最新集成：docs。如果仍未找到，请通过 help@helicone.ai 联系我们，申请新集成。

贡献

我们非常感谢我们的贡献者！我们热烈欢迎关于文档、集成、成本和功能请求方面的贡献。

如果您有关于如何让 Helicone 更好的想法，请创建一个 GitHub 问题。

许可证

Helicone 根据 Apache v2.0 许可证 授权。

其他资源

• LLM 成本 API：我们拥有最大的开源 API 定价数据库，包含 300 多种模型和提供商，如 OpenAI、Anthropic 等。从这里开始查询。

• 数据管理：使用我们的 API 管理并导出您的 Helicone 数据，或通过我们的 MCP 服务器 访问。

  • 指南：ETL、请求导出

• 数据所有权：了解 数据所有权与自主权

欲了解更多信息，请访问我们的 文档。

贡献者

Helicone 快速上手指南

Helicone 是一个面向 AI 工程师的开源 AI 网关与大语言模型（LLM）可观测性平台。它支持通过统一的 API 访问 100+ 种 AI 模型，提供智能路由、自动故障转移、成本追踪、延迟监控及 Prompt 管理等功能。

环境准备

在开始之前，请确保满足以下条件：

• 账号注册：访问 Helicone 官网 注册账号并获取 HELICONE_API_KEY。
• 开发环境：
  • Node.js (推荐 v18+) 或 Python 3.8+
  • 已安装项目依赖包（如 openai SDK）
• 网络环境：确保能够访问 https://ai-gateway.helicone.ai。
  • 注：目前官方未提供专属中国镜像源，如遇连接超时，建议配置全局代理或使用国内稳定的网络环境。

安装步骤

Helicone 主要作为云服务使用，无需复杂安装。若需本地自托管（Self-Hosting），请使用 Docker。

方式一：直接使用云服务（推荐）

无需安装服务器，只需在代码中配置即可。

方式二：Docker 自托管

适用于需要数据私有化部署的场景。

# 1. 克隆仓库
git clone https://github.com/Helicone/helicone.git
cd helicone/docker

# 2. 复制环境变量配置文件
cp .env.example .env

# 3. 启动服务
./helicone-compose.sh helicone up

注意：手动部署不推荐使用，生产环境建议使用 Docker 或联系企业版获取 Helm Chart。

基本使用

以下以 TypeScript/JavaScript 为例，展示如何通过修改 baseURL 将 OpenAI 请求接入 Helicone。其他语言（Python 等）逻辑相同。

1. 配置客户端

将 OpenAI 客户端的 baseURL 指向 Helicone 网关，并使用你的 Helicone API Key。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://ai-gateway.helicone.ai",
  apiKey: process.env.HELICONE_API_KEY, // 替换为你的 Helicone API Key
});

const response = await client.chat.completions.create({
  model: "gpt-4o-mini",  // 支持 claude-sonnet-4, gemini-2.0-flash 等 100+ 模型
  messages: [{ role: "user", content: "Hello!" }]
});

console.log(response.choices[0].message.content);

2. 查看监控

代码运行后，所有请求日志、成本、延迟及追踪信息将自动上报。

• 登录 Helicone Dashboard 即可查看实时数据。
• 免费套餐每月包含 10,000 次请求额度，无需绑定信用卡。

3. 进阶功能

• 多模型路由：在 Dashboard 中配置规则，自动在不同模型间切换或降级。
• Prompt 管理：在 UI 中版本化管理 Prompt，无需修改代码即可更新线上提示词。
• 框架集成：原生支持 LangChain, LlamaIndex, Vercel AI SDK 等主流框架，仅需一行代码即可开启异步日志记录。