TensorZero

TensorZero 是一个开源的 LLMOps 平台，它统一了以下功能：

• 网关： 通过统一的 API 访问所有 LLM 提供商，专为高性能设计（p99 延迟 <1ms）
• 可观测性： 将推理结果和反馈存储到您的数据库中，可通过编程接口或 UI 查看
• 评估： 使用启发式方法、LLM 评判员等对单个推理或端到端工作流进行基准测试
• 优化： 收集指标和人工反馈，以优化提示词、模型和推理策略
• 实验： 内置 A/B 测试、路由、回退机制、重试等功能，让您更自信地部署

您可以根据需求选择所需功能，逐步采用，并与其他工具结合使用。 它与 OpenAI SDK、OpenTelemetry 以及 各大主流 LLM 提供商 都能良好兼容。

TensorZero 目前已被从前沿 AI 创业公司到财富 10 强的企业广泛使用，支撑着全球约 1% 的 LLM API 开支。

官网 · 文档 · Twitter · Slack · Discord

快速入门（5 分钟） · 部署指南 · API 参考 · 配置参考

演示

功能

[!NOTE]

🆕 TensorZero 自动驾驶

TensorZero 自动驾驶是一个由 TensorZero 提供支持的 自动化 AI 工程师，它可以分析 LLM 的可观测性数据，设置评估任务，优化提示词和模型，并运行 A/B 测试。

它能够 显著提升 LLM 代理在各种任务中的性能：

了解更多 →  预约演示 →

🌐 LLM 网关

只需集成一次 TensorZero，即可访问所有主流 LLM 提供商。

• 调用任意 LLM（无论是 API 还是自托管模型）都可通过单一的统一 API 实现
• 支持 工具使用、结构化输出（JSON）、批量推理、嵌入生成、多模态输入（图像、文件）、缓存机制 等功能
• 创建提示模板和模式，以确保您的应用程序与 LLM 之间的接口标准化
• 凭借 🦀 Rust 语言的强大性能，满足极高的吞吐量和低延迟需求：在 10k+ QPS 下，p99 延迟开销 <1ms
• 确保高可用性，通过路由、重试、回退、负载均衡、细粒度超时设置等功能实现
• 跟踪使用情况和成本，并 实施自定义速率限制，支持按标签等细粒度范围进行控制
• 为 TensorZero 设置身份验证，允许客户端在不共享提供商 API 密钥的情况下访问模型

支持的模型提供商

Anthropic， AWS Bedrock， AWS SageMaker， Azure， DeepSeek， Fireworks， GCP Vertex AI Anthropic， GCP Vertex AI Gemini， Google AI Studio (Gemini API)， Groq， Hyperbolic， Mistral， OpenAI， OpenRouter， SGLang， TGI， Together AI， vLLM，以及 xAI (Grok)。

如果您需要其他服务？TensorZero 同时也支持 任何 OpenAI 兼容的 API（例如 Ollama）。

使用示例

您可以将 TensorZero 与任何 OpenAI SDK（Python、Node.js、Go 等）或其他 OpenAI 兼容的客户端一起使用。

1. 部署 TensorZero 网关（只需一个 Docker 容器）。
2. 在您的 OpenAI 兼容客户端中更新 base_url 和 model。
3. 执行推理：

from openai import OpenAI

# 将客户端指向 TensorZero 网关
client = OpenAI(base_url="http://localhost:3000/openai/v1", api_key="not-used")

response = client.chat.completions.create(
    # 调用任何模型提供商（或 TensorZero 函数）
    model="tensorzero::model_name::anthropic::claude-sonnet-4-6",
    messages=[
        {
            "role": "user",
            "content": "分享一个关于 TensorZero 的有趣事实。",
        }
    ],
)

更多信息请参阅 快速入门。

🔍 LLM 可观测性

可以放大以调试单个 API 调用，也可以缩小以监控跨模型和提示随时间变化的指标——所有这些都可以通过开源的 TensorZero UI 实现。

• 将推理结果及**反馈（指标、人工编辑等）** 存储到您自己的数据库中
• 使用 TensorZero UI 或编程方式深入分析单个推理结果或高层次的聚合模式
• 构建数据集 用于优化、评估及其他工作流
• 使用新的提示、模型、推理策略等重放历史推理记录
• 导出 OpenTelemetry 跟踪数据 (OTLP) 和 导出 Prometheus 指标 到您喜爱的应用程序可观测性工具中
• 即将推出：AI 辅助调试与根因分析；AI 辅助数据标注

📈 LLM 优化

将生产环境中的指标和人工反馈发送出去，以便轻松优化您的提示、模型和推理策略——无论是通过 UI 还是编程方式。

• 使用 监督微调、RLHF 等技术优化您的模型
• 使用自动化提示工程算法（如 GEPA）优化您的提示
• 使用 动态上下文学习、最佳/混合 N 抽样等方法优化您的 推理策略
• 为您的 LLM 启用反馈循环：让生产数据驱动的数据与学习飞轮不断迭代，从而打造更智能、更快、更低成本的模型
• 即将推出：合成数据生成

📊 LLM 评估

使用启发式方法和 LLM 评委提供的评估功能，比较提示、模型和推理策略。

• 使用启发式方法或 LLM 评委支持的 推理评估 对 单个推理进行评估（类似于 LLM 的单元测试）
• 使用完全灵活的 工作流评估 对 端到端工作流进行评估（类似于 LLM 的集成测试）
• 像优化其他 TensorZero 函数一样优化 LLM 评委，使其与人类偏好保持一致
• 即将推出：更多内置评估器；无头评估

评估 » UI	评估 » CLI
	docker compose run --rm evaluations \ --evaluation-name extract_data \ --dataset-name hard_test_cases \ --variant-name gpt_4o \ --concurrency 5 运行 ID: 01961de9-c8a4-7c60-ab8d-15491a9708e4 数据点数量：100 ██████████████████████████████████████ 100/100 精确匹配：0.83 ± 0.03（n=100） 语义匹配：0.98 ± 0.01（n=100） 项目数量：7.15 ± 0.39（n=100）

🧪 LLM 实验

借助内置的 A/B 测试、路由、回退机制、重试等功能，自信地部署应用。

• 运行自适应 A/B 测试，以确保部署成功，并找到最适合您用例的提示和模型。
• 在复杂的工作流中强制执行原则性的实验，包括对多轮 LLM 系统、顺序测试等的支持。

更多！

使用一套专为原型设计而优化、但从一开始就旨在支持最复杂的 LLM 应用和部署的开源技术栈进行开发。

• 无论构建简单应用还是大规模部署，均可采用适合 GitOps 的编排方式
• 扩展 TensorZero，提供内置逃生通道、以编程优先的方式使用、直接访问数据库等功能
• 可与其他第三方工具集成：专业的可观测性和评估工具、模型提供商、代理编排框架等
• 通过 Playground UI 交互式地试验提示，快速迭代

常见问题解答

TensorZero 与其他 LLM 框架有何不同？

1. TensorZero 让您能够基于生产指标和人类反馈来优化复杂的 LLM 应用。
2. TensorZero 支持工业级 LLM 应用的需求：低延迟、高吞吐量、类型安全、自托管、GitOps、可定制性等。
3. TensorZero 统一了整个 LLMOps 堆栈，从而产生叠加效应。例如，LLM 评估可以与 AI 审判官一起用于模型的微调。

我能否将 TensorZero 与 ___ 一起使用？

可以。 支持所有主流编程语言。 它能很好地与 OpenAI SDK、OpenTelemetry 以及 所有主要的 LLM 提供商 配合使用。

TensorZero 是否已准备好投入生产？

是的。 TensorZero 目前已被从前沿 AI 创业公司到财富 10 强的企业所采用，并支撑着当今全球 LLM API 支出的约 1%。

这里有一个案例研究：利用 LLM 自动化大型银行的代码变更日志

TensorZero 的费用是多少？

TensorZero（LLMOps 平台）是 100% 自托管且开源的。

TensorZero Autopilot（自动化 AI 工程师）则是由 TensorZero 提供支持的补充性付费产品。

谁在构建 TensorZero？

我们的技术团队包括一位前 Rust 编译器维护者、拥有数千次引用的机器学习研究人员（来自斯坦福、卡内基梅隆、牛津、哥伦比亚大学）以及一家十亿美元估值初创公司的首席产品官。我们得到了与领先开源项目（如 ClickHouse、CockroachDB）和 AI 实验室（如 OpenAI、Anthropic）相同的投资者的支持。请参阅我们的 $730 万美元种子轮融资公告 和 VentureBeat 的报道。我们正在 纽约招聘。

我该如何开始使用？

您可以逐步采用 TensorZero。我们的 快速入门 只需 5 分钟，就能将一个普通的 OpenAI 封装转换为具备可观测性和微调功能的生产就绪型 LLM 应用程序。

开始使用

立即开始构建。 快速入门 展示了使用 TensorZero 设置 LLM 应用是多么简单。

有问题吗？

欢迎在 Slack 或 Discord 上向我们提问。

在工作中使用 TensorZero 吗？

请发送邮件至 hello@tensorzero.com，以便为您和您的团队设置一个免费的 Slack 或 Teams 频道。

示例

我们正在开发一系列 完整的可运行示例，以展示 TensorZero 的数据与学习飞轮机制。

使用 TensorZero 优化数据提取（NER）

此示例展示了如何使用 TensorZero 优化数据提取流水线。 我们演示了诸如微调和动态上下文学习（DICL）等技术。 最终，经过优化的 GPT-4o Mini 模型在该任务上的表现超越了 GPT-4o——而且成本和延迟仅为后者的几分之一——仅需少量训练数据。

代理式 RAG — 使用 LLM 进行多跳问答

本示例展示了如何使用 TensorZero 构建一个多跳检索代理。 该代理会迭代地搜索维基百科以收集信息，并决定何时已掌握足够的上下文来回答复杂问题。

根据隐藏偏好撰写俳句以取悦评审

本示例对 GPT-4o Mini 进行微调，以生成符合特定品味的俳句。 您将看到 TensorZero 的“盒装数据飞轮”发挥作用：更好的变体带来更好的数据，而更好的数据又带来更优的变体。 您会通过多次微调 LLM 看到进展。

图像数据提取 — 多模态（视觉）微调

本示例展示了如何对多模态模型（VLMs），如 GPT-4o，进行微调，以提升其在视觉-语言任务中的表现。 具体而言，我们将构建一个系统来分类文档图像（计算机科学论文的截图）。

通过 Best-of-N 抽样提升 LLM 的国际象棋能力

本示例展示了 Best-of-N 抽样如何通过从多个生成选项中选择最有希望的走法，显著增强 LLM 的国际象棋水平。

博客文章

我们在 TensorZero 博客 上撰写关于 LLM 工程的文章。 以下是我们的一些精选文章：

• LLM 网关中的赌徒算法：通过自适应实验（A/B 测试）更快地改进 LLM 应用
• OpenAI 的强化微调（RFT）值得吗？
• 通过程序化数据整理进行蒸馏：更智能的 LLM，推理成本降低 5–30 倍
• 从 NER 到代理：自动化提示工程能否扩展到复杂任务？

TensorZero 快速上手指南

TensorZero 是一个开源的 LLMOps 平台，旨在统一 LLM 网关、可观测性、评估、优化和实验功能。它兼容 OpenAI SDK，支持所有主流 LLM 提供商，并提供高性能（p99 延迟 <1ms）和低开销的生产级解决方案。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (需安装 WSL2)。
• 容器运行时: 必须安装 Docker 和 Docker Compose。这是运行 TensorZero Gateway 的最简便方式。
• 编程语言环境: 推荐使用 Python 3.8+ 或 Node.js，以便使用 OpenAI 兼容的 SDK 进行调用。
• 网络环境: 确保能够访问所需的 LLM 提供商 API（如 OpenAI, Anthropic 等）。国内用户若访问受限，建议配置相应的网络代理或在 Docker 环境中设置 HTTP_PROXY/HTTPS_PROXY。

安装步骤

TensorZero 的核心组件是 Gateway，可以通过单个 Docker 容器快速部署。

1. 拉取并运行 TensorZero Gateway

   使用 Docker Compose 启动服务。您可以创建一个 docker-compose.yml 文件，或直接使用命令行运行：

   docker run --rm -p 3000:3000 tensorzero/tensorzero-gateway
   

   注：生产环境部署建议参考官方部署指南配置持久化存储和密钥管理。

2. 验证服务状态

   服务启动后，默认监听在 http://localhost:3000。

基本使用

TensorZero 设计为与 OpenAI SDK 完全兼容。您无需更改现有代码逻辑，只需调整 base_url 和 model 参数即可接入。

1. 安装依赖

如果您使用 Python，请确保安装了 OpenAI 官方 SDK：

pip install openai

2. 代码示例

以下是最简单的调用示例。我们将客户端指向本地运行的 TensorZero Gateway，并通过统一的 API 调用任意模型（此处以 Anthropic 的 Claude 为例）。

from openai import OpenAI

# 初始化客户端，指向 TensorZero Gateway
# base_url: 本地网关地址
# api_key: 网关处理认证，此处可填任意非空字符串（如 "not-used"）
client = OpenAI(base_url="http://localhost:3000/openai/v1", api_key="not-used")

response = client.chat.completions.create(
    # 模型命名格式：tensorzero::model_name::provider::model_id
    # 这将通过网关路由到 Anthropic 的 claude-sonnet-4-6 模型
    model="tensorzero::model_name::anthropic::claude-sonnet-4-6",
    messages=[
        {
            "role": "user",
            "content": "Share a fun fact about TensorZero.",
        }
    ],
)

print(response.choices[0].message.content)

3. 核心功能说明

• 统一接入: 修改 model 参数中的 provider 部分（如 openai, anthropic, aws-bedrock 等），即可切换底层模型，无需更改应用代码。
• 可观测性: 所有的推理请求和反馈数据会自动存储在您配置的数据库中，可通过 TensorZero UI 查看。
• 高级特性: 支持工具调用 (Tool Use)、结构化输出 (JSON)、批量推理、多模态输入等功能，用法与原生的 OpenAI SDK 一致。

接下来，您可以查阅 官方文档 配置具体的模型提供商密钥、设置评估流程或开启 A/B 测试功能。