面向您的LLM应用的开源可观测性工具

开始使用 »

Slack | 文档 | 官网

🎉 新增: 我们的语义规范现已纳入OpenTelemetry！加入讨论，共同塑造LLM可观测性的未来。

寻找JS/TS版本？请查看OpenLLMetry-JS。

OpenLLMetry是一套基于OpenTelemetry构建的扩展，可为您的LLM应用提供全面的可观测性。由于其底层使用了OpenTelemetry，因此可以与您现有的可观测性解决方案集成——例如Datadog、Honeycomb等。

该项目由Traceloop开发并维护，采用Apache 2.0许可证。

仓库中包含了针对LLM提供商和向量数据库的标准OpenTelemetry插装，以及一个Traceloop SDK，使您能够轻松上手OpenLLMetry，同时仍能输出可与现有可观测性堆栈对接的标准化OpenTelemetry数据。 如果您已经启用了OpenTelemetry插装，只需直接添加我们的任意插装即可。

🚀 开始使用

最简单的方式是使用我们的SDK。 完整指南请参阅我们的文档。

安装SDK：

pip install traceloop-sdk

然后，要开始对代码进行插装，只需在代码中添加以下一行：

from traceloop.sdk import Traceloop

Traceloop.init()

仅此而已。您现在已使用OpenLLMetry追踪代码！ 如果您是在本地运行，建议禁用批量发送功能，以便立即查看跟踪记录：

Traceloop.init(disable_batch=True)

⏫ 支持（且经过测试）的目标系统

• ✅ Traceloop
• ✅ Axiom
• ✅ Azure Application Insights
• ✅ Braintrust
• ✅ Dash0
• ✅ Datadog
• ✅ Dynatrace
• ✅ Google Cloud
• ✅ Grafana
• ✅ Highlight
• ✅ Honeycomb
• ✅ HyperDX
• ✅ IBM Instana
• ✅ KloudMate
• ✅ Laminar
• ✅ New Relic
• ✅ OpenTelemetry Collector
• ✅ Oracle Cloud
• ✅ Scorecard
• ✅ Service Now Cloud Observability
• ✅ SigNoz
• ✅ Sentry
• ✅ Splunk
• ✅ Tencent Cloud

有关如何连接到每个系统的说明，请参阅我们的文档。

🪗 我们可以对哪些内容进行观测？

OpenLLMetry 可以观测 OpenTelemetry 已经支持观测的内容，例如你的数据库、API 调用等。在此基础上，我们还构建了一组自定义扩展，用于观测你对 OpenAI 或 Anthropic 的调用，以及对 Chroma、Pinecone、Qdrant 或 Weaviate 等向量数据库的访问。

• ✅ Aleph Alpha
• ✅ Anthropic
• ✅ Bedrock (AWS)
• ✅ Cohere
• ✅ Google Generative AI (Gemini)
• ✅ Groq
• ✅ HuggingFace
• ✅ IBM Watsonx AI
• ✅ Mistral AI
• ✅ Ollama
• ✅ OpenAI / Azure OpenAI
• ✅ Replicate
• ✅ SageMaker (AWS)
• ✅ Together AI
• ✅ Vertex AI (GCP)
• ✅ WRITER

向量数据库

• ✅ Chroma
• ✅ LanceDB
• ✅ Marqo
• ✅ Milvus
• ✅ Pinecone
• ✅ Qdrant
• ✅ Weaviate

框架

• ✅ Agno
• ✅ AWS Strands（内置 OTEL 支持）
• ✅ CrewAI
• ✅ Haystack
• ✅ LangChain
• ✅ Langflow
• ✅ LangGraph
• ✅ LiteLLM
• ✅ LlamaIndex
• ✅ OpenAI Agents

协议

• ✅ MCP

🔎 遥测数据

我们现在不再在 SDK 或观测插件中记录或收集任何遥测数据。请确保升级到 v0.49.2 或更高版本。

为什么我们要收集遥测数据

• 主要目的是检测观测插件中的异常情况。由于 LLM 提供商经常更新其 API，这有助于我们快速识别并修复可能发生的破坏性变更。
• 我们仅收集匿名数据，不包含任何个人身份信息。你可以在我们的隐私文档中查看我们具体收集了哪些数据。
• 遥测数据仅在 SDK 中收集。如果你直接使用观测插件而未通过 SDK，则不会收集任何遥测数据。

🌱 贡献

无论大小，我们都欢迎各种贡献 ❤️ 请查看我们的指南，了解如何开始贡献。

不知道从哪里开始？你可以：

• 预约与我们团队成员的一次免费结对编程会话！
• 加入我们的 Slack，在那里随时提问。

💚 社区与支持

• Slack（与社区及 Traceloop 团队进行实时交流）
• GitHub Discussions（获取构建帮助及关于功能的深入讨论）
• GitHub Issues（报告你在使用 OpenLLMetry 时遇到的任何 bug 和错误）
• Twitter（快速获取最新资讯）

🙏 特别感谢

感谢 @patrickdebois，他提出了我们现在为这个仓库使用的绝佳名称！

💫 贡献者

OpenLLMetry 快速上手指南

OpenLLMetry 是一套基于 OpenTelemetry 构建的开源可观测性工具，专为 LLM（大语言模型）应用设计。它能帮助您全面监控 LLM 调用、向量数据库操作及 AI 框架流程，并兼容 Datadog、Honeycomb、Grafana 等主流可观测性平台。

环境准备

• 操作系统：Linux、macOS 或 Windows
• Python 版本：Python 3.8 及以上
• 前置依赖：
  • 已安装 pip 包管理工具
  • （可选）已配置好您的 LLM 提供商密钥（如 OpenAI API Key）或向量数据库连接

注意：本指南主要针对 Python 开发者。如果您使用 JavaScript/TypeScript，请参考 OpenLLMetry-JS。

安装步骤

推荐使用官方 SDK 进行快速集成。您可以直接使用 pip 安装，若需加速下载，可指定国内镜像源（如阿里云）。

# 使用默认源安装
pip install traceloop-sdk

# 或使用国内镜像源加速安装（推荐中国开发者使用）
pip install traceloop-sdk -i https://mirrors.aliyun.com/pypi/simple/

基本使用

集成 OpenLLMetry 非常简单，只需在代码入口处添加初始化逻辑即可自动拦截并追踪支持的 LLM 和向量数据库调用。

1. 最小化集成示例

在您的 Python 应用入口文件（如 main.py）中添加以下代码：

from traceloop.sdk import Traceloop

Traceloop.init()

添加上述代码后，SDK 会自动检测并追踪您项目中使用的受支持库（如 OpenAI, LangChain, Chroma 等），并将追踪数据发送到默认的收集端。

2. 本地调试模式

如果您在本地开发环境中运行代码，希望立即看到追踪结果而不等待批量发送，可以禁用批量处理功能：

from traceloop.sdk import Traceloop

Traceloop.init(disable_batch=True)

3. 后续步骤

完成初始化后，您的应用生成的追踪数据符合 OpenTelemetry 标准。您需要配置环境变量或将数据导出到您选择的后端平台（如 Traceloop, Datadog, Grafana 等）以查看可视化图表。具体配置方法请参考官方文档中的 集成指南。

支持的常见库包括：

• LLM 提供商：OpenAI, Anthropic, Azure OpenAI, Google Gemini, Cohere, Ollama 等。
• 向量数据库：Chroma, Pinecone, Qdrant, Milvus, Weaviate 等。
• AI 框架：LangChain, LlamaIndex, CrewAI, Haystack, AutoGen 等。