langtrace
Langtrace 是一款专为大语言模型(LLM)应用打造的开源可观测性工具。在开发基于 AI 的应用时,开发者往往难以看清模型调用、向量数据库操作及框架内部的具体运行状况,导致调试困难、性能瓶颈难寻以及成本不可控。Langtrace 正是为了解决这些痛点而生,它能帮助团队实时捕获、追踪并分析应用中的每一次交互细节。
这款工具非常适合正在构建或维护 LLM 应用的软件工程师、AI 研究人员及技术团队使用。无论是使用 Python 还是 TypeScript/JavaScript 进行开发,用户只需集成对应的 SDK,即可轻松将 Langtrace 接入现有项目。其核心亮点在于严格遵循 Open Telemetry (OTEL) 标准,确保了数据的通用性与规范性。通过 Langtrace,用户可以直观地监控 API 调用延迟、分析 Token 消耗成本、排查工作流错误,并获得详细的可视化数据报表。此外,它还支持私有化部署,让对数据隐私有严格要求的团队也能安心使用。如果你希望让黑盒般的 AI 应用变得透明可控,Langtrace 是一个值得尝试的专业助手。
使用场景
某电商团队正在开发基于 RAG 架构的智能客服系统,需整合向量数据库检索与大模型生成能力以回答用户复杂的售后咨询。
没有 langtrace 时
- 故障定位如“盲盒”:当用户反馈回答错误时,开发团队无法判断是向量检索召回了无关文档,还是大模型推理逻辑出错,只能靠猜测试错。
- 成本与性能黑盒:无法实时监控每次对话的 Token 消耗和 API 延迟,导致突发流量下账单激增且响应变慢,却找不到具体的耗时瓶颈。
- 调试效率极低:复现问题需要人工拼接分散在应用日志、数据库日志和 LLM 平台后台的多份数据,排查一个典型 Bug 平均耗时数小时。
- 缺乏评估基准:上线新功能后,难以量化对比新旧版本在回答准确率或响应速度上的具体差异,迭代优化缺乏数据支撑。
使用 langtrace 后
- 全链路透明追踪:通过端到端的 Trace 视图,清晰看到从用户提问、向量检索匹配到最终生成的完整路径,秒级定位是检索偏差还是模型幻觉。
- 实时成本与性能监控:仪表盘实时展示各模型的调用延迟、Token 用量及预估成本,自动识别高耗时环节并预警异常支出。
- 一键深度调试:直接在界面中回放完整的请求上下文、中间参数及最终输出,将复杂问题的排查时间从小时级缩短至分钟级。
- 数据驱动迭代:利用内置的评估指标对比不同提示词或模型版本的实际表现,用客观数据指导策略调优,显著提升回答质量。
langtrace 将原本黑盒化的 LLM 应用转化为可观测、可度量、可优化的透明系统,让智能客服的研发与维护从“凭经验”转向“看数据”。
运行环境要求
- Linux
- macOS
- Windows
未说明
未说明

快速开始
📚 目录
Langtrace 是一款开源可观测性软件,可帮助您捕获、调试并分析来自所有使用 LLM API、向量数据库和基于 LLM 的框架的应用程序的跟踪数据和指标。

✨ 功能
- 📊 Open Telemetry 支持:基于 OTEL 标准构建,提供全面的追踪功能
- 🔄 实时监控:跟踪 LLM API 调用、向量操作及框架使用情况
- 🎯 性能洞察:分析延迟、成本和使用模式
- 🔍 调试工具:追踪并调试您的 LLM 应用工作流
- 📈 分析功能:获取详细的指标和可视化图表
- 🏠 自托管选项:可在您自己的基础设施上部署
🚀 快速入门
# 对于 TypeScript/JavaScript
npm i @langtrase/typescript-sdk
# 对于 Python
pip install langtrace-python-sdk
在代码中初始化:
// TypeScript
import * as Langtrace from '@langtrase/typescript-sdk'
Langtrace.init({ api_key: '<your_api_key>' }) // 在 langtrace.ai 获取您的 API 密钥
# Python
from langtrace_python_sdk import langtrace
langtrace.init(api_key='<your_api_key>') # 在 langtrace.ai 获取您的 API 密钥
有关详细设置说明,请参阅 入门指南。
📊 Open Telemetry 支持
Langtrace 生成的跟踪数据遵循 Open Telemetry 标准(OTEL)。我们正在为本项目生成的跟踪数据开发 语义约定。您可以在 此仓库 中查看当前定义。请注意:这是一项持续进行中的工作,我们鼓励您参与其中,并欢迎您的反馈。
📦 SDK 仓库
🚀 入门指南
Langtrace 云服务 ☁️
要使用 Langtrace 的托管 SaaS 版本,请按照以下步骤操作:
- 访问 此链接 进行注册。
- 注册后创建一个新项目。项目是用于存储应用程序生成的跟踪数据和指标的容器。如果您只有一个应用程序,只需创建一个项目即可。
- 进入项目页面生成 API 密钥。
- 在您的应用程序中安装 Langtrace SDK,并使用第 3 步生成的 API 密钥进行初始化。
- 安装和设置 SDK 的代码如下所示:
如果您的应用程序使用 TypeScript/JavaScript 构建
npm i @langtrase/typescript-sdk
import * as Langtrace from '@langtrase/typescript-sdk' // 必须在任何 LLM 模块导入之前执行
Langtrace.init({ api_key: <your_api_key> })
或者
import * as Langtrace from "@langtrase/typescript-sdk"; // 必须在任何 LLM 模块导入之前执行
LangTrace.init(); // 将 LANGTRACE_API_KEY 设置为环境变量
如果您的应用程序使用 Python 构建
pip install langtrace-python-sdk
from langtrace_python_sdk import langtrace
langtrace.init(api_key=<your_api_key>)
或者
from langtrace_python_sdk import langtrace
langtrace.init() # 将 LANGTRACE_API_KEY 设置为环境变量
🏠 Langtrace 自托管
要在本地运行 Langtrace,您需要运行三个服务:
- Next.js 应用程序
- Postgres 数据库
- ClickHouse 数据库
[!重要提示] 请查阅我们的 文档,了解各种部署选项和配置。
所需条件:
- Docker
- Docker Compose
.env 文件
您可以根据需要自由修改 .env 文件。
启动服务器
docker compose up
应用程序将可在 http://localhost:3000 访问。
关闭部署
要删除容器和卷:
docker compose down -v
-v 标志用于删除卷。
遥测
如果您自托管 OSS 客户端,Langtrace 不会收集任何遥测数据。您的任何数据都不会离开您的服务器。
🔗 支持的集成
Langtrace 会自动捕获来自以下供应商和框架的跟踪数据:
LLM 提供商
| 提供商 | TypeScript SDK | Python SDK |
|---|---|---|
| OpenAI | ✅ | ✅ |
| Anthropic | ✅ | ✅ |
| Azure OpenAI | ✅ | ✅ |
| Cohere | ✅ | ✅ |
| DeepSeek | ✅ | ✅ |
| xAI | ✅ | ✅ |
| Groq | ✅ | ✅ |
| Perplexity | ✅ | ✅ |
| Gemini | ✅ | ✅ |
| AWS Bedrock | ✅ | ✅ |
| Mistral | ❌ | ✅ |
大语言模型框架
| 框架 | TypeScript SDK | Python SDK |
|---|---|---|
| Langchain | ❌ | ✅ |
| LlamaIndex | ✅ | ✅ |
| Langgraph | ❌ | ✅ |
| LiteLLM | ❌ | ✅ |
| DSPy | ❌ | ✅ |
| CrewAI | ❌ | ✅ |
| Ollama | ❌ | ✅ |
| VertexAI | ✅ | ✅ |
| Vercel AI | ✅ | ❌ |
| GuardrailsAI | ❌ | ✅ |
| Arch | ❌ | ✅ |
| Graphlit | ❌ | ✅ |
| Agno | ❌ | ✅ |
| Phidata | ❌ | ✅ |
| Cleanlab | ❌ | ✅ |
向量数据库
| 数据库 | TypeScript SDK | Python SDK |
|---|---|---|
| Pinecone | ✅ | ✅ |
| ChromaDB | ✅ | ✅ |
| QDrant | ✅ | ✅ |
| Weaviate | ✅ | ✅ |
| PGVector | ✅ | ✅(使用 SQLAlchemy) |
| MongoDB | ❌ | ✅ |
| Milvus | ❌ | ✅ |
📐 Langtrace 系统架构

💡 功能请求与问题反馈
🤝 贡献方式
我们欢迎各位开发者为本项目贡献力量。如想参与开发,可先 fork 本仓库并开始工作。更多参与方式,请加入我们的 Slack 工作空间。
🌟 Langtrace 星标历史
🔒 安全性
如发现安全漏洞,请发送邮件至 security@scale3labs.com 报告。有关安全性的更多信息,请参阅 此处。
📜 许可证
- Langtrace 应用程序(本仓库)采用 AGPL 3.0 许可证授权。您可在此处了解该许可证的详情:AGPL 3.0 许可证。
- Langtrace 的 SDK 则采用 Apache 2.0 许可证授权。您可在此处了解该许可证的详情:Apache 2.0 许可证。
👥 贡献者
![]() karthikscale3 |
![]() dylanzuber-scale3 |
![]() darshit-s3 |
![]() rohit-kadhe |
![]() yemiadej |
![]() alizenhom |
![]() obinnascale3 |
![]() Cruppelt |
![]() Dnaynu |
![]() jatin9823 |
![]() MayuriS24 |
![]() NishantRana07 |
![]() obinnaokafor |
![]() heysagnik |
![]() dabiras3 |
❓常见问题解答
1. 我能否在自己的云环境中自托管并运行 Langtrace?
可以,完全可以。请按照我们文档中的自托管部署说明进行操作:文档链接。
2. Langtrace 云端服务的定价如何?
目前,Langtrace 云端服务仍处于免费阶段,我们主要希望收集用户反馈以持续改进产品。待我们决定开启商业化时,会及时通知用户。
3. Langtrace 使用的技术栈是什么?
Langtrace 前端和 API 层采用 Next.js 构建,元数据存储使用 Postgres 数据库,而 Span、指标、日志和追踪数据则存储在 ClickHouse 数据库中。
4. 我可以为这个项目做出贡献吗?
当然可以!我们非常欢迎开发者参与贡献。您可以通过加入我们的 Discord 社区尽早参与进来。
5. 参与该项目需要具备哪些技能?
编程语言:TypeScript 和 Python。
框架知识:Next.js。
数据库:Postgres 和 Prisma ORM。
加分项:OpenTelemetry 监测框架经验,以及分布式追踪相关经验。
版本历史
4.0.112025/04/174.0.102025/04/174.0.92025/04/154.0.82025/04/144.0.72025/04/104.0.62025/03/264.0.52025/03/124.0.42025/03/064.0.32025/03/054.0.22025/03/054.0.12025/02/064.0.02025/01/103.1.32024/12/133.1.22024/11/223.1.12024/11/193.1.02024/11/153.0.192024/11/143.0.182024/11/143.0.172024/11/123.0.162024/11/08常见问题
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。
gemini-cli
gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。
markitdown
MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

















