官网 · 文档 · Discord · 自托管

为什么选择LangWatch？

LLM评估与AI智能体测试的平台。 我们帮助团队在发布前和生产环境中，对基于LLM的智能体进行端到端的测试、模拟、评估和监控。专为需要回归测试、仿真和生产环境可观测性，但又不想构建自定义工具的团队打造。

• 端到端智能体仿真 针对你的完整堆栈（工具、状态、用户模拟器、评判者）运行真实场景，精准定位智能体在何处出错以及原因——精确到每一个决策步骤。

• 评估 + 可观测性 + 提示词一体化闭环 追踪 → 数据集 → 评估 → 优化提示词/模型 → 再次测试。无需胶水代码，避免工具泛滥。

• 开放标准，无厂商锁定 原生支持OpenTelemetry/OTLP。设计上不依赖特定框架或LLM提供商。

• 协作加速交付，不拖慢进度 审核运行结果，标注失败点，更快修复问题。让领域专家通过注释与队列标记边缘场景，借助GitHub集成将提示词保存在Git中，并将提示词版本与追踪记录关联。

LangWatch为你提供对智能体行为的全面可见性，以及系统化提升可靠性、性能和成本效益的工具，同时让你始终掌控自己的AI系统。

开始使用

云端 ☁️

开始使用LangWatch最简单的方式。

创建免费账户 → 创建项目 → 开始使用/复制API密钥。

本地部署 💻

使用Docker Compose在你自己的机器上快速启动：

git clone https://github.com/langwatch/langwatch.git
cd langwatch
cp langwatch/.env.example langwatch/.env
docker compose up -d --wait --build

运行成功后，LangWatch将在http://localhost:5560可用，你可以在此创建第一个项目和API密钥。

部署选项 ⚓️

在你自己的基础设施上运行LangWatch：

• Docker Compose - 在本地机器上运行LangWatch。
• Kubernetes (Helm) - 使用Helm在Kubernetes集群上运行LangWatch。
• OnPrem - 针对AWS、Google Cloud和Azure等云服务的专用部署方案。

docker compose up redis postgres opensearch

make install
make start

🚀 快速入门

几分钟内即可部署更安全的智能体。创建免费账户，然后参考以下指南：

• 运行首次智能体仿真 - 在生产前用真实场景测试智能体
• 设置评估 - 衡量质量、性能和可靠性
• 发送首次追踪 - 将LangWatch集成到你的技术栈中
• 开始使用LangWatch MCP - 在Claude Desktop及其他MCP客户端中使用LangWatch

🗺️ 集成

LangWatch构建并维护了以下多种集成。我们的追踪平台基于OpenTelemetry，因此原生支持任何兼容OpenTelemetry的库。

框架： LangChain · LangGraph · Vercel AI SDK · Mastra · CrewAI · Google ADK

模型提供商： OpenAI · Anthropic · Azure · Google Cloud · AWS · Groq · Ollama

平台

LangFlow · Flowise · n8n

还有更多…

您是否正在使用某个平台，并认为直接集成 LangWatch 会带来益处？我们非常期待您的反馈，请填写这份简短的表格。

💬 支持

您有疑问或需要帮助吗？我们提供多种方式来支持您：

• 文档： 我们的全面文档涵盖了从入门到高级功能的方方面面。
• Discord 社区： 加入我们的Discord 服务器，即可获得来自团队和社区的实时帮助。
• X (Twitter)： 关注我们在X上的账号，获取最新动态和公告。
• GitHub Issues： 您可以通过我们的Github 仓库提交 bug 报告或功能请求。
• 企业级支持： 企业客户可享受优先支持及专属响应时间。更多信息请参阅我们的定价页面。

🤝 合作

正是贡献让开源社区成为一个充满学习、启发与创造的绝佳场所。您所做的任何贡献都将受到高度赞赏。

请阅读我们的贡献指南，了解我们的行为准则以及提交 Pull Request 的流程。

✍️ 许可证

请阅读我们的LICENSE.md文件。

👮‍♀️ 安全与合规

作为一家能够访问高度敏感数据的平台，我们对安全问题极为重视，并将其视为企业文化的核心组成部分。

更多信息请参阅我们的安全页面。如有任何进一步的问题，请联系 security@langwatch.ai。

漏洞披露

如果您需要负责任地披露安全漏洞，可通过电子邮件发送至 security@langwatch.ai，或者您也可以选择在Discord上私下联系我们的团队成员。

LangWatch 快速上手指南

LangWatch 是一个专为 LLM（大语言模型）评估和 AI Agent 测试设计的开源平台。它帮助团队在发布前和生产环境中对 AI Agent 进行端到端的测试、模拟、评估和监控，无需构建自定义工具即可实现回归测试和生产可观测性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (需安装 WSL2)
• 核心依赖：
  • Docker 及 Docker Compose (推荐 v2.0+)
  • Git
• 网络环境：由于项目源位于 GitHub，国内用户建议配置代理或使用镜像加速以确保 git clone 和 docker pull 顺利进行。
• 可选依赖（用于本地开发贡献）：
  • Python 3.10+
  • Node.js 18+
  • Make

安装步骤

您可以选择使用云端服务快速体验，或在本地通过 Docker 私有化部署。

方式一：云端快速开始（推荐新手）

无需安装任何环境，直接注册即可使用：

1. 访问 LangWatch Cloud 创建免费账户。
2. 创建一个新项目 (Project)。
3. 复制您的 API Key 以便后续集成。

方式二：本地私有化部署 (Docker Compose)

适合需要在内网运行或数据隐私要求较高的场景。

1. 克隆项目仓库：

   git clone https://github.com/langwatch/langwatch.git
   cd langwatch
   

2. 配置环境变量： 复制示例配置文件为正式配置文件：

   cp langwatch/.env.example langwatch/.env
   

   (注：如有需要，可编辑 .env 文件修改端口或密钥配置)

3. 启动服务： 使用 Docker Compose 构建并启动所有服务：

   docker compose up -d --wait --build
   

4. 访问平台： 服务启动后，在浏览器打开 http://localhost:5560。 首次登录时，请在界面中创建第一个项目和 API Key。

提示：如果您希望参与源码开发而非仅运行服务，请参考原文 "Local Development" 部分，仅启动数据库容器 (redis, postgres, opensearch)，然后在本地终端运行 make install 和 make start。

基本使用

安装完成后，您可以通过以下三个核心步骤将 LangWatch 集成到您的 AI 工作流中：

1. 发送追踪数据 (Tracing)

LangWatch 基于 OpenTelemetry 标准，支持主流框架（LangChain, LangGraph, Vercel AI SDK, CrewAI 等）和模型提供商（OpenAI, Anthropic, Azure 等）。

以 Python + LangChain 为例，安装 SDK 并初始化：

pip install langwatch

在代码中配置追踪：

import langwatch
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

# 初始化 LangWatch
langwatch.init(
    api_key="YOUR_API_KEY", 
    project_id="YOUR_PROJECT_ID"
)

# 您的常规 LLM 调用代码
llm = ChatOpenAI(model="gpt-4o")
prompt = ChatPromptTemplate.from_messages([("human", "Hello, world!")])
chain = prompt | llm

# 执行调用，LangWatch 会自动捕获 Trace
response = chain.invoke({})
print(response)

更多框架集成指南请参阅官方文档中的 Integrations 部分。

2. 运行 Agent 模拟测试 (Simulations)

在将 Agent 发布到生产环境前，使用 LangWatch 的场景模拟功能进行测试：

1. 登录 Web 界面，进入 Scenarios 模块。
2. 定义测试场景（包括用户模拟器、评判器 Judge、工具集等）。
3. 运行模拟，系统将自动分析 Agent 在复杂交互中的决策路径， pinpoint 失败原因。

3. 设置评估与优化 (Evaluation & Optimization)

建立“追踪 -> 数据集 -> 评估 -> 优化”的闭环：

1. 创建数据集：从已收集的 Trace 中筛选典型用例生成数据集。
2. 配置评估指标：设置自动化评估标准（如准确性、延迟、成本、幻觉检测等）。
3. 迭代优化：根据评估结果调整 Prompt 或模型参数，并在 Git 中管理 Prompt 版本（支持 GitHub 集成），链接 Prompt 版本与具体 Trace 进行对比分析。

下一步：

• 查看 完整文档 了解高级功能。
• 加入 Discord 社区 获取实时支持。
• 尝试 LangWatch MCP 在 Claude Desktop 中直接使用。