面向智能体、大语言模型及各类模型的开源AI工程平台

MLflow是目前最大的面向智能体、大语言模型和机器学习模型的开源AI工程平台。它帮助各种规模的团队在控制成本、管理模型与数据访问权限的同时，对生产级AI应用进行调试、评估、监控以及优化。凭借每月超过6000万次下载，成千上万的企业每天都在使用MLflow，自信地将AI部署到生产环境中。

MLflow为智能体和大语言模型应用提供的全面功能包括：生产级别的可观测性、评估、提示词管理、提示词优化，以及用于管理成本和模型访问权限的AI网关。更多信息请访问MLflow for LLMs and Agents。

三步快速入门

几分钟内即可从零开始搭建全栈LLMOps环境。无需复杂配置或大幅修改代码。立即开始 →

1. 启动MLflow服务器

uvx mlflow server

2. 开启日志记录

import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()

3. 运行你的代码

from openai import OpenAI

client = OpenAI()
client.responses.create(
    model="gpt-5.4-mini",
    input="Hello!",
)

你可以在http://localhost:5000的MLflow UI中查看追踪记录和指标。

大语言模型与智能体

MLflow提供了构建、调试、评估和部署生产级大语言模型应用及AI智能体所需的一切工具。支持Python、TypeScript/JavaScript、Java以及其他任何编程语言。MLflow还原生集成OpenTelemetry和MCP。

可观测性 捕获大语言模型应用和智能体的完整追踪信息，以获得深入的行为洞察。基于OpenTelemetry构建，支持任何大语言模型提供商和智能体框架。监控生产质量、成本和安全性。 快速入门 →	评估 执行系统化的评估，长期跟踪质量指标，并在问题影响生产之前及时发现回归。可选择50多种内置指标和大语言模型评判者，也可自定义评估标准。 快速入门 →
提示词与优化 对提示词进行版本管理、测试和部署，实现完整的溯源追踪。还可通过最先进的算法自动优化提示词,以提升性能。 快速入门 →	AI网关 面向所有大语言模型提供商的统一API网关。通过兼容OpenAI的接口路由请求、管理速率限制、处理回退逻辑，并借助内置的凭据管理、安全约束和流量拆分功能来控制成本和进行A/B测试。 快速入门 →

模型训练

对于机器学习和深度学习模型的开发，MLflow 提供了一整套工具来管理机器学习生命周期：

• 实验跟踪 — 跟踪跨不同实验的模型、参数、指标和评估结果
• 模型评估 — 与实验跟踪集成的自动化评估工具
• 模型注册表 — 协作式地管理机器学习模型的全生命周期
• 部署 — 将模型部署到批处理和实时打分环境中，支持 Docker、Kubernetes、Azure ML、AWS SageMaker 等平台

更多信息请访问 MLflow 模型训练指南。

集成

MLflow 支持所有代理框架、大语言模型提供商、工具和编程语言。我们为超过 60 种框架提供一行代码的自动追踪功能。完整的集成列表请参见 集成列表。

OpenTelemetry

OpenTelemetry

代理框架（Python）

LangChain	LangGraph	OpenAI Agent	DSPy	PydanticAI	Google ADK
Microsoft Agent	CrewAI	LlamaIndex	AutoGen	Strands	LiveKit Agents
Agno	Bedrock AgentCore	Smolagents	Semantic Kernel	DeepAgent	AG2
Haystack	Koog	txtai	Pipecat	Watsonx

代理框架（TypeScript）

LangChain

LangGraph

Vercel AI SDK

Mastra

VoltAgent

代理框架（Java）

Spring AI

Quarkus LangChain4j

模型提供商

OpenAI	Anthropic	Databricks	Gemini	Amazon Bedrock	LiteLLM
Mistral	xAI / Grok	Ollama	Groq	DeepSeek	Qwen
Moonshot AI	Cohere	BytePlus	Novita AI	FireworksAI	Together AI

网关

Databricks	LiteLLM Proxy	Vercel AI Gateway	OpenRouter	Portkey
Helicone	Kong AI Gateway	PydanticAI Gateway	TrueFoundry

工具与无代码平台

Instructor	Claude Code	Opencode	Langfuse	Arize / Phoenix	Goose
Langflow

托管 MLflow

MLflow 可以在多种环境中使用，包括您的本地环境、本地集群、云平台以及托管服务。作为一款开源平台，MLflow 具有供应商中立性——无论您是在构建 AI 代理、大模型应用，还是机器学习模型，都可以访问 MLflow 的核心功能。

Databricks

Amazon SageMaker

Azure ML

Nebius

自托管

💭 支持

• 如需帮助或有关 MLflow 使用的问题（例如“如何实现X功能？”），请访问 文档。
• 在文档中，您可以通过我们的AI驱动聊天机器人提问。请点击右下角的 “Ask AI” 按钮。
• 参加我们的线上活动，如答疑时间与聚会。
• 如需报告Bug、提交文档问题或功能请求，请在 GitHub上新建议题。
• 有关版本发布和其他讨论，请订阅我们的邮件列表（mlflow-users@googlegroups.com）或加入我们的 Slack。

🤝 贡献

我们非常欢迎对MLflow的贡献！

• 提交 Bug报告 和 功能请求
• 参与 初学者友好型议题 和 寻求帮助的议题
• 撰写关于MLflow的文章并分享您的使用经验

请参阅我们的 贡献指南，了解更多关于如何为MLflow做出贡献的信息。

⭐️ 星标历史

✏️ 引用

如果您在研究中使用了MLflow，请使用 GitHub仓库页面顶部的“引用此仓库”按钮进行引用，该按钮将为您提供包括APA和BibTeX在内的多种引用格式。

👥 核心成员

目前，MLflow由以下核心成员维护，并得到了数百位才华横溢的社区成员的重要贡献。

• Ben Wilson
• Corey Zumar
• Daniel Lok
• Gabriel Fu
• Harutaka Kawamura
• Joel Robin P
• Matt Prahl
• Pat Sukprasert
• Serena Ruan
• Tomu Hirata
• Weichen Xu
• Yuki Watanabe

MLflow 快速上手指南

MLflow 是一个开源的 AI 工程平台，专为智能体（Agents）、大语言模型（LLMs）及传统机器学习模型设计。它帮助团队调试、评估、监控和优化生产级 AI 应用，同时有效控制成本和管理模型访问权限。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows。
• Python 版本：推荐 Python 3.9 或更高版本。
• 前置依赖：
  • 已安装 pip 或 uv（推荐使用 uv 以获得更快的安装和运行体验）。
  • 若需测试 LLM 功能，请准备好 OpenAI API Key 或其他大模型服务商的凭证。

安装步骤

您可以选择使用标准的 pip 安装，或使用更现代的 uv 工具直接运行。

方式一：使用 pip 安装（推荐国内用户配置镜像源）

为了加速下载，建议使用国内镜像源（如清华大学源）：

pip install mlflow -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 uv 直接运行（无需预先安装）

如果您已安装 uv，可以直接通过以下命令启动服务，无需全局安装：

uvx mlflow server

基本使用

只需三个简单步骤，即可从零基础搭建全套 LLMOps 流程。

1. 启动 MLflow 服务器

在终端中运行以下命令启动本地追踪服务器：

uvx mlflow server
# 或者如果您已通过 pip 安装：
# mlflow server

服务器默认将在 http://localhost:5000 运行。

2. 启用自动日志记录

在您的 Python 代码中导入 MLflow，设置追踪 URI 并开启 OpenAI 自动日志功能：

import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()

3. 运行您的 AI 代码

正常编写和运行您的 LLM 调用代码。以下以 OpenAI 为例：

from openai import OpenAI

client = OpenAI()
client.responses.create(
    model="gpt-5.4-mini",
    input="Hello!",
)

查看结果

代码运行完成后，打开浏览器访问 http://localhost:5000。 您可以在 MLflow UI 中查看完整的调用链路（Traces）、性能指标以及模型交互详情，无需修改任何业务逻辑代码。