使用MLRun

MLRun是一个开源的AI编排平台，用于在其整个生命周期内快速构建和管理连续的（生成式）AI应用。MLRun可以集成到您的开发和CI/CD环境中，并自动化生产数据、ML流水线和在线应用的交付。 MLRun显著减少了工程工作量、上线时间和计算资源。 借助MLRun，您可以在本地或云端选择任何IDE。MLRun打破了数据、ML、软件以及DevOps/MLOps团队之间的壁垒，从而实现协作和快速的持续改进。

您可以从MLRun的教程和示例以及设置客户端环境开始使用，或者阅读关于MLRun架构的内容。

本页将解释MLRun如何解决生成式AI任务、MLOps任务，并介绍MLRun核心组件。

有关MLRun开放架构支持的数据存储、开发工具、服务、平台等，请参阅https://docs.mlrun.org/en/stable/ecosystem.html。

生成式AI任务

使用MLRun在企业范围内开发、扩展、部署和监控您的AI模型。生成式AI开发流程一节详细描述了不同的任务和阶段。

数据管理

MLRun支持大规模的批处理或实时数据处理、数据血缘与版本控制、结构化与非结构化数据等。在早期阶段去除不适当的数据，可以节省后续所需的资源。

文档： 使用LLM处理非结构化数据, 向量数据库, 数据管理的护栏 演示： 呼叫中心演示 视频： 呼叫中心

开发

使用MLRun构建自动化的ML流水线，以收集数据、预处理（准备）数据、运行训练流水线并评估模型。

文档： 使用RAG, 评估LLM, 微调LLM 演示： 呼叫中心演示, 银行代理演示 视频： 呼叫中心

部署

MLRun的服务功能可以将新训练的LLM产品化为无服务器函数，利用实时自动伸缩的Nuclio无服务器函数。应用程序流水线包括从接收事件或数据、结合上下文准备所需模型特征、使用一个或多个模型进行推理，再到驱动行动的所有步骤。

文档： 服务生成式AI模型, GPU利用率, 生成式AI实时服务图 教程： 使用MLRun部署LLM 演示： 呼叫中心演示, 银行代理演示 视频： 呼叫中心

运营监控

监控所有资源、数据、模型和应用指标，以确保性能。然后识别风险、控制成本并衡量业务KPI。 收集生产数据、元数据和指标，以便进一步调整模型和应用，并实现治理和可解释性。

文档： 模型监控<monitoring, 警报和通知 教程： 使用MLRun部署LLM, 使用LLM监控模型 演示： 银行代理演示

MLOps任务

MLOps开发流程一节详细描述了不同的任务和阶段。 MLRun可用于自动化和编排所有不同的任务，也可以只编排特定的任务（并与您已部署的内容集成）。

项目管理和 CI/CD 自动化

在 MLRun 中，资产、元数据和服务（数据、函数、作业、工件、模型、密钥等）都被组织到项目中。项目可以作为一个整体导入或导出，并映射到 Git 仓库或 IDE 项目（如 PyCharm、VSCode 等），从而实现版本控制、协作以及 CI/CD 流程。项目访问权限可以限制为特定的用户和角色。

文档： 项目与自动化、CI/CD 集成
教程： 快速入门、自动化机器学习流水线
视频： 快速入门。

数据摄取与处理

MLRun 提供了针对各种离线和在线 数据源 的抽象接口（文档），支持大规模的批处理或实时数据处理、数据血缘与版本管理、结构化与非结构化数据等多种功能。此外，MLRun 的 特征存储（文档）能够自动完成数据特征在整个机器学习生命周期中的收集、转换、存储、目录化、服务化及监控工作，同时支持特征的复用与共享。

更多信息请参阅：
文档： 数据摄取与处理、特征存储、数据与工件
教程： 快速入门、特征存储。

模型开发与训练

MLRun 允许您轻松构建机器学习流水线，从多种数据源或特征存储中获取数据并进行处理，以多种参数进行大规模模型训练，测试模型，跟踪每次实验，注册、版本化并部署模型等。MLRun 提供可扩展的内置或自定义模型训练服务，能够与任何框架集成，并可与第三方训练或自动机器学习服务协同工作。您还可以引入自己的预训练模型并在流水线中使用。

文档： 模型开发与训练、模型训练与跟踪、批量运行与工作流
教程： 训练、比较与注册模型、自动化机器学习流水线
视频： 训练与比较模型。

模型与应用部署

MLRun 可以利用弹性且高可用的无服务器函数，快速部署和管理生产级别的实时或批处理应用流水线。MLRun 覆盖整个机器学习应用流程：拦截应用/用户请求，执行数据处理任务，使用一个或多个模型进行推理，驱动相应操作，并与应用逻辑无缝集成。

文档： 模型与应用部署、实时流水线、批量推理
教程： 实时服务、批量推理、高级流水线
视频： 服务预训练模型。

模型监控

MLRun 的各个对象（数据、函数、作业、模型、流水线等）都内置了可观性功能，无需复杂的集成或代码埋点。借助 MLRun，您可以监控应用/模型的资源使用情况及模型行为（漂移、性能等），定义自定义应用指标，并触发警报或重新训练作业。

文档： 模型监控、模型监控概述
教程： 模型监控与漂移检测。

MLRun 核心组件

MLRun 包括以下主要组件：

项目管理： 一种服务（API、SDK、数据库、UI），用于管理项目的各类资产（数据、函数、作业、工作流、密钥等），并提供中央控制和元数据层。

函数： 自动部署的软件包，包含一个或多个方法以及运行时特定的属性（如镜像、库、命令、参数、资源等）。

数据与工件： 与各种数据源的无缝连接、元数据管理、目录化以及对结构化/非结构化工件的版本控制。

批量运行与工作流： 使用特定参数执行一个或多个函数，并收集、跟踪和比较所有结果及工件。

实时服务流水线： 利用实时无服务器技术快速部署可扩展的数据与机器学习流水线，包括 API 处理、数据准备/增强、模型服务、集成模型、动作驱动与度量等。

模型监控： 监控数据、模型、资源及生产组件，提供反馈回路以探索生产数据、识别漂移、对异常或数据质量问题发出警报、触发重新训练作业、衡量业务影响等。

告警与通知： 使用告警来识别并通知您潜在的问题；使用通知报告运行和流水线的状态。

特征存储： 自动收集、准备、目录化并服务于开发（离线）和实时（在线）部署的生产级数据特征，同时最大限度地减少工程工作量。

MLRun 快速上手指南

MLRun 是一个开源的 AI 编排平台，旨在帮助用户快速构建和管理贯穿整个生命周期的连续（生成式）AI 应用。它能无缝集成到现有的开发和 CI/CD 环境中，自动化交付生产数据、机器学习流水线及在线应用，显著降低工程成本并加速模型上线。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (需使用 WSL2)。
• Python 版本：Python 3.9 - 3.11。
• 包管理工具：pip (建议升级至最新版本)。
• 容器环境：若需运行完整本地集群或部署服务，建议安装 Docker。
• Kubernetes (可选)：若要在生产级 K8s 集群中部署 MLRun 服务端，需具备 kubectl 访问权限及一个活跃的 K8s 集群（如 Minikube, EKS, GKE, ACK 等）。

注意：本指南主要侧重于客户端 SDK 的安装与基础使用。若需部署完整的 MLRun 服务端平台，请参考官方部署文档或使用 Helm Chart。

2. 安装步骤

安装 Python SDK

使用 pip 安装最新稳定版的 MLRun 客户端库。

pip install mlrun

国内加速方案： 如果您在中国大陆地区，建议使用清华或阿里云镜像源以加快下载速度：

pip install mlrun -i https://pypi.tuna.tsinghua.edu.cn/simple

验证安装

安装完成后，可通过以下命令验证版本：

mlrun --version

或者在 Python 交互环境中检查：

import mlrun
print(mlrun.__version__)

3. 基本使用

MLRun 的核心概念包括 项目 (Project)、函数 (Function) 和 任务 (Task)。以下是最简单的入门流程，展示如何定义一个数据处理函数并将其作为任务运行。

步骤 1: 初始化项目

首先，导入库并创建一个项目上下文。项目用于组织代码、数据和模型等资源。

import mlrun

# 初始化或获取名为 "quick-start" 的项目
project = mlrun.get_or_create_project("quick-start", context="./")

步骤 2: 定义函数

将您的 Python 代码封装为 MLRun 函数。您可以直接包装当前文件中的函数，或指向外部脚本。以下示例定义了一个简单的日志打印函数。

# 定义一个简单的处理函数
def my_handler(context, name: str = "world"):
    context.logger.info(f"Hello {name}!")
    return {"result": f"Hello {name}!"}

# 将函数注册为 MLRun 可执行对象
# kind="job" 表示这是一个批处理任务
fn = mlrun.code_to_function(
    name="hello-function",
    kind="job",
    filename=__file__, # 指向当前脚本文件
    image="mlrun/mlrun:latest" # 指定运行时的容器镜像
)

步骤 3: 创建并运行任务

创建一个任务实例，设置参数，并提交运行。

# 创建任务，设置输入参数
task = mlrun.new_task(
    name="my-first-run",
    params={"name": "MLRun User"},
    outputs=["result"]
)

# 提交运行
# local=True 表示在本地 Docker 容器中运行（需安装 Docker）
# 若无 Docker 环境，可设为 False 直接在本地进程运行（取决于配置）
run = fn.run(task, local=True)

# 查看运行结果
print(run.outputs)

下一步

完成上述步骤后，您已成功运行了第一个 MLRun 任务。接下来您可以探索：

• 数据摄入：使用 Feature Store 管理特征数据。
• 流水线编排：使用 run_pipeline 串联多个任务形成工作流。
• 模型服务：将训练好的模型部署为实时 API (kind="serving")。
• 监控：配置模型漂移检测和性能监控。

更多详细教程和示例代码，请访问 MLRun 官方文档。