Kubeflow 流水线

Kubeflow 流水线服务概述

Kubeflow 是一个机器学习 (ML) 工具包，旨在使在 Kubernetes 上部署 ML 工作流变得简单、可移植且可扩展。

Kubeflow 流水线 是使用 Kubeflow 流水线 SDK 构建的可重用端到端 ML 工作流。

Kubeflow 流水线服务的目标如下：

• 端到端编排：启用并简化端到端机器学习流水线的编排。
• 轻松实验：让您能够轻松尝试多种想法和技巧，并管理您的各种试验。
• 易于复用：使您能够重复使用组件和流水线，快速拼凑出端到端解决方案，而无需每次都重新构建。

安装

• Kubeflow 流水线可以作为 Kubeflow 平台 的一部分进行安装。或者，您也可以将 Kubeflow 流水线 部署为独立服务。

• 在 Kubernetes 1.20+ 中，Docker 容器运行时已被弃用。从 Kubeflow 流水线 1.8 开始，默认切换为使用 Emissary Executor。Emissary 执行器与容器运行时无关，这意味着您可以在任何支持 容器运行时 的 Kubernetes 集群上运行 Kubeflow 流水线。

依赖项兼容性矩阵

依赖项	版本
Argo Workflows	v3.5, v3.7
MySQL	v8

文档

从您的第一个流水线开始，并在 Kubeflow 流水线概述 中阅读更多信息。

查看您可以使用 Kubeflow 流水线 SDK 的各种方式。

有关 API 规范，请参阅 Kubeflow 流水线 API 文档。

使用 Python SDK 编写流水线时，请参考 Python SDK 参考文档。

Deep Wiki

请查看我们在 DeepWiki 上的 AI 驱动的仓库文档。

:warning: 请注意，这是由 AI 生成的，可能包含不完全准确的信息。

参与 Kubeflow 流水线贡献

在开始参与 Kubeflow 流水线之前，请阅读 如何贡献 中的指南。要了解如何从源代码构建和部署 Kubeflow 流水线，请阅读 开发者指南。

可选的 just 命令运行器

为了方便本地开发者，此仓库在根目录下包含了一个可选的 just 命令运行器。它为现有的 make 目标提供了简短的别名，并不会替代任何 CI 或发布工作流程。

要使用它，请安装 just 并运行，例如：

just           # 列出可用的配方
just backend-test
just backend-images

注意事项：

• 所有 just 配方都是现有 make 目标的轻量级封装（例如，make -C backend/src/v2 test）。
• 没有通用的 just build 或 just test 配方；复杂的或涉及 Docker 构建的流程仅通过明确命名的配方（如 backend-images）公开。

Kubeflow 流水线社区

社区会议

Kubeflow 流水线社区会议每两周三上午 10-11 点（太平洋标准时间）举行。

日历邀请

直接会议链接

会议记录

Slack

我们还在云原生计算基金会的 Slack 工作空间中有一个 Slack 频道 (#kubeflow-pipelines)。您可以在 https://www.kubeflow.org/docs/about/community/#kubeflow-slack-channels 找到更多详细信息。

架构

关于 KFP 架构的详细信息可在 Architecture.md 中找到。

博客文章

• 从原始数据到模型服务：使用 Kubeflow 的 AI/ML 生命周期蓝图（作者：Helber Belmiro）
• 开始使用 Kubeflow 流水线（作者：Amy Unruh）
• 如何创建和部署 Kubeflow 机器学习流水线（作者：Lak Lakshmanan）
  • 第 1 部分：如何创建和部署 Kubeflow 机器学习流水线
  • 第 2 部分：如何将 Jupyter 笔记本部署为 Kubeflow ML 流水线的组件
  • 第 3 部分：如何使用 Kubeflow ML 流水线在机器学习中实施 CI/CD（“MLOps”）

致谢

Kubeflow 流水线默认在底层使用 Argo Workflows 来编排 Kubernetes 资源。Argo 社区给予了极大的支持，我们对此深表感谢。

Kubeflow Pipelines 快速上手指南

Kubeflow Pipelines 是一个基于 Kubernetes 的机器学习（ML）工作流编排平台，旨在简化 ML 流程的部署、实验管理和组件复用。

环境准备

在开始之前，请确保满足以下系统要求和依赖条件：

• Kubernetes 集群：需要一个可用的 Kubernetes 集群。
  • 注意：Kubernetes 1.20+ 已弃用 Docker 容器运行时。Kubeflow Pipelines 默认使用 Emissary Executor，该执行器与容器运行时无关，支持任何符合标准的容器运行时（如 containerd, CRI-O 等）。
• 核心依赖版本兼容性：

  依赖项	支持版本
  Argo Workflows	v3.5, v3.7
  MySQL	v8

• Python 环境：用于编写和提交流水线代码（具体支持的 Python 版本请参考 PyPI 页面）。
• kubectl：用于与 Kubernetes 集群交互的命令行工具。

安装步骤

您可以选择将 Kubeflow Pipelines 作为完整的 Kubeflow 平台的一部分安装，或者作为独立服务部署。

方案 A：作为独立服务部署（推荐用于仅需要流水线功能的场景）

使用官方提供的 manifests 进行快速部署：

# 克隆仓库获取部署文件
git clone https://github.com/kubeflow/pipelines.git
cd pipelines

# 部署 Kubeflow Pipelines (使用默认配置)
kubectl apply -k manifests/kustomize/env/platform-agnostic

提示：国内开发者若遇到镜像拉取缓慢问题，建议配置国内镜像加速器（如阿里云、腾讯云容器镜像服务）或替换 manifests 中的镜像地址为国内源。

方案 B：作为 Kubeflow 平台的一部分安装

如果您需要完整的 MLOps 套件（包括 Notebook 服务、模型训练算子等），请参考 Kubeflow 平台安装指南。

验证安装

部署完成后，检查 Pod 状态：

kubectl get pods -n kubeflow

确保所有 ml-pipeline 相关的 Pod 状态为 Running。

基本使用

以下是使用 Python SDK 创建并运行一个简单的 "Hello World" 流水线的示例。

1. 安装 Python SDK

pip install kfp

2. 编写流水线代码

创建一个名为 hello_pipeline.py 的文件：

from kfp import dsl
from kfp import compiler

# 定义一个简单的组件
@dsl.component
def say_hello(name: str) -> str:
    """打印问候语"""
    message = f"Hello, {name}!"
    print(message)
    return message

# 定义流水线逻辑
@dsl.pipeline(
    name="hello-world-pipeline",
    description="A simple hello world pipeline."
)
def my_pipeline(input_name: str = "Kubeflow"):
    # 调用组件
    hello_task = say_hello(name=input_name)

# 编译流水线为 YAML 文件
if __name__ == "__main__":
    compiler.Compiler().compile(my_pipeline, "hello_pipeline.yaml")
    print("Pipeline compiled successfully to hello_pipeline.yaml")

3. 提交并运行流水线

确保您已配置好 kubeconfig 并能访问集群，然后运行以下命令提交流水线：

from kfp import client

# 初始化客户端 (根据实际部署情况填写 endpoint)
# 如果是本地端口转发访问: kubectl port-forward -n kubeflow svc/ml-pipeline-ui 8080:80
kfp_client = client.Client(host="http://localhost:8080")

# 提交运行
run = kfp_client.create_run_from_pipeline_package(
    "hello_pipeline.yaml",
    arguments={"input_name": "China Developer"}
)

print(f"Run submitted with ID: {run.run_id}")

提交后，您可以访问 Kubeflow Pipelines UI（通常通过端口转发 kubectl port-forward 暴露）查看运行状态和日志。