Kubeflow

什么是 Kubeflow

Kubeflow 是基于 Kubernetes 的人工智能平台工具基础。

人工智能平台团队可以基于 Kubeflow 构建，既可以独立使用各个项目，也可以部署整个 AI 参考平台来满足其特定需求。Kubeflow AI 参考平台具有可组合性、模块化、可移植性和可扩展性，并由一系列原生 Kubernetes 的项目所支撑，这些项目覆盖了 AI 生命周期 的每一个阶段。

无论您是 AI 从业者、平台管理员，还是开发团队成员，Kubeflow 都能为您提供模块化、可扩展且可扩展的工具，以支持您的 AI 应用场景。

更多信息请参阅 官方文档。

Kubeflow 有哪些项目

Kubeflow 由多个开源项目组成，分别解决 AI 生命周期的不同环节。这些项目既可以独立使用，也可以作为 Kubeflow AI 参考平台的一部分。这种设计为用户提供了灵活性，即使不需要完整的端到端 AI 平台功能，也可以利用其中的特定功能，例如模型训练或模型推理。

Kubeflow 项目	源代码
KServe	kserve/kserve
Kubeflow Katib	kubeflow/katib
Kubeflow 模型注册表	kubeflow/model-registry
Kubeflow 笔记本	kubeflow/notebooks
Kubeflow 流水线	kubeflow/pipelines
Kubeflow SDK	kubeflow/sdk
Kubeflow Spark Operator	kubeflow/spark-operator
Kubeflow 训练器	kubeflow/trainer

什么是 Kubeflow AI 参考平台

Kubeflow AI 参考平台是指将 Kubeflow 的所有项目与额外的集成和管理工具打包在一起的整体解决方案。Kubeflow AI 参考平台部署了一套完整的工具链，用于覆盖整个 AI 生命周期。该平台可以通过 打包发行版 或 Kubeflow 清单文件 进行安装。

Kubeflow AI 参考平台工具	源代码
中央仪表板	kubeflow/dashboard
配置控制器	kubeflow/dashboard
Kubeflow 清单文件	kubeflow/manifests

Kubeflow 社区

Kubeflow 是一个由社区主导的项目，由 Kubeflow 工作组 在 Kubeflow 指导委员会 的指导下维护。

我们鼓励您了解 Kubeflow 社区，以及如何为该项目做出贡献！

Kubeflow 快速上手指南

Kubeflow 是建立在 Kubernetes 之上的机器学习工具包基础架构。它提供模块化、可组合且可扩展的工具，覆盖从数据准备、模型训练到模型服务的完整 AI 生命周期。

1. 环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS。
• Kubernetes 集群: 需要一个运行中的 Kubernetes 集群 (v1.23+)。
  • 本地开发推荐：Kind, Minikube 或 Docker Desktop (开启 K8s)。
  • 生产环境推荐：GKE, EKS, AKS 或自建集群。
• kubectl: 已安装并配置好与集群的连接。

  # 验证连接
  kubectl cluster-info
  

• Helm (可选但推荐): 用于管理部分组件的部署。
• 网络加速 (国内用户建议):
  • 由于 Kubeflow 镜像托管在 gcr.io 和 docker.io，国内访问可能较慢。建议配置镜像加速器（如阿里云、腾讯云容器镜像服务）或替换镜像源。
  • 示例：配置 Docker daemon 使用国内镜像加速。

  // /etc/docker/daemon.json
  {
    "registry-mirrors": ["https://<your-id>.mirror.aliyuncs.com"]
  }
  

2. 安装步骤

Kubeflow 支持两种主要安装方式：独立组件安装（仅使用特定功能，如 Katib 或 KServe）和 完整平台安装。以下介绍通过官方 Manifests 安装完整参考平台的通用步骤。

步骤一：克隆 manifests 仓库

git clone https://github.com/kubeflow/manifests.git
cd manifests

注意：请根据需求切换分支。稳定版通常使用发布分支（如 v1.9-branch），最新版使用 master。

git checkout v1.9-branch

步骤二：初始化认证与信息

Kubeflow 使用 kustomize 进行配置管理。首先需要初始化默认的用户配置文件。

while ! kustomize build example-apps | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 20; done

步骤三：部署 Kubeflow 核心组件

使用 kustomize 构建并应用完整的平台清单。此过程可能需要几分钟，取决于网络速度。

# 应用所有组件
while ! kustomize build --load-restrictor LoadRestrictionsNone . | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 20; done

步骤四：验证安装状态

等待所有 Pod 运行就绪。

kubectl get pods -n kubeflow

当所有 Pod 状态显示为 Running 时，表示安装成功。

步骤五：访问中央仪表盘 (Central Dashboard)

获取访问入口。如果是本地集群，推荐使用端口转发：

kubectl port-forward svc/istio-ingressgateway -n istio-system 8080:80

然后在浏览器访问 http://localhost:8080。

• 默认用户名：user@example.com
• 默认密码：12341234

3. 基本使用

安装完成后，你可以通过 Web 界面或 Python SDK 使用 Kubeflow。以下是一个最简单的使用流程示例：通过 Notebooks 创建开发环境并提交一个 Pipeline。

3.1 创建 Notebook 服务器

1. 登录 Central Dashboard (http://localhost:8080)。
2. 在左侧菜单点击 Notebooks。
3. 点击 New Server。
4. 配置名称（如 my-notebook），选择镜像（推荐 tensorflow-notebook 或 pytorch-notebook）。
5. 点击 Launch 启动开发环境。
6. 启动后点击 Connect 进入 JupyterLab 界面。

3.2 运行一个简单的 Pipeline

在 JupyterLab 中，新建一个 Python 笔记本，安装 Kubeflow Pipelines SDK 并定义一个简单的流水线：

# 安装 SDK (如果在镜像中未预装)
!pip install kfp --upgrade

import kfp
from kfp import dsl

# 定义一个简单的组件
@dsl.component
def say_hello(text: str) -> str:
    print(f"Hello from Kubeflow: {text}")
    return text

# 定义流水线
@dsl.pipeline(name="hello-world-pipeline")
def my_pipeline():
    say_hello_task = say_hello(text="Kubeflow is running!")
    
# 编译流水线
if __name__ == "__main__":
    kfp.compiler.Compiler().compile(my_pipeline, "pipeline.yaml")
    print("Pipeline compiled successfully.")

3.3 提交流水线

你可以直接在代码中提交，或在 Dashboard 的 Pipelines 页面上传生成的 pipeline.yaml 文件并运行。

# 连接到 Kubeflow 集群内部端点 (需在集群内运行)
client = kfp.Client(host='http://ml-pipeline.kubeflow.svc.cluster.local:8888')

# 创建运行
run = client.create_run_from_pipeline_func(
    my_pipeline,
    arguments={}
)
print(f"Run created with ID: {run.run_id}")

至此，你已经完成了 Kubeflow 的基础部署并成功运行了一个简单的 AI 工作流。更多高级功能（如超参数调优 Katib、模型服务 KServe）请参考各组件的独立文档。