🦄️ Yatai：在 Kubernetes（容器编排系统）上大规模部署模型

⚠️ 适用于 BentoML 1.2 的 Yatai 目前正在建设中。更多详情请参阅 Yatai 2.0 Proposal。

---

Yatai（屋台，意为食品车）是 BentoML 的 Kubernetes（容器编排系统）部署操作符。

它让 DevOps（开发运维）团队能够无缝地将 BentoML 集成到他们的 GitOps（基于 Git 的工作流）中，以便在任何 Kubernetes 集群上部署和扩展机器学习服务。

👉 今天加入我们的 Slack 社区！

---

为什么选择 Yatai？

Yatai 赋能开发者在 Kubernetes（容器编排系统）上部署 BentoML，针对 CI/CD（持续集成/持续交付）和 DevOps（开发运维）工作流进行了优化。

Yatai 是云原生且对 DevOps（开发运维）友好的。通过其 Kubernetes 原生工作流，特别是 BentoDeployment CRD（自定义资源定义），DevOps 团队可以轻松地将由 BentoML 驱动的服务融入现有工作流。

开始使用

• 📖 文档 - Yatai 文档及相关资源的概述
• ⚙️ 安装 - 关于如何为生产环境安装 Yatai 的手把手指南
• 👉 加入社区 Slack - 从我们的社区和维护者那里获得帮助

快速体验

让我们在一个 minikube 集群中本地尝试一下 Yatai！

⚙️ 前置条件：

• 安装最新版本的 minikube：https://minikube.sigs.k8s.io/docs/start/
• 安装最新版本的 Helm：https://helm.sh/docs/intro/install/
• 启动一个 minikube Kubernetes 集群：minikube start --cpus 4 --memory 4096，如果你使用的是 macOS，你应该使用 hyperkit 驱动程序来防止 macOS docker desktop 网络限制
• 检查 minikube 集群状态是否为“运行中”：minikube status
• 确保你的 kubectl 已配置为 minikube 上下文：kubectl config current-context
• 启用 ingress 控制器（入口控制器）：minikube addons enable ingress

🚧 安装 Yatai

使用以下脚本安装 Yatai：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai/main/scripts/quick-install-yatai.sh")

此脚本将在你的 minikube 集群上安装 Yatai 及其依赖项（PostgreSQL 和 MinIO）。

注意，此安装脚本仅用于开发和测试用途。 对于生产部署，请查看 安装指南。

要访问 Yatai Web UI（Web 用户界面），运行以下命令并保持终端打开：

kubectl --namespace yatai-system port-forward svc/yatai 8080:80

在另一个终端中运行：

YATAI_INITIALIZATION_TOKEN=$(kubectl get secret yatai-env --namespace yatai-system -o jsonpath="{.data.YATAI_INITIALIZATION_TOKEN}" | base64 --decode)
echo "Open in browser: http://127.0.0.1:8080/setup?token=$YATAI_INITIALIZATION_TOKEN"

从浏览器打开上面打印的 URL 以完成管理员账户设置。

🍱 推送 Bento 到 Yatai

首先，获取 API 令牌并登录 BentoML CLI（命令行界面）：

• 保持上述步骤中的 kubectl port-forward 命令正在运行

• 转到 Yatai 的 API 令牌页面：http://127.0.0.1:8080/api_tokens

• 从 UI 创建一个新的 API 令牌，确保在"Scopes"下分配"API"访问权限

• 复制创建令牌时的登录命令并作为 shell 命令运行，例如：

  bentoml yatai login --api-token {YOUR_TOKEN} --endpoint http://127.0.0.1:8080
  

如果你尚未构建好 Bento，请从 BentoML Quickstart Project 运行以下命令来构建示例 Bento：

git clone https://github.com/bentoml/bentoml.git && cd ./examples/quickstart
pip install -r ./requirements.txt
python train.py
bentoml build

将你新构建的 Bento 推送到 Yatai：

bentoml push iris_classifier:latest

🔧 安装 yatai-image-builder 组件

Yatai 的镜像构建器功能作为一个单独的组件提供，你可以通过以下脚本安装它：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai-image-builder/main/scripts/quick-install-yatai-image-builder.sh")

这将在你的集群中安装 BentoRequest CRD（自定义资源定义）和 Bento CRD。同样，此脚本仅用于开发和测试目的。

🔧 安装 yatai-deployment 组件

Yatai 的部署功能作为一个单独的组件提供，你可以通过以下脚本安装它：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai-deployment/main/scripts/quick-install-yatai-deployment.sh")

这将在你的集群中安装 BentoDeployment CRD（自定义资源定义）并在 Yatai 上启用部署 UI。同样，此脚本仅用于开发和测试目的。

🚢 部署 Bento!

一旦安装了 yatai-deployment 组件，推送到 Yatai 的 Bento 就可以部署到你的 Kubernetes 集群并通过 Service 端点（服务端点）暴露。

可以通过应用 BentoDeployment 资源来创建 Bento 部署：

在 my_deployment.yaml 文件中定义你的 Bento 部署：

apiVersion: resources.yatai.ai/v1alpha1
kind: BentoRequest
metadata:
    name: iris-classifier
    namespace: yatai
spec:
    bentoTag: iris_classifier:3oevmqfvnkvwvuqj  # check the tag by `bentoml list iris_classifier`
---
apiVersion: serving.yatai.ai/v2alpha1
kind: BentoDeployment
metadata:
    name: my-bento-deployment
    namespace: yatai
spec:
    bento: iris-classifier
    ingress:
        enabled: true
    resources:
        limits:
            cpu: "500m"
            memory: "512Mi"
        requests:
            cpu: "250m"
            memory: "128Mi"
    autoscaling:
        maxReplicas: 10
        minReplicas: 2
    runners:
        - name: iris_clf
          resources:
              limits:
                  cpu: "1000m"
                  memory: "1Gi"
              requests:
                  cpu: "500m"
                  memory: "512Mi"
          autoscaling:
              maxReplicas: 4
              minReplicas: 1

将部署应用到你的 minikube 集群：

kubectl apply -f my_deployment.yaml

现在你可以通过 kubectl get BentoDeployment -n my-bento-deployment 检查部署状态

社区

• 若要报告错误或提出功能建议，请使用 GitHub Issues。
• 对于其他讨论，请在 BentoML 仓库 下的 GitHub Discussions 中进行。
• 若要接收版本发布通知并获得支持，请加入我们的 Slack。

贡献

有多种方式可以为该项目做出贡献：

• 如果您对项目有任何反馈，请在 BentoML 仓库 下的 GitHub Discussions 中与社区分享。
• 报告您遇到的问题，并对与您相关的问题和功能建议“点赞”。
• 调查错误并审查其他开发者的拉取请求 (Pull Request)。
• 通过提交 GitHub 拉取请求向项目贡献代码或文档。请参阅 开发指南。

许可

Elastic License 2.0 (ELv2)

🦄️ Yatai 快速上手指南

Yatai 是 BentoML 在 Kubernetes 上的部署操作符，专为 CI/CD 和 DevOps 工作流优化。通过 Kubernetes 原生工作流（如 BentoDeployment CRD），您可以轻松将机器学习服务集成到现有基础设施中。

⚠️ 注意：当前版本主要用于开发和测试。生产环境部署请参考官方文档。

环境准备

在开始之前，请确保本地环境满足以下要求：

• Minikube: 安装最新版并启动集群（建议配置 4 CPU / 4GB 内存）。
• Helm: 安装最新版。
• Kubectl: 确保已配置与 Minikube 的上下文连接。
• Ingress Controller: 需在集群中启用。

执行以下命令初始化环境：

# 启动 Minikube (macOS 用户建议使用 hyperkit 驱动)
minikube start --cpus 4 --memory 4096

# 检查集群状态
minikube status

# 确认 kubectl 上下文
kubectl config current-context

# 启用 Ingress 控制器
minikube addons enable ingress

安装步骤

1. 安装 Yatai 核心组件

运行以下脚本安装 Yatai 及其依赖（PostgreSQL 和 MinIO）：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai/main/scripts/quick-install-yatai.sh")

2. 访问 Web UI 并设置管理员账户

保持终端运行，执行端口转发：

kubectl --namespace yatai-system port-forward svc/yatai 8080:80

在另一个终端获取初始化令牌并打开浏览器：

YATAI_INITIALIZATION_TOKEN=$(kubectl get secret yatai-env --namespace yatai-system -o jsonpath="{.data.YATAI_INITIALIZATION_TOKEN}" | base64 --decode)
echo "Open in browser: http://127.0.0.1:8080/setup?token=$YATAI_INITIALIZATION_TOKEN"

复制输出的 URL 在浏览器中完成管理员账号设置。

3. 安装扩展组件

为了支持镜像构建和部署功能，需额外安装以下组件：

安装 Image Builder：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai-image-builder/main/scripts/quick-install-yatai-image-builder.sh")

安装 Deployment 组件：

bash <(curl -s "https://raw.githubusercontent.com/bentoml/yatai-deployment/main/scripts/quick-install-yatai-deployment.sh")

基本使用

1. 登录 BentoML CLI

在 Yatai UI 的 API Tokens 页面创建新令牌（Scope 选择 "API"），然后运行：

bentoml yatai login --api-token {YOUR_TOKEN} --endpoint http://127.0.0.1:8080

2. 构建并推送模型

如果没有现成的 Bento，可克隆示例项目构建：

git clone https://github.com/bentoml/bentoml.git && cd ./examples/quickstart
pip install -r ./requirements.txt
python train.py
bentoml build

将构建好的 Bento 推送到 Yatai：

bentoml push iris_classifier:latest

3. 部署到 Kubernetes

创建一个名为 my_deployment.yaml 的文件，定义资源规格：

apiVersion: resources.yatai.ai/v1alpha1
kind: BentoRequest
metadata:
    name: iris-classifier
    namespace: yatai
spec:
    bentoTag: iris_classifier:3oevmqfvnkvwvuqj  # 请使用 bentoml list iris_classifier 查看实际标签
---
apiVersion: serving.yatai.ai/v2alpha1
kind: BentoDeployment
metadata:
    name: my-bento-deployment
    namespace: yatai
spec:
    bento: iris-classifier
    ingress:
        enabled: true
    resources:
        limits:
            cpu: "500m"
            memory: "512Mi"
        requests:
            cpu: "250m"
            memory: "128Mi"
    autoscaling:
        maxReplicas: 10
        minReplicas: 2
    runners:
        - name: iris_clf
          resources:
              limits:
                  cpu: "1000m"
                  memory: "1Gi"
              requests:
                  cpu: "500m"
                  memory: "512Mi"
          autoscaling:
              maxReplicas: 4
              minReplicas: 1

应用部署配置：

kubectl apply -f my_deployment.yaml

最后检查部署状态：

kubectl get BentoDeployment -n yatai