Kubernetes AI 工具链运营商（KAITO）

有什么新内容！
现在 KAITO 中可以运行所有 vLLM 支持的模型。
最新版本：2026年4月15日。KAITO v0.10.0。
首次发布：2023年11月15日。KAITO v0.1.0。

KAITO 是一套运营商工具集，可在 Kubernetes 集群中自动化部署 LLM 模型推理、微调以及 RAG（检索增强生成）引擎。 与其他推理模型部署方法相比，KAITO 具有以下关键优势：

• 简化 CRD API，移除详细的部署参数。控制器为关键推理引擎调度参数提供优化的预设配置，例如流水线并行度 (PP)、数据并行度 (DP)、张量并行度 (TP)、最大模型长度等。
• 使用节点自动供应器 (NAP) 根据准确的模型内存估算来供应 GPU 资源，使控制器能够选择分布式推理的最佳节点数量。
• 利用 GPU 节点内置的本地 NVMe 作为模型存储——推理无需额外存储。
• 支持任何 vLLM 支持的 HuggingFace 模型。

架构

KAITO 遵循经典的 Kubernetes 自定义资源定义 (CRD)/控制器设计模式来进行工作负载编排，并与 Gateway API Inference Extension 集成以支持基于 LLM 的路由。

• Workspace：作为管理 LLM 推理/微调工作负载的基本构建块的 CRD。该 API 提供了一种大大简化的体验，用于在 Kubernetes 中部署 LLM 模型——用户只需提供 GPU 实例类型和 HuggingFace 模型 ID，控制器将：
  • 根据 GPU 实例类型和模型元数据估算 GPU 内存需求，并计算所需的 GPU 数量；
  • 通过集成 Karpenter API（NodePool）触发 GPU 节点自动供应；
  • 根据 GPU 硬件拓扑优化调度，为单节点/多节点推理配置推理引擎参数。

目前仅支持 vLLM 引擎。支持 LoRA 适配器。默认启用 KVCache 卸载。

• InferenceSet：专为管理同一模型的 Workspace 实例副本数量而设计的 CRD。主要用于根据推理请求负载对 Workspace 进行自动扩展。它会响应由 KEDA 自动伸缩器决定的扩容/缩容操作，该自动伸缩器使用由 KEDA 插件收集的 vLLM 指标。
• InferencePool：KAITO 通过为每个 InferenceSet 创建相应的 InferencePool 对象和 EPP（端点选择器，可实现 KVCache 感知路由），集成 Gateway API Inference Extension。它可以与任何支持推理扩展的外部网关协同工作。

注意：在此仓库中，开源的 gpu-provisioner 被用于端到端测试，并在各种文档中被提及。KAITO 可以与任何其他支持 Karpenter-core API 的节点供应器一起使用。

KAITO 还支持 RAGEngine 运营商。它简化了管理检索增强生成 (RAG) 服务的流程。

• RAGEngine：定义 RAG 服务组件的 CRD，包括 LLM 端点（可选）、嵌入服务和向量数据库。控制器将创建所有必需的组件。
• 向量数据库：支持内置的 FAISS 内存向量数据库（默认），也可指定 Qdrant/Milvus 持久化数据库。
• Embedding：支持本地和远程嵌入服务，用于将文档嵌入到向量数据库中。
• RAGService：利用 LlamaIndex 编排的核心服务。它支持常用的 API，例如 /index 用于索引文档，/v1/chat/completion 用于拦截 LLM 调用并自动附加检索到的上下文，以及 /retrieve 用于与 MCP 服务器集成。/retrieve API 使用倒数排名融合 (RRF) 混合搜索算法，结合 BM25 稀疏检索和向量密集检索的结果。

有关服务 API 的详细信息，请参阅此 文档。

入门指南

• 安装：请参阅此处的指南，了解如何使用 Helm 安装核心组件（Workspace、InferenceSet），以及此处的指南，了解如何使用 Terraform 进行安装。
• 快速入门：请参阅此处的快速入门指南，了解如何使用 KAITO 运行您的第一个模型！
• 自动伸缩：请参阅此文档，了解如何配置 KAITO 和 KEDA 以启用推理工作负载的自动伸缩功能。
• 使用 HuggingFace 运行自定义模型：如果您计划使用 HuggingFace 运行任何自定义模型，请参阅此文档。请注意：KAITO 仅支持托管在 HuggingFace 上的自定义模型。
• CPU 模型：请参阅此文档，了解如何使用 aikit 运行 CPU 模型。
• RAGEngine：请参阅此处的安装指南和使用文档。

贡献

了解更多

本项目欢迎贡献与建议。为确保我们能够合法使用您的贡献，所有贡献者需签署贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。有关详情，请访问 CNCF 的 CLA。

当您提交拉取请求时，CLA 机器人将自动判断您是否需要提供 CLA，并相应地标记您的 PR（例如添加状态检查或评论）。您只需按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需完成一次此流程。

本项目已采用 CNCF 的 CLA，请通过 https://easycla.lfx.linuxfoundation.org 在线签署 CLA。如遇问题，您可通过 Linux Foundation 支持网站向 Linux Foundation ID 团队提交工单。

参与方式！

• 访问 CNCF Slack 中的 #KAITO 频道，讨论正在进行的功能开发及提案。
• 我们每周二下午 4:00 PST 为社区贡献者举办线上会议。欢迎加入：会议链接。
• 请参考我们的KAITO 社区会议记录文档，获取每周会议的详细内容！

许可证

参见 Apache License 2.0。

行为准则

KAITO 已采纳 云原生计算基金会行为准则。更多信息请参阅 KAITO 行为准则。

联系方式

• 如有任何问题，请发送邮件至“KAITO 开发团队”kaito-dev@microsoft.com。

KAITO 快速上手指南

KAITO (Kubernetes AI Toolchain Operator) 是一个用于在 Kubernetes 集群中自动化大语言模型（LLM）推理、微调和 RAG（检索增强生成）引擎部署的算子套件。它通过简化的 CRD API 和自动节点配置，让开发者只需关注模型 ID 和 GPU 类型，即可轻松运行 vLLM 支持的 HuggingFace 模型。

环境准备

在开始之前，请确保您的环境满足以下要求：

• Kubernetes 集群：需要一个正在运行的 Kubernetes 集群（建议版本 1.23+）。
• GPU 资源：集群需具备 NVIDIA GPU 节点支持。
• 节点自动配置器 (Node Auto-Provisioner)：
  • KAITO 依赖 Karpenter 进行 GPU 节点的自动扩缩容。
  • 需安装支持 Karpenter-core API 的 GPU 配置器（如 gpu-provisioner 或其他兼容实现）。
• 命令行工具：
  • kubectl：已配置好集群访问权限。
  • helm：v3.0+ 版本（用于安装 KAITO 核心组件）。
• 网络访问：节点需要能够访问 HuggingFace Hub 以下载模型权重，以及访问必要的容器镜像仓库。

注意：KAITO 默认利用 GPU 节点内置的本地 NVMe 存储作为模型存储，无需额外配置持久化存储卷用于推理。

安装步骤

推荐使用 Helm 安装 KAITO 的核心组件（Workspace, InferenceSet 等）。

1. 添加 Helm Chart 仓库

helm repo add kaito https://kaito-project.github.io/kaito-chart
helm repo update

2. 创建命名空间

kubectl create namespace kaito-system

3. 安装 KAITO Operator

执行以下命令安装最新版本的 KAITO：

helm install kaito kaito/kaito \
  --namespace kaito-system \
  --create-namespace \
  --wait

4. 验证安装

检查 Pod 状态，确保所有组件处于 Running 状态：

kubectl get pods -n kaito-system

基本使用

KAITO 的核心是通过 Workspace 自定义资源来部署模型。以下示例展示如何以最简单的方式部署一个 HuggingFace 模型（例如 microsoft/phi-2）。

1. 定义 Workspace 资源

创建一个名为 workspace.yaml 的文件。您只需指定目标 GPU 实例类型和 HuggingFace 模型 ID，KAITO 会自动计算所需的显存、GPU 数量并触发节点自动配置。

apiVersion: kaito.sh/v1alpha1
kind: Workspace
metadata:
  name: phi2-workspace
  namespace: default
resource:
  labelSelector:
    matchLabels:
      app: phi2-inference
  instanceType: "Standard_NC6s_v3" # 替换为您云厂商对应的 GPU 实例类型 (例如 AWS: g5.xlarge, Azure: Standard_NC6s_v3)
  count: 1
inference:
  preset:
    name: "phi-2" # 使用内置预设，或直接用 modelID
  model:
    name: "microsoft/phi-2" # HuggingFace Model ID
  engine:
    name: vllm

提示：instanceType 需根据您的云服务商实际支持的 GPU 机型填写。KAITO 会结合该机型和模型元数据自动估算显存需求。

2. 部署模型

应用配置文件：

kubectl apply -f workspace.yaml

3. 监控部署进度

KAITO 控制器将执行以下操作：

1. 估算显存并计算所需 GPU 数量。
2. 调用 Karpenter API 自动 provision 新的 GPU 节点。
3. 在新节点上启动 vLLM 推理引擎并加载模型。

查看状态：

kubectl get workspace phi2-workspace -w

当状态显示为 Ready 时，表示模型已就绪。

4. 访问模型服务

部署完成后，KAITO 会创建一个 Service。您可以通过端口转发或集群内服务发现来访问 vLLM 的标准 API 接口（兼容 OpenAI 格式）。

本地测试示例：

# 获取服务名称并端口转发
export SVC_NAME=$(kubectl get svc -l kaito.sh/workspace-name=phi2-workspace -o jsonpath='{.items[0].metadata.name}')
kubectl port-forward svc/$SVC_NAME 8080:80

# 在另一个终端发送请求
curl http://localhost:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "microsoft/phi-2",
    "prompt": "Hello, how are you?",
    "max_tokens": 50
  }'

---

下一步探索：

• 自动扩缩容：结合 KEDA 和 InferenceSet CRD 实现基于负载的自动伸缩。
• RAG 引擎：使用 RAGEngine CRD 快速搭建包含向量数据库和 Embedding 服务的 RAG 应用。
• 自定义模型：参考官方文档加载任意 vLLM 支持的 HuggingFace 模型。