KAI 调度器

KAI 调度器是一款健壮、高效且可扩展的 Kubernetes 调度器，专为 AI 和机器学习工作负载优化 GPU 资源分配而设计。

该调度器旨在管理大规模 GPU 集群，包括数千个节点和高吞吐量的工作负载，因此非常适合复杂且要求苛刻的环境。KAI 调度器使 Kubernetes 集群管理员能够动态地将 GPU 资源分配给各类工作负载。

KAI 调度器支持完整的 AI 生命周期，从只需少量资源的小型交互式作业，到大型训练与推理任务，均可在同一集群中运行。它在确保资源最优分配的同时，还能维护不同用户之间的资源公平性。此外，KAI 调度器可以与集群上已安装的其他调度器并行运行。

最新消息 🔥

• [2025年11月] KubeCon NA 2025 演讲： 观看题为“闪电演讲：关注拓扑结构——针对 Kubernetes 上 AI 工作负载的更智能调度”的演讲录像链接，了解 KAI 的拓扑感知调度（TAS）如何为现代分离式推理架构优化资源放置。
• [2025年11月] 与 Grove 和 Dynamo 集成： KAI 的拓扑感知与分层 Gang 调度功能现已集成至 Grove，用于大规模编排复杂的多组件工作负载，如分离式推理和代理式流水线。更多详情请参阅博客文章。
• [2025年10月] v0.10.0 版本发布： 重磅功能上线，包括 拓扑感知调度（TAS）、分层 PodGroup 和 基于时间的公平份额。
• [2025年10月] KubeRay 集成： KAI 调度器现已原生集成至 Kubernetes 上的 Ray 工作负载。
• [2025年8月] 基于时间的公平份额： 关于基于时间的公平份额的提案已在 batch-wg 讨论中提出。观看录像。
• [2025年4月] 项目介绍： 在 batch-wg 会议上展示的KAI 调度器介绍录像。

核心特性

• 批调度：确保一组中的所有 Pod 要么同时被调度，要么完全不被调度。

• 箱装与分散调度：通过最小化碎片化（箱装）或提高弹性和负载均衡（分散调度），优化节点资源的使用。

• 工作负载优先级：在队列中有效管理工作负载的优先级。

• 工作负载优先级与抢占性的分离：支持将工作负载优先级和抢占性作为两个独立的策略进行分离。

• 层次化队列：通过两级队列层次结构来管理工作负载，实现灵活的组织控制。

• 资源分配：为每个队列自定义配额、超额权重、限制和优先级。

• 公平性策略：利用主导资源公平性（DRF）和跨队列的资源回收机制，确保资源的公平分配。

• 基于时间的公平份额：考虑历史使用情况、时间衰减等参数，对资源的使用进行精细化调整，实现随时间推移的公平使用。

• 最小保障运行时：确保调度器在一定时间内不会抢占或回收正在运行的负载，即使该负载是可抢占的。

• 工作负载整合：智能地重新分配正在运行的负载，以减少碎片化并提高集群利用率。

• 弹性工作负载：在定义的最小和最大 Pod 数范围内动态扩展工作负载。

• 动态资源分配（DRA）：通过 Kubernetes ResourceClaims 支持特定厂商的硬件资源（例如 NVIDIA 或 AMD 的 GPU）。

• 拓扑感知调度（TAS）：支持优化的放置策略，包括拓扑感知调度以及针对层次化 Pod 组的层次化拓扑感知调度。

• 层次化 Pod 组：支持组调度，并对多层级工作负载（如分布式和解聚式工作负载，例如 Dynamo/Grove）进行优化的拓扑感知调度。

• DRA 支持——支持 NVIDIA ComputeResources（GB200/GB300）的 DRA。

• 工作负载签名：KAI 调度器通过工作负载签名技术，为大规模多 Pod 提交提供性能优化。

• 调度器可解释性：基于 Kubernetes 事件，调度过程中的每一个关键步骤都会被记录。

• GPU 共享：允许多个工作负载高效共享单个或多个 GPU，从而最大化资源利用率。

• 云与本地部署支持：完全兼容动态云基础设施（包括 Karpenter 等自动伸缩器）以及静态的本地部署环境。

[!注意] KAI 调度器基于 kube-batch 构建。

前置条件

在安装 KAI 调度器之前，请确保您已具备以下条件：

• 运行中的 Kubernetes 集群
• 已安装 Helm CLI
• 已安装 NVIDIA GPU-Operator，以便能够调度请求 GPU 资源的工作负载

安装

KAI 调度器将被安装在 kai-scheduler 命名空间中。

⚠️ 在提交工作负载时，请务必使用专用命名空间。请勿将 kai-scheduler 命名空间用于工作负载提交。

安装方法

KAI 调度器可以通过以下方式安装：

• 从生产版本安装（推荐）
• 从源代码构建安装

从生产版本安装

在 releases 页面找到最新发布的版本。将 <VERSION> 替换为您希望安装的版本号后，执行以下命令：

helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler -n kai-scheduler --create-namespace --version <VERSION>

从源代码构建安装

请按照 这里 的说明进行操作。

特定发行版的说明

Openshift

当安装的 gpu-operator 版本低于 v25.10.0 时，应在安装命令中添加以下标志：

--set admission.gpuPodRuntimeClassName=null

如果启用了 CDI，还需添加 --set binder.cdiEnabled=true。

支持与重大变更

有关我们的发布生命周期、LTS 版本及受支持版本的详细信息，请参阅 支持政策。

更多关于重大变更的信息，请参阅 重大变更文档。

快速入门

要开始使用 KAI 调度器调度工作负载，请继续阅读 快速入门示例。

路线图

您可以在这里找到更新后的 KAI 调度器路线图（历史、近期及未来规划）：路线图。

社区、讨论与支持

我们非常期待您的反馈！以下是几种最佳的联系方式：

贡献

我们鼓励并欢迎任何形式的贡献！在提交 PR 之前，请先查看 KAI 调度器的 贡献指南。

Slack

请先加入 CNCF Slack，然后访问 #kai-scheduler 频道。

双周社区会议

时间： 每隔一周的周一 17:00 中欧夏令时
转换为您的时区 | 添加到日历 | 会议记录与议程

邮件列表

加入 kai-scheduler 邮件列表，以获取双周会议的最新动态。

技术问题与功能请求

如遇 bug、功能建议或需要技术支持，请在 GitHub 上提交 issue。这有助于我们跟踪请求并高效响应。

---

版权所有者为 KAI 调度器的贡献者，KAI 调度器由一系列 LF 项目有限责任公司设立。 有关网站使用条款、商标政策及其他项目政策，请参阅 lfprojects.org/policies。

KAI-Scheduler 快速上手指南

KAI-Scheduler 是一款专为 AI 和机器学习工作负载设计的健壮、高效且可扩展的 Kubernetes 调度器。它优化了 GPU 资源分配，支持大规模集群管理、拓扑感知调度（TAS）、层级队列管理及公平共享策略，适用于从交互式小任务到大规模训练推理的全生命周期场景。

环境准备

在部署 KAI-Scheduler 之前，请确保您的环境满足以下要求：

• Kubernetes 集群：拥有一个运行正常的 Kubernetes 集群。
• Helm CLI：已安装 Helm 包管理工具。
• GPU 支持（可选但推荐）：若需调度 GPU 任务，必须预先安装 NVIDIA GPU-Operator。
• 命名空间规划：请准备一个专用的命名空间用于提交业务负载，切勿使用 kai-scheduler 系统命名空间提交任务。

注意：目前官方文档未提供特定的中国镜像加速源，以下命令使用官方 OCI 仓库。如遇网络问题，请自行配置容器镜像加速器。

安装步骤

KAI-Scheduler 将默认安装在 kai-scheduler 命名空间中。推荐使用生产环境的发布版本进行安装。

1. 获取最新版本号

访问 Releases 页面 查找最新的稳定版本号（例如 v0.10.0）。

2. 执行安装命令

将下方命令中的 <VERSION> 替换为实际版本号，然后执行：

helm upgrade -i kai-scheduler oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler -n kai-scheduler --create-namespace --version <VERSION>

3. 特殊环境配置（OpenShift）

如果您在 OpenShift 环境下运行，且安装的 gpu-operator 版本低于 v25.10.0，需在上述命令中添加以下参数：

--set admission.gpuPodRuntimeClassName=null

如果同时启用了 CDI (Containerized Data Importer)，还需额外添加：

--set binder.cdiEnabled=true

基本使用

安装完成后，KAI-Scheduler 即可接管集群调度。以下是提交一个简单批处理任务的最简示例。

1. 创建专用命名空间

为避免干扰调度器自身运行，请先创建一个业务命名空间（例如 ai-workloads）：

kubectl create namespace ai-workloads

2. 提交示例任务

KAI-Scheduler 通过识别特定的注解或资源类型来管理任务。以下是一个简单的 Pod 组（PodGroup）示例，利用其**批处理调度（Batch Scheduling）**特性，确保组内所有 Pod 要么同时调度成功，要么全部等待（Gang Scheduling）。

创建文件 example-job.yaml：

apiVersion: scheduling.kai-scheduler.io/v1alpha1
kind: PodGroup
metadata:
  name: training-job-1
  namespace: ai-workloads
spec:
  minMember: 2  # 最小成员数，少于该数量则不调度任何 Pod
  queue: default # 所属队列
---
apiVersion: v1
kind: Pod
metadata:
  name: worker-0
  namespace: ai-workloads
  labels:
    scheduling.kai-scheduler.io/pod-group: training-job-1
spec:
  containers:
  - name: trainer
    image: pytorch/pytorch:latest
    command: ["echo", "Starting training..."]
    resources:
      limits:
        nvidia.com/gpu: 1 # 请求 1 个 GPU
---
apiVersion: v1
kind: Pod
metadata:
  name: worker-1
  namespace: ai-workloads
  labels:
    scheduling.kai-scheduler.io/pod-group: training-job-1
spec:
  containers:
  - name: trainer
    image: pytorch/pytorch:latest
    command: ["echo", "Starting training..."]
    resources:
      limits:
        nvidia.com/gpu: 1 # 请求 1 个 GPU

应用配置：

kubectl apply -f example-job.yaml

3. 验证调度状态

查看 Pod 状态，确认它们是否被 KAI-Scheduler 正确调度：

kubectl get pods -n ai-workloads
kubectl get events -n ai-workloads --sort-by='.lastTimestamp'

您可以通过查看事件日志了解调度器的决策过程（如排队、抢占或绑定节点），这是 KAI-Scheduler 可解释性的重要体现。

更多高级功能（如拓扑感知调度、层级队列、弹性伸缩等）的详细配置，请参考官方文档中的 Quick Start example。