KubeRay

KubeRay 是一个功能强大的开源 Kubernetes 运算符，可简化在 Kubernetes 上部署和管理 Ray 应用程序的过程。它提供多个关键组件：

KubeRay 核心：这是 KubeRay 的官方、完全维护的组件，提供了三种自定义资源定义：RayCluster、RayJob 和 RayService。这些资源旨在帮助您轻松运行各种工作负载。

• RayCluster：KubeRay 完全管理 RayCluster 的生命周期，包括集群的创建与删除、自动扩缩容以及确保容错性。

• RayJob：借助 RayJob，KubeRay 会在集群准备就绪时自动创建 RayCluster 并提交作业。您还可以配置 RayJob，使 RayCluster 在作业完成后自动删除。

• RayService：RayService 由两部分组成：一个 RayCluster 和一个 Ray Serve 部署图。RayService 提供 RayCluster 的零停机升级和高可用性。

KubeRay 生态系统：一些可选组件。

• kubectl 插件（测试版）：从 KubeRay v1.3.0 开始，您可以使用 kubectl ray 插件来简化在 Kubernetes 上部署 Ray 的常见工作流程。如果您不熟悉 Kubernetes，此插件可以大大简化在 Kubernetes 上运行 Ray 的过程。更多详情请参阅 kubectl-plugin。

• KubeRay API 服务器（Alpha 版）：它为 KubeRay 资源提供了一层简化的配置接口。KubeRay API 服务器目前被一些组织内部用于支持 KubeRay 资源管理的用户界面。更多详情请参阅 KubeRay APIServer V2。

• KubeRay 仪表板（实验版）：从 KubeRay v1.4.0 开始，我们推出了一款新的仪表板，使用户能够查看和管理 KubeRay 资源。尽管目前尚未达到生产就绪状态，但我们欢迎您的反馈。更多详情请参阅 KubeRay Dashboard。

文档

自 2023 年 9 月起，所有面向用户的 KubeRay 文档都将托管在 Ray 文档上。KubeRay 仓库仅包含与 KubeRay 开发和维护相关的文档。

快速入门

• RayCluster 快速入门
• RayJob 快速入门
• RayService 快速入门

示例

KubeRay 示例托管在 Ray 文档上。示例涵盖了广泛的使用场景，包括模型训练、LLM 在线推理、批量推理等。

Kubernetes 生态系统

KubeRay 与 Kubernetes 生态系统无缝集成，包括可观测性工具（如 Prometheus、Grafana、py-spy）、队列管理系统（如 Volcano、Apache YuniKorn、Kueue）、入口控制器（如 Nginx）等。更多详情请参阅 KubeRay 生态系统。

博客文章

• 将 Ray 扩展至 1 万个模型及以上 Workday
• Klaviyo 如何利用 Ray Serve 构建稳健的模型服务平台 Klaviyo
• Niantic 如何利用 Ray 演进 AR 地图基础设施 Niantic
• Samsara 如何利用 Ray 构建现代化机器学习平台 Samsara
• Google Cloud 如何通过 KubeRay 在 Kubernetes 上使用 Ray Google
• DoorDash 如何利用 KubeRay 构建时间序列预测的集成学习模型 DoorDash
• Red Hat 利用 Open Data Hub 大规模进行 AI/ML 模型批量训练 Red Hat
• Instacart 如何实现分布式机器学习 Instacart
• Spotify 如何利用 Ray 解放 ML 创新潜力 Spotify
• ACK 上 Ray 集群的最佳实践 Alibaba Cloud

演讲

• 在 Kubernetes 上使用 Ray 的高级模型推理技术 | KubeCon 2024 北美 Anyscale + Google
• 使用 Kuberay 和 Kubernetes 构建可扩展的 AI 基础设施 | Ray Summit 2024 Anyscale + Google
• 大规模 Ray：苹果公司弹性 GPU 管理的方法 | Ray Summit 2024 Apple
• 在 GKE 上将 Ray Train 扩展到 1 万个 Kubernetes 节点 | Ray Summit 2024 Google
• KubeSecRay：强化 Kubernetes 上的多租户 Ray 集群 | Ray Summit 2024 Microsoft
• LLM 推理的规模化：AWS Inferentia 搭配 EKS 上的 Ray Serve | Ray Summit 2024 AWS
• Roblox 如何利用 Ray 实现高效的批量推理，从而扩展机器学习规模 | Ray Summit 2024 Roblox
• Airbnb 的 LLM 发展历程：使用 Ray 进行微调 | Ray Summit 2024 Airbnb
• eBay 的 Ray：开创下一代 AI 平台 | Ray Summit 2024 eBay
• Spotify 利用 Ray 打造下一代 AI 基础设施 | Ray Summit 2024 Spotify
• Spotify 在 GKE 上使用 Ray 进行分布式 LLM 训练的方法 | Ray Summit 2024 Spotify
• Reddit 的机器学习演进：借助 Ray 和 KubeRay 扩展规模 | Ray Summit 2024 Reddit
• IBM 构建云原生 AI 平台的方法 | Ray Summit 2024 IBM
• 探索 Hinge 的 ML 平台如何借助 Ray 不断演进 | Ray Summit 2024 Hinge
• Rubrik 如何通过 Ray Serve 实现大规模 AI 应用 | Ray Summit 2024 Rubrik
• 使用 KubeRay 加速你的 AI 平台 | KubeCon 2023 北美 Anyscale + Google
• 在 Kubernetes 中使用 KubeRay 和 Kueue 管理 Ray 工作负载 Volcano + DaoCloud
• 在 TPU 上使用 KubeRay 提供大型语言模型服务 Google

开发

在提交拉取请求之前，请阅读我们的 CONTRIBUTING 指南。请参考我们的 DEVELOPMENT 文档，以在本地构建并运行测试。

参与方式

加入 Ray 的 Slack 工作区，并在以下公共频道中查找相关信息：

• #kuberay：此频道旨在帮助 KubeRay 用户解答问题。Ray 和 KubeRay 的维护者会密切关注该频道的消息。

欢迎 KubeRay 的贡献者参加每两周一次的 KubeRay 社区会议。

• 将 Ray/KubeRay Google 日历 添加到你的日历中。

安全性

如果您在此项目中发现潜在的安全漏洞，或认为自己可能发现了安全问题，请通过我们的 Slack 频道 向 KubeRay 安全团队报告。请不要创建公开的 GitHub 问题。

许可证

本项目采用 Apache-2.0 许可证 许可。

KubeRay 快速上手指南

KubeRay 是一个强大的开源 Kubernetes Operator，旨在简化 Ray 应用在 Kubernetes 上的部署与管理。它支持自动扩缩容、容错处理以及零停机升级，是运行大规模机器学习（如 LLM 训练与推理）的理想选择。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• Kubernetes 集群：版本需为 1.23+。
• kubectl：已安装并配置好与集群的连接。
• Helm：推荐用于安装 KubeRay（版本 3.10+）。
  • 国内加速建议：如果访问官方 Helm 源较慢，可配置国内镜像源（如阿里云）：

  helm repo add kuberay https://ray-project.github.io/kuberay-helm/
  # 若需使用国内镜像加速拉取 Operator 镜像，可在 values.yaml 中指定 image repository 为阿里云地址
  

• 权限：拥有在目标命名空间创建 Custom Resource Definitions (CRD) 和部署应用的权限。

安装步骤

推荐使用 Helm 进行安装，以下是标准安装流程：

1. 添加 KubeRay Helm 仓库

   helm repo add kuberay https://ray-project.github.io/kuberay-helm/
   helm repo update
   

2. 安装 KubeRay Operator 此命令将在 default 命名空间部署 KubeRay Operator。

   helm install kuberay-operator kuberay/kuberay-operator --version 1.2.0
   

   注意：请将 --version 替换为最新的稳定版本号。安装完成后，Operator 会自动注册 RayCluster、RayJob 和 RayService 三种自定义资源。

3. 验证安装 确认 Pod 处于运行状态：

   kubectl get pods
   # 应看到类似 kuberay-operator-xxxxx 的 Pod 状态为 Running
   

基本使用

安装完成后，你可以通过定义 YAML 文件来部署 Ray 应用。以下是最简单的 RayCluster 使用示例。

1. 创建 RayCluster

创建一个名为 sample-cluster.yaml 的文件，内容如下：

apiVersion: ray.io/v1
kind: RayCluster
metadata:
  name: sample-cluster
spec:
  rayVersion: '2.9.0' # 指定 Ray 版本
  headGroupSpec:
    rayStartParams:
      dashboard-host: '0.0.0.0'
    template:
      spec:
        containers:
        - name: ray-head
          image: rayproject/ray:2.9.0
          ports:
          - containerPort: 6379
            name: gcs-server
          - containerPort: 8265
            name: dashboard
          - containerPort: 10001
            name: client
          resources:
            limits:
              cpu: "1"
              memory: "2Gi"
            requests:
              cpu: "1"
              memory: "2Gi"
  workerGroupSpecs:
  - replicas: 1
    minReplicas: 1
    maxReplicas: 5
    groupName: small-group
    rayStartParams: {}
    template:
      spec:
        containers:
        - name: ray-worker
          image: rayproject/ray:2.9.0
          resources:
            limits:
              cpu: "1"
              memory: "2Gi"
            requests:
              cpu: "1"
              memory: "2Gi"

应用该配置：

kubectl apply -f sample-cluster.yaml

2. 验证与连接

查看集群状态：

kubectl get raycluster
# 输出应显示 sample-cluster 状态为 ready

获取 Head 节点的服务信息并进行端口转发，以便本地访问 Ray Dashboard：

kubectl port-forward svc/sample-cluster-head-svc 8265:8265

随后在浏览器访问 http://localhost:8265 即可看到 Ray 监控面板。

3. 提交任务 (可选)

如果你需要运行一次性任务，可以使用 RayJob 资源。创建一个 sample-job.yaml：

apiVersion: ray.io/v1
kind: RayJob
metadata:
  name: sample-job
spec:
  submissionMode: InteractiveMode # 或 ClusterMode
  entrypoint: python /home/ray/samples/sample_code.py
  rayClusterSpec:
    # 此处可复用上述 RayCluster 的配置，或者引用现有的集群
    # 为简洁起见，实际使用时通常在此处完整定义集群规格或引用已有集群
    rayVersion: '2.9.0'
    headGroupSpec:
      rayStartParams: {dashboard-host: '0.0.0.0'}
      template:
        spec:
          containers:
          - name: ray-head
            image: rayproject/ray:2.9.0
            resources:
              limits:
                cpu: "1"
                memory: "2Gi"
              requests:
                cpu: "1"
                memory: "2Gi"
    workerGroupSpecs:
    - replicas: 1
      groupName: small-group
      rayStartParams: {}
      template:
        spec:
          containers:
          - name: ray-worker
            image: rayproject/ray:2.9.0
            resources:
              limits:
                cpu: "1"
                memory: "2Gi"
              requests:
                cpu: "1"
                memory: "2Gi"

应用任务：

kubectl apply -f sample-job.yaml

KubeRay 将自动创建集群、提交代码，并在任务完成后根据配置决定是否销毁集群。