NVIDIA GPU Operator

Kubernetes 通过 设备插件框架 提供对 NVIDIA GPU、网卡、Infiniband 适配器等特殊硬件资源的访问。然而，配置和管理包含这些硬件资源的节点需要设置多个软件组件，如驱动程序、容器运行时或其他库，这一过程复杂且容易出错。 NVIDIA GPU Operator 利用 Kubernetes 中的 Operator 框架 自动化管理部署 GPU 所需的所有 NVIDIA 软件组件。这些组件包括 NVIDIA 驱动程序（以启用 CUDA）、用于 GPU 的 Kubernetes 设备插件、NVIDIA 容器运行时、自动节点标签、基于 DCGM 的监控等。

目标用户与使用场景

GPU Operator 使 Kubernetes 集群管理员能够像管理 CPU 节点一样管理 GPU 节点。管理员无需为 GPU 节点准备特殊的操作系统镜像，而是可以使用适用于 CPU 和 GPU 节点的标准操作系统镜像，然后依靠 GPU Operator 来部署 GPU 所需的软件组件。

需要注意的是，GPU Operator 特别适用于 Kubernetes 集群需要快速扩展的场景——例如在云上或本地环境中新增 GPU 节点，并管理底层软件组件的生命周期。由于 GPU Operator 将包括 NVIDIA 驱动程序在内的所有内容都以容器形式运行，管理员只需启动或停止相应的容器，即可轻松替换各种组件。

快速入门

本节提供使用数据中心驱动程序部署 GPU Operator 的快速指南。

请确保您的 Kubernetes 集群满足 先决条件，并且列于 平台支持页面。

步骤 1：添加 NVIDIA Helm 仓库

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia \
    && helm repo update

步骤 2：部署 GPU Operator

helm install --wait --generate-name \
    -n gpu-operator --create-namespace \
    nvidia/gpu-operator

安装完成后，GPU Operator 及其相关组件应已正常运行。

注意： 若要在 OpenShift 上部署 GPU Operator，请遵循 官方文档 中的说明。

产品文档

有关平台支持和入门信息，请访问官方文档 仓库。

路线图

• 支持最新的 NVIDIA 数据中心 GPU、系统和驱动程序。
• 支持 RHEL 10。
• 支持 KubeVirt 与 Ubuntu 24.04。
• 将 NVIDIADriver CRD 推广至正式发布 (GA)。
• 将 NVIDIA 的 DRA GPU 驱动程序 集成为 GPU Operator 的托管组件。

网络研讨会

如何在 Kubernetes 上轻松使用 GPU

贡献

请阅读 贡献文档。您可以通过提交 拉取请求 进行贡献。

支持与帮助

如有任何问题，请在 GitHub 项目 上提交问题。我们非常感谢您的反馈。

NVIDIA GPU Operator 快速上手指南

NVIDIA GPU Operator 是一个基于 Kubernetes Operator Framework 的自动化工具，旨在简化集群中 GPU 节点的管理。它自动部署并管理 NVIDIA 驱动程序、CUDA 工具包、设备插件、容器运行时及监控组件，让管理员能够像管理 CPU 节点一样轻松管理 GPU 节点。

环境准备

在部署之前，请确保您的 Kubernetes 集群满足以下要求：

• Kubernetes 版本：需符合 官方支持的平台列表。
• 硬件资源：节点需配备支持的 NVIDIA Data Center GPU（如 Tesla, A100, H100 等）。
• 前置依赖：
  • 已安装 helm (v3+) 命令行工具。
  • 节点操作系统内核头文件已安装（用于驱动编译）。
  • 若使用云厂商托管服务，请确认是否已预装基础驱动或需要 Operator 全量管理。
• 网络访问：确保集群节点可以访问 NVIDIA Helm 仓库及相关的容器镜像仓库。
  • 注：国内用户若访问官方源较慢，建议配置本地镜像加速器或使用私有镜像仓库同步相关镜像。

安装步骤

以下是使用 Helm 快速部署 GPU Operator 的标准流程（适用于大多数标准 Kubernetes 集群）：

第一步：添加 NVIDIA Helm 仓库

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia \
    && helm repo update

第二步：部署 GPU Operator

执行以下命令将在名为 gpu-operator 的命名空间中安装 Operator 及其所有组件：

helm install --wait --generate-name \
    -n gpu-operator --create-namespace \
    nvidia/gpu-operator

注意：如果您使用的是 OpenShift 平台，请勿直接使用上述命令，务必参考 OpenShift 专用部署文档 进行操作。

安装完成后，Operator 将自动检测集群中的 GPU 节点，并开始拉取和部署所需的驱动程序及插件容器。

基本使用

部署成功后，您无需手动干预即可在 Pod 中请求 GPU 资源。GPU Operator 会自动为具备 GPU 的节点添加标签（默认为 nvidia.com/gpu.present=true）。

验证部署状态

检查 gpu-operator 命名空间下的 Pod 状态，确保所有组件（如 driver, device-plugin, toolkit 等）均为 Running 状态：

kubectl get pods -n gpu-operator

运行测试任务

创建一个简单的 YAML 文件（例如 gpu-test.yaml），请求一个 GPU 并运行 nvidia-smi 来验证功能：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-test
spec:
  restartPolicy: OnFailure
  containers:
  - name: cuda-container
    image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2
    resources:
      limits:
        nvidia.com/gpu: 1 # 请求 1 个 GPU

应用该配置并查看日志：

kubectl apply -f gpu-test.yaml
kubectl logs gpu-test

如果输出中包含向量加法计算结果或 nvidia-smi 显示的 GPU 信息，即表示 GPU Operator 已成功接管并调度 GPU 资源。