MPI 运算符

MPI 运算符使在 Kubernetes 上运行 allreduce 风格的分布式训练变得容易。请查看 这篇博客文章 ，了解 MPI 运算符及其行业采用情况。

安装

您可以通过运行以下命令以默认设置部署运算符：

• 最新开发版本

kubectl apply --server-side -f https://raw.githubusercontent.com/kubeflow/mpi-operator/master/deploy/v2beta1/mpi-operator.yaml

• 发布版本

kubectl apply --server-side -f https://raw.githubusercontent.com/kubeflow/mpi-operator/v0.8.0/deploy/v2beta1/mpi-operator.yaml

或者，您可以按照 入门指南 部署 Kubeflow。

Kubeflow 0.2.0 引入了 MPI 支持的 alpha 版本。您必须使用高于 0.2.0 的 Kubeflow 版本。

您可以通过以下命令检查是否已安装 MPI 作业自定义资源：

kubectl get crd

输出应包含 mpijobs.kubeflow.org，如下所示：

NAME                                       AGE
...
mpijobs.kubeflow.org                       4d
...

如果未包含，您可以使用 kustomize 按照以下步骤添加：

git clone https://github.com/kubeflow/mpi-operator
cd mpi-operator
kustomize build manifests/overlays/kubeflow | kubectl apply -f -

请注意，自 Kubernetes v1.14 起，kustomize 已成为 kubectl 中的一个子命令，因此您也可以运行以下命令：

自 Kubernetes v1.21 起，您可以使用：

kubectl apply -k manifests/overlays/kubeflow

kubectl kustomize base | kubectl apply -f -

创建 MPI 作业

您可以通过定义一个 MPIJob 配置文件来创建 MPI 作业。请参阅 TensorFlow 基准示例 配置文件，用于启动多节点 TensorFlow 基准训练作业。您可以根据自己的需求修改该配置文件。

cat examples/v2beta1/tensorflow-benchmarks/tensorflow-benchmarks.yaml

部署 MPIJob 资源以开始训练：

kubectl apply -f examples/v2beta1/tensorflow-benchmarks/tensorflow-benchmarks.yaml

监控 MPI 作业

一旦创建了 MPIJob 资源，您现在应该能够看到与指定 GPU 数量匹配的 Pod。您还可以从状态部分监控作业状态。以下是作业成功完成时的示例输出。

kubectl get -o yaml mpijobs tensorflow-benchmarks

apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  creationTimestamp: "2019-07-09T22:15:51Z"
  generation: 1
  name: tensorflow-benchmarks
  namespace: default
  resourceVersion: "5645868"
  selfLink: /apis/kubeflow.org/v1alpha2/namespaces/default/mpijobs/tensorflow-benchmarks
  uid: 1c5b470f-a297-11e9-964d-88d7f67c6e6d
spec:
  runPolicy:
    cleanPodPolicy: Running
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        spec:
          containers:
          - command:
            - mpirun
            - --allow-run-as-root
            - -np
            - "2"
            - -bind-to
            - none
            - -map-by
            - slot
            - -x
            - NCCL_DEBUG=INFO
            - -x
            - LD_LIBRARY_PATH
            - -x
            - PATH
            - -mca
            - pml
            - ob1
            - -mca
            - btl
            - ^openib
            - python
            - scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py
            - --model=resnet101
            - --batch_size=64
            - --variable_update=horovod
            image: mpioperator/tensorflow-benchmarks:latest
            name: tensorflow-benchmarks
    Worker:
      replicas: 1
      template:
        spec:
          containers:
          - image: mpioperator/tensorflow-benchmarks:latest
            name: tensorflow-benchmarks
            resources:
              limits:
                nvidia.com/gpu: 2
  slotsPerWorker: 2
status:
  completionTime: "2019-07-09T22:17:06Z"
  conditions:
  - lastTransitionTime: "2019-07-09T22:15:51Z"
    lastUpdateTime: "2019-07-09T22:15:51Z"
    message: MPIJob default/tensorflow-benchmarks is created.
    reason: MPIJobCreated
    status: "True"
    type: Created
  - lastTransitionTime: "2019-07-09T22:15:54Z"
    lastUpdateTime: "2019-07-09T22:15:54Z"
    message: MPIJob default/tensorflow-benchmarks is running.
    reason: MPIJobRunning
    status: "False"
    type: Running
  - lastTransitionTime: "2019-07-09T22:17:06Z"
    lastUpdateTime: "2019-07-09T22:17:06Z"
    message: MPIJob default/tensorflow-benchmarks successfully completed.
    reason: MPIJobSucceeded
    status: "True"
    type: Succeeded
  replicaStatuses:
    Launcher:
      succeeded: 1
    Worker: {}
  startTime: "2019-07-09T22:15:51Z"

训练应运行 100 步，在 GPU 集群上大约需要几分钟。您可以查看日志以了解训练进度。当作业开始时，从 launcher Pod 访问日志：

PODNAME=$(kubectl get pods -l training.kubeflow.org/job-name=tensorflow-benchmarks,training.kubeflow.org/job-role=launcher -o name)
kubectl logs -f ${PODNAME}

TensorFlow:  1.14
Model:       resnet101
Dataset:     imagenet (synthetic)
Mode:        training
SingleSess:  False
Batch size:  128 global
             64 per device
Num batches: 100
Num epochs:  0.01
Devices:     ['horovod/gpu:0', 'horovod/gpu:1']
NUMA bind:   False
Data format: NCHW
Optimizer:   sgd
Variables:   horovod

...

40	images/sec: 154.4 +/- 0.7 (jitter = 4.0)	8.280
40	images/sec: 154.4 +/- 0.7 (jitter = 4.1)	8.482
50	images/sec: 154.8 +/- 0.6 (jitter = 4.0)	8.397
50	images/sec: 154.8 +/- 0.6 (jitter = 4.2)	8.450
60	images/sec: 154.5 +/- 0.5 (jitter = 4.1)	8.321
60	images/sec: 154.5 +/- 0.5 (jitter = 4.4)	8.349
70	images/sec: 154.5 +/- 0.5 (jitter = 4.0)	8.433
70	images/sec: 154.5 +/- 0.5 (jitter = 4.4)	8.430
80	images/sec: 154.8 +/- 0.4 (jitter = 3.6)	8.199
80	images/sec: 154.8 +/- 0.4 (jitter = 3.8)	8.404
90	images/sec: 154.6 +/- 0.4 (jitter = 3.7)	8.418
90	images/sec: 154.6 +/- 0.4 (jitter = 3.6)	8.459
100	images/sec: 154.2 +/- 0.4 (jitter = 4.0)	8.372
100	images/sec: 154.2 +/- 0.4 (jitter = 4.0)	8.542
----------------------------------------------------------------
total images/sec: 308.27

有关使用 Intel MPI 的示例，请参阅：

cat examples/pi/pi-intel.yaml

有关使用 MPICH 的示例，请参阅：

cat examples/pi/pi-mpich.yaml

暴露的指标

指标名称	指标类型	描述	标签
mpi_operator_jobs_created_total	计数器	统计创建的 MPI 作业数量
mpi_operator_jobs_successful_total	计数器	统计成功的 MPI 作业数量
mpi_operator_jobs_failed_total	计数器	统计失败的 MPI 作业数量
mpi_operator_job_info	状态量	关于 MPIJob 的信息	launcher=<launcher-pod-name> namespace=<job-namespace>

联接指标

借助 kube-state-metrics，可以通过标签对指标进行联接。 例如 kube_pod_info * on(pod,namespace) group_left label_replace(mpi_operator_job_infos, "pod", "$0", "launcher", ".*")

Docker 镜像

我们为每次发布都会在 Docker Hub 上推送 mpioperator 的 Docker 镜像。 您也可以使用以下 Dockerfile 自行构建镜像：

• mpi-operator

或者，您也可以使用 make 命令来构建镜像：

make RELEASE_VERSION=dev IMAGE_NAME=registry.example.com/mpi-operator images

这将生成一个标签为 registry.example.com/mpi-operator:dev 的镜像。

贡献

更多信息请参阅 CONTRIBUTING。

MPI Operator 快速上手指南

MPI Operator 是 Kubeflow 项目的一部分，旨在让在 Kubernetes 上运行 Allreduce 风格的分布式训练变得简单。它通过自定义资源 MPIJob 来管理分布式训练任务的生命周期。

环境准备

在开始之前，请确保满足以下前置条件：

• Kubernetes 集群：需要一个正在运行的 Kubernetes 集群（建议版本 1.14+）。
• Kubeflow 版本：如果您使用完整的 Kubeflow 平台，版本需高于 0.2.0。
• kubectl 工具：已安装并配置好 kubectl，且拥有集群的管理权限。
• GPU 支持（可选但推荐）：如果运行深度学习任务，集群节点需配备 NVIDIA GPU 并安装相应的 Device Plugin。
• 网络访问：确保集群节点可以访问 Docker Hub 或配置了国内镜像加速器，以便拉取 mpioperator 相关镜像。

安装步骤

您可以直接通过 kubectl 应用 YAML 文件来部署 operator。

1. 部署 Operator

选择以下任一命令进行安装：

安装最新开发版本：

kubectl apply --server-side -f https://raw.githubusercontent.com/kubeflow/mpi-operator/master/deploy/v2beta1/mpi-operator.yaml

安装稳定发布版本 (v0.8.0)：

kubectl apply --server-side -f https://raw.githubusercontent.com/kubeflow/mpi-operator/v0.8.0/deploy/v2beta1/mpi-operator.yaml

提示：如果在国内访问 GitHub raw 地址较慢，可以先将 yaml 文件下载到本地，或使用国内镜像源托管的配置文件的地址。

2. 验证安装

检查自定义资源定义（CRD）是否已成功创建：

kubectl get crd

输出中应包含 mpijobs.kubeflow.org，如下所示：

NAME                                       AGE
...
mpijobs.kubeflow.org                       4d
...

如果未找到该 CRD，也可以通过源码使用 kustomize 安装：

git clone https://github.com/kubeflow/mpi-operator
cd mpi-operator
# Kubernetes v1.21+ 推荐使用以下命令
kubectl apply -k manifests/overlays/kubeflow

基本使用

以下以运行一个多节点 TensorFlow 基准测试任务为例，展示如何创建和监控 MPI 任务。

1. 创建 MPI 任务

MPI Operator 通过 MPIJob 资源定义任务。您可以直接使用官方提供的示例配置：

# 查看示例配置文件
cat examples/v2beta1/tensorflow-benchmarks/tensorflow-benchmarks.yaml

# 部署任务
kubectl apply -f examples/v2beta1/tensorflow-benchmarks/tensorflow-benchmarks.yaml

该示例配置会启动一个包含 Launcher（启动器）和 Worker（工作节点）的任务，利用 Horovod 进行分布式训练。

2. 监控任务状态

任务提交后，可以通过以下命令查看任务详情和状态：

kubectl get -o yaml mpijobs tensorflow-benchmarks

关注 status 部分，当 type: Succeeded 且 status: "True" 时，表示任务成功完成：

status:
  conditions:
  - lastTransitionTime: "2019-07-09T22:17:06Z"
    message: MPIJob default/tensorflow-benchmarks successfully completed.
    reason: MPIJobSucceeded
    status: "True"
    type: Succeeded

3. 查看训练日志

训练日志主要由 launcher Pod 输出。您可以使用以下命令实时查看训练进度（如每秒处理的图像数）：

PODNAME=$(kubectl get pods -l training.kubeflow.org/job-name=tensorflow-benchmarks,training.kubeflow.org/job-role=launcher -o name)
kubectl logs -f ${PODNAME}

预期输出示例：

...
40	images/sec: 154.4 +/- 0.7 (jitter = 4.0)	8.280
...
100	images/sec: 154.2 +/- 0.4 (jitter = 4.0)	8.372
----------------------------------------------------------------
total images/sec: 308.27

其他示例

除了 TensorFlow，MPI Operator 还支持其他 MPI 实现，您可以参考以下示例：

• Intel MPI: cat examples/pi/pi-intel.yaml
• MPICH: cat examples/pi/pi-mpich.yaml