竞技场

查看 Arena 文档。

概述

Arena 是一个命令行界面，旨在帮助数据科学家以简便的方式运行和监控机器学习训练任务，并查看其结果。目前它支持单机及分布式 TensorFlow 训练。Arena 的后端基于 Kubernetes、Helm 和 Kubeflow，但数据科学家无需深入了解 Kubernetes 的复杂性。

同时，终端用户通常需要管理和调度 GPU 资源及节点。Arena 还提供了 top 命令，用于查看 Kubernetes 集群中可用的 GPU 资源。

简而言之，Arena 的目标是让数据科学家感觉像是在单机上工作，但实际上却能充分利用 GPU 集群的强大算力。

中文版请参阅 中文文档

安装

您可以按照 安装指南 进行操作。

用户指南

Arena 是一个用于轻松运行、监控机器学习训练任务并查看结果的命令行工具。请参考 用户指南 来管理您的训练任务。

演示

开发

前置条件：

• Go >= 1.8

mkdir -p $(go env GOPATH)/src/github.com/kubeflow
cd $(go env GOPATH)/src/github.com/kubeflow
git clone https://github.com/kubeflow/arena.git
cd arena
make

arena 二进制文件位于 arena/bin 目录下。您可能需要将该目录添加到 $PATH 中。

然后您可以按照 开发者安装指南 进行操作。

CPU 性能剖析

# 设置剖析频率（HZ）
export PROFILE_RATE=1000

# arena {命令} --pprof
arena list --pprof
INFO[0000] 将 CPU 剖析文件转储到 /tmp/cpu_profile

随后，您可以按照 Go CPU 性能剖析：pprof 和 speedscope 的说明来分析剖析结果。

采用者

如果您对 Arena 感兴趣，并希望与他人分享您的使用经验，欢迎将您的信息添加到 ADOPTERS.md 页面。我们将持续与您提前讨论新的需求和功能设计。

常见问题解答

请参阅 常见问题解答。

CLI 文档

请参阅 arena.md。

路线图

请参阅 路线图。

Arena 快速上手指南

Arena 是专为数据科学家设计的命令行工具，旨在简化 Kubernetes 集群上机器学习训练任务的提交、监控与结果查看。它屏蔽了底层 Kubernetes、Helm 和 Kubeflow 的复杂性，让用户拥有“单机操作体验”，同时享受 GPU 集群的强大算力。

环境准备

在开始之前，请确保满足以下前置条件：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL）。
• Kubernetes 集群：已部署可用的 K8s 集群，并安装了 Helm 和 Kubeflow 相关组件。
• kubectl：已安装并配置好访问集群的权限 (kubeconfig)。
• Go 语言环境（仅开发或从源码编译时需要）：版本 >= 1.8。
• GPU 资源（可选）：若需运行 GPU 任务，集群节点需配备 NVIDIA GPU 并安装相应驱动及 Device Plugin。

提示：国内用户若拉取 GitHub 源码或 Docker 镜像较慢，建议配置 GitHub 加速代理或使用国内镜像源（如阿里云容器镜像服务）替换默认源。

安装步骤

推荐通过官方发布的二进制文件进行安装，也可选择从源码编译。

方式一：下载二进制文件（推荐）

访问 Arena Releases 页面，下载对应操作系统的最新版本压缩包。

# 示例：下载并解压 Linux 版本（请替换为最新版本号）
wget https://github.com/kubeflow/arena/releases/download/v0.5.0/arena-v0.5.0-linux-amd64.tar.gz
tar -xvf arena-v0.5.0-linux-amd64.tar.gz

# 将二进制文件移动到系统路径
sudo mv arena /usr/local/bin/

# 验证安装
arena version

方式二：从源码编译

如果你需要自定义功能或最新开发版，可以从源码构建：

# 设置 GOPATH 并克隆代码
mkdir -p $(go env GOPATH)/src/github.com/kubeflow
cd $(go env GOPATH)/src/github.com/kubeflow
git clone https://github.com/kubeflow/arena.git
cd arena

# 编译
make

# 将生成的二进制文件加入 PATH
export PATH=$(pwd)/bin:$PATH

# 验证
arena version

注意：安装完成后，还需按照 Installation guide 完成集群端的 Helm Chart 部署，以便 Arena 能与后端交互。

基本使用

Arena 的核心功能是提交训练任务和管理资源。以下是几个最常用的命令示例。

1. 查看集群 GPU 资源

使用 top 命令快速检查集群中可用的 GPU 资源状态：

arena top node

2. 提交单机 TensorFlow 训练任务

假设你有一个名为 tf_mnist.py 的脚本位于当前目录，使用以下命令提交任务：

arena submit tf \
  --name=tf-mnist-single \
  --gpu=1 \
  --data=default:/mnt/data \
  ./tf_mnist.py

• --name: 任务名称。
• --gpu: 请求的 GPU 数量。
• --data: 挂载数据卷（格式为 卷名:容器内路径）。

3. 查看任务列表与状态

提交后，随时查看任务运行状态：

arena list

输出示例：

NAME           STATUS     TRAINER     DURATION(GPU)  NODE
tf-mnist-single RUNNING    TF          0/1            node-1

4. 查看任务日志与详情

实时监控任务日志或查看详细指标：

# 查看实时日志
arena logs tf-mnist-single

# 查看任务详细信息（包括事件、资源使用等）
arena get tf-mnist-single

5. 删除任务

任务完成后或需要终止时：

arena delete tf-mnist-single

通过以上命令，你可以轻松地在 Kubernetes 集群上管理机器学习生命周期，无需深入理解复杂的 K8s 配置。更多高级用法（如分布式训练、多框架支持）请参考 User Guide。