复现、自动化、扩展您的数据科学工作

欢迎来到 Polyaxon，一个用于构建、训练和监控大规模深度学习应用的平台。 我们正在打造一套系统，以解决机器学习应用中的可复现性、自动化和可扩展性问题。

Polyaxon 可部署在任何数据中心或云服务提供商上，也可以由 Polyaxon 托管和管理。它支持所有主流深度学习框架，如 TensorFlow、MXNet、Caffe、Torch 等。

通过智能的容器和节点管理，Polyaxon 能够更快速、更便捷、更高效地开发深度学习应用，并将 GPU 服务器转化为团队或组织共享的自助式资源。

安装

简而言之；

• 安装 CLI

  # 安装 Polyaxon CLI
  $ pip install -U polyaxon
  

• 创建部署环境

  # 创建命名空间
  $ kubectl create namespace polyaxon
  
  # 添加 Polyaxon Chart 仓库
  $ helm repo add polyaxon https://charts.polyaxon.com
  
  # 部署 Polyaxon
  $ polyaxon admin deploy -f config.yaml
  
  # 访问 API
  $ polyaxon port-forward
  

请参阅 Polyaxon 安装指南

快速入门

简而言之；

• 开始一个项目

  # 创建一个项目
  $ polyaxon project create --name=quick-start --description='Polyaxon 快速入门。'
  

• 训练并跟踪日志与资源

  # 上传代码并启动实验
  $ polyaxon run -f experiment.yaml -u -l
  

• 仪表板

  # 启动 Polyaxon 仪表板
  $ polyaxon dashboard
  
  仪表板页面现在将在您的浏览器中打开。继续吗？[Y/n]: y
  

• 笔记本

  # 为您的项目启动 Jupyter 笔记本
  $ polyaxon run --hub notebook
  

• TensorBoard

  # 为某个运行的结果启动 TensorBoard
  $ polyaxon run --hub tensorboard -P uuid=UUID
  

请查看我们的 快速入门指南 来开始训练您的第一个实验。

分布式任务

Polyaxon 支持并简化分布式任务。根据您使用的框架，您需要部署相应的运算符，调整代码以启用分布式训练，并更新您的 Polyaxonfile。

以下是一些使用分布式训练的例子：

• 分布式 TensorFlow
• 分布式 PyTorch
• 分布式 MPI
• Horovod
• Spark
• Dask

超参数调优

Polyaxon 提供了一种类似于 Google Vizier 的超参数建议和结果管理概念，称为实验组。在 Polyaxon 中，实验组定义了搜索算法、搜索空间以及要训练的模型。

• 网格搜索
• 随机搜索
• Hyperband
• 贝叶斯优化
• Hyperopt
• 自定义迭代优化

并行执行

您可以并行运行处理或模型训练任务。Polyaxon 提供了 映射 抽象来管理并发任务。

DAG 和工作流

Polyaxon DAGs 是一种工具，提供原生容器化的引擎来运行机器学习流水线。 DAG 管理具有依赖关系的多个操作。每个操作由一个组件运行时定义。 这意味着 DAG 中的操作可以是作业、服务、分布式作业、并行执行，或者是嵌套的 DAG。

架构

文档

请查看我们的文档，了解更多关于 Polyaxon 的信息。

仪表板

Polyaxon 自带一个仪表板，用于展示您和团队成员创建的项目和实验。 要启动仪表板，只需在终端中运行以下命令：

$ polyaxon dashboard -y

项目状态

Polyaxon 目前稳定，并已在多家初创公司和财富 500 强企业中以生产模式运行。

贡献

请遵循贡献指南：为 Polyaxon 做贡献。

研究

如果您在学术研究中使用了 Polyaxon，我们非常感谢您能引用它。 欢迎随时联系我们，我们很乐意了解您的项目，并探讨如何满足您的定制化需求。

Polyaxon 快速上手指南

Polyaxon 是一个用于构建、训练和监控大规模深度学习应用的平台，旨在解决机器学习中的可复现性、自动化和扩展性问题。它支持 TensorFlow、PyTorch、MXNet 等主流框架，并能将 GPU 服务器转化为团队共享的自助服务资源。

环境准备

在开始之前，请确保您的环境满足以下要求：

• 操作系统：Linux 或 macOS（推荐在生产环境使用 Linux）。
• Kubernetes 集群：需要拥有一个可用的 Kubernetes 集群（如 Minikube, Kind, EKS, GKE, ACK 等）。
• kubectl：已安装并配置好与集群的连接。
• Helm：建议安装 Helm v3+ 用于管理部署图表。
• Python 环境：已安装 Python 3.6+ 及 pip。
• 权限：拥有创建 Namespace 和部署应用的集群权限。

安装步骤

1. 安装 Polyaxon CLI

首先通过 pip 安装命令行工具：

pip install -U polyaxon

2. 部署 Polyaxon 平台

执行以下命令创建命名空间、添加 Helm 仓库并部署 Polyaxon：

# 创建命名空间
kubectl create namespace polyaxon

# 添加 Polyaxon Helm charts 仓库
helm repo add polyaxon https://charts.polyaxon.com

# 准备配置文件 (config.yaml)
# 注意：实际生产中请根据存储类和负载均衡器类型编辑 config.yaml
# 此处使用默认配置进行演示

# 部署 Polyaxon
polyaxon admin deploy -f config.yaml

# 端口转发以访问 API (开发/测试环境常用)
polyaxon port-forward

提示：生产环境部署请参考官方文档配置 config.yaml 以适配您的云厂商存储和网络设置。

基本使用

安装完成后，您可以立即开始创建项目并运行实验。

1. 创建项目

使用 CLI 创建一个新项目：

polyaxon project create --name=quick-start --description='Polyaxon quick start.'

2. 运行实验

上传代码并启动实验（需预先准备好 experiment.yaml 定义文件）：

# -u: 上传代码，-l: 跟踪日志和资源
polyaxon run -f experiment.yaml -u -l

3. 打开仪表盘

启动本地浏览器访问 Polyaxon 仪表盘，查看项目状态、实验对比和监控数据：

polyaxon dashboard

系统提示是否打开浏览器时，输入 y 确认。

4. 启动开发环境

Polyaxon 支持一键启动 Jupyter Notebook 或 TensorBoard 进行交互式开发和调试：

启动 Jupyter Notebook：

polyaxon run --hub notebook

启动 TensorBoard（需替换 UUID 为具体运行 ID）：

polyaxon run --hub tensorboard -P uuid=UUID

通过以上步骤，您已完成 Polyaxon 的基础部署并成功运行了第一个实验流程。更多高级功能（如分布式训练、超参数调优、DAG 工作流）请参阅官方文档。