Determined 是一个一体化深度学习平台，兼容 PyTorch 和 TensorFlow。

它负责：

• 分布式训练，以加快结果产出。
• 超参数调优，以获得最佳模型。
• 资源管理，以降低云 GPU 成本。
• 实验跟踪，以便进行分析和复现。

Determined 的工作原理

Determined 的主要组成部分包括 Python 库、命令行界面 (CLI) 和 Web UI。

Python 库

使用 Python 库可以使您现有的 PyTorch 或 TensorFlow 代码与 Determined 兼容。

您可以通过将代码组织到基于类的 API 中来实现这一点：

from determined.pytorch import PyTorchTrial

class YourExperiment(PyTorchTrial):
  def __init__(self, context):
    ...

或者通过 Core API 使用您需要的函数：

import determined as det

with det.core.init() as core_context:
    ...

命令行界面 (CLI)

您可以使用 CLI 来：

• 在本地启动 Determined 集群：

det deploy local cluster-up

• 在云服务上部署 Determined，例如 Amazon Web Services (AWS) 或 Google Cloud Platform (GCP)：

det deploy aws up

• 训练您的模型：

det experiment create gpt.yaml .

使用 YAML 文件配置从分布式训练到超参数调优的所有内容：

resources:
  slots_per_trial: 8
  priority: 1
hyperparameters:
  learning_rate:
    type: double
    minval: .0001
    maxval: 1.0
searcher:
  name: adaptive_asha
  metric: validation_loss
  smaller_is_better: true

Web UI

使用 Web UI 可以查看损失曲线、超参数图表、代码和配置快照、模型注册表、集群利用率、调试日志、性能剖析报告等。

安装

安装 CLI：

pip install determined

然后使用 det deploy 在本地或 AWS、GCP 等云服务上启动 Determined 集群。

有关安装详情，请访问适用于您环境的集群部署指南：

• 本地（自建）
• AWS
• GCP
• Kubernetes
• Slurm/PBS

示例

通过探索 examples 文件夹 和 determined-examples 仓库 中的 30 多个示例，熟悉 Determined。

文档

• 文档
• 快速入门指南
• 教程：
  • PyTorch MNIST 教程
  • TensorFlow Keras MNIST 教程
• 用户指南：
  • Core API
  • PyTorch API
  • Keras API
  • DeepSpeed API

社区

如果您需要帮助、想要提交 bug 报告，或者只是想及时了解 Determined 的最新动态，请加入 Determined 社区！

• Slack 是提问关于 Determined 问题并获得支持的最佳场所。点击此处加入我们的 Slack。
• 您也可以在 YouTube 和 Twitter 上关注我们。
• 您还可以加入 社区邮件列表，提出关于项目的问题并接收公告。
• 如需报告 bug，请在 GitHub 上 打开一个 issue。
• 如需报告安全问题，请发送邮件至 security@determined.ai。

贡献

贡献者指南

许可证

Apache V2

Determined 快速上手指南

Determined 是一个全功能的深度学习平台，兼容 PyTorch 和 TensorFlow。它专注于分布式训练、超参数调优、资源管理及实验追踪，帮助开发者更高效地训练模型并降低成本。

环境准备

在开始之前，请确保满足以下前置条件：

• 操作系统：Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker Desktop。
• Python 版本：Python 3.7 - 3.10。
• 深度学习框架：已安装 PyTorch 或 TensorFlow（根据项目需求）。
• 容器运行时：若部署集群，需安装 Docker 和 Docker Compose；若在云环境或 K8s 部署，需配置相应的云厂商 CLI (aws/gcloud) 或 kubectl。
• 网络加速：国内用户建议配置 pip 镜像源以加速依赖下载：

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

1. 安装命令行工具 (CLI)

使用 pip 安装 Determined 客户端：

pip install determined

2. 启动本地集群

安装完成后，可使用一条命令在本地启动一个完整的 Determined 集群（基于 Docker）：

det deploy local cluster-up

注意：此命令会自动拉取所需的 Docker 镜像并启动 Master 和 Agent 服务。启动成功后，终端会显示 Web UI 的访问地址（通常为 http://localhost:8080）。

若需部署到云端（如 AWS, GCP）或 Kubernetes 集群，请使用对应的部署命令，例如：

det deploy aws up

基本使用

1. 代码适配

将现有的 PyTorch 或 TensorFlow 代码接入 Determined 非常简单。

方式 A：类式 API (推荐) 继承 PyTorchTrial 或 KerasTrial 类来组织代码：

from determined.pytorch import PyTorchTrial

class YourExperiment(PyTorchTrial):
  def __init__(self, context):
      # 初始化模型、优化器等
      ...
  
  def train_batch(self, batch, epoch_idx, batch_idx):
      # 定义单步训练逻辑
      ...

方式 B：核心 API (Core API) 如果不想重构类结构，可以使用函数式接口包裹现有逻辑：

import determined as det

with det.core.init() as core_context:
    # 在此上下文中运行你的训练代码
    # core_context 提供日志记录和指标上报功能
    ...

2. 配置实验

创建一个 YAML 配置文件（例如 gpt.yaml），定义资源、超参数搜索策略等：

resources:
  slots_per_trial: 8
  priority: 1
hyperparameters:
  learning_rate:
    type: double
    minval: .0001
    maxval: 1.0
searcher:
  name: adaptive_asha
  metric: validation_loss
  smaller_is_better: true

3. 运行实验

使用 CLI 提交实验，Determined 将自动处理分布式训练和超参数搜索：

det experiment create gpt.yaml .

4. 查看结果

打开浏览器访问 Web UI（本地默认为 http://localhost:8080），你可以：

• 实时查看 Loss 曲线和指标图表。
• 对比不同超参数组合的实验效果。
• 查看代码快照、日志详情及性能分析报告。
• 管理模型注册表。

---

更多详细教程和示例代码，请访问 官方文档 或 GitHub 上的 examples 文件夹。