DLRover 让大型 AI 模型的分布式训练变得简单、稳定、快速且环保。它能够在分布式集群上自动训练深度学习模型，帮助模型开发者专注于模型架构设计，而无需关心硬件加速、分布式运行等工程细节。目前，DLRover 已支持在 K8s 和 Ray 上对深度学习训练任务进行自动化运维。其主要特性包括：

• 全场景支持：支持深度学习全场景下的分布式训练计算实现。
• 容错能力：在出现故障时，分布式训练仍可继续运行。
• 自动扩缩容：能够根据需求动态调整资源规模，以提升稳定性、吞吐量和资源利用率。
• 其他功能：
  • XPU 定时器集成：通过与运行时 XPU 定时器的集成，具备更强的运行时诊断和容错能力。
  • 闪存检查点：分布式训练可在几秒钟内从内存中的检查点恢复。

此外，DLRover 还为 PyTorch 和 TensorFlow 提供了扩展库，以加速训练过程。这些扩展库同样是开源项目，可在我们的 GitHub 仓库 中找到：

• ATorch：一个用于加速大型语言模型训练的 PyTorch 扩展库。
• TFPlus（仅限 K8S 平台）：一个用于加速搜索、推荐和广告领域训练的 TensorFlow 扩展库。

最新消息

• [2025年12月] DLRover 在 Ray 新架构上的首个正式版本发布。
• [2025年8月] 实践：使用 DLRover 进行组调度。
• [2025年3月] 论文：XPU 定时器的工作原理
• [2025年1月] EDiT：一种基于局部 SGD 的高效大型语言模型分布式训练方法，ICLR'25。
• [2024年6月] DLRover-RM 被 VLDB'24 接受。
• [2024年4月] 闪存检查点支持 HuggingFace transformers.Trainer 异步保存检查点。
• [2024年2月] 闪存检查点可在几秒钟内保存 Megatron-LM 的检查点。
• [2024年1月] 闪存检查点可在几秒钟内从故障中恢复大型模型训练。
• [2023年11月] 支持高效易用模型训练的 ATorch 发布。
• [2023年10月] AGD：一种基于分步梯度差作为预条件矩阵的自动切换优化器，NeurIPS'24。
• [2023年9月] 加权尖锐性感知最小化（WSAM）被 KDD'23 接受。
• [2023年8月] DLRover 提升了在数千张 GPU 上预训练模型训练的稳定性。
• [2023年4月] DLRover 自动扩缩 DeepRec 分布式训练作业的节点规模。

为什么选择 DLRover？

故障容忍以减少大规模训练任务的停机时间

DLRover能够在进程失败时恢复训练，而无需停止整个训练任务。DLRover用于恢复训练的操作包括：

1. 自动诊断故障原因。
2. 由于软件错误，仅重启进程而不重启节点。
3. 由于硬件错误，重启发生故障的节点。

有关详细信息，请参阅关于容错与弹性的博客。 借助故障容忍机制，在数千张GPU上训练GLM-65B的有效率从69%提升至95%。有效率是指在训练任务的总耗时中，用于计算有用新步骤的时间占比。 停机时间的详细情况如下所示：

故障容忍与闪存检查点技术，降低PyTorch训练的停机时间

除了故障容忍之外，DLRover还提供了闪存检查点，可在几秒钟内完成检查点的保存和加载。借助闪存检查点，训练可以更频繁地保存检查点，并在发生故障时将回滚步数减少到从最新检查点恢复训练的程度。闪存检查点的主要特性包括：

1. 异步将检查点持久化到存储设备。
2. 在训练进程失败时立即将检查点持久化到存储设备。
3. 训练进程重启后，直接从主机内存加载检查点。
4. 提供适用于DDP、FSDP、DeepSpeed以及Megatron-LM（cb995d5）的API接口。

该图展示了不同深度学习框架在恢复训练进程时读取检查点文件所需的I/O时间。使用DLRover闪存检查点，只需从共享内存中直接加载检查点即可在几秒钟内完成恢复，相比从SSD和NAS加载检查点要快得多。

故障容忍提升TensorFlow PS训练的稳定性

DLRover能够恢复失败的参数服务器和工作节点，从而继续进行训练。

1. DLRover可以自动启动一个具有更多内存的Pod来恢复发生OOM的节点。
2. DLRover可以将失败的工作节点的训练数据重新分配给其他工作节点。
3. DLRover可以自动扩展参数服务器的数量以适应模型规模。

在蚂蚁集团，DLRover每天都在蚂蚁集团的定制Kubernetes集群上管理数百个深度学习训练任务。除因代码错误导致的任务失败外，成功完成的任务比例从使用Kubeflow中的tf-operator时的89%提高到95%。其他不可恢复的失败原因包括数据错误、模型出现NaN损失、网络中断等。

自动扩缩容以提升训练性能和资源利用率

DLRover可以在训练任务运行时自动扩缩容资源（针对参数服务器或工作节点）。通过监控节点的工作负载和吞吐量，DLRover能够诊断出资源配置中的瓶颈。常见的瓶颈包括节点拖尾、参数服务器负载不均衡、节点CPU核心不足以及节点数量不足等问题。DLRover可以通过动态调整资源来提升训练性能。

为了提高训练吞吐量，用户通常倾向于为任务配置过剩的资源，以避免因资源不足而带来的潜在风险。然而，这往往会导致大量资源浪费。DLRover的自动扩缩容功能可以根据模型训练的需求动态分配资源，从而减少资源浪费。

动态数据分片实现弹性与容错能力

动态数据分片会将数据集拆分为许多小分片，每个分片只包含少量的训练样本。只有当工作节点用完当前分片的样本后，才会获取下一个分片。借助动态分片技术，DLRover可以：

• 如果工作节点在用完分片样本之前发生故障，可以恢复该分片。
• 通过向快速工作的节点分配更多分片，缓解节点拖尾问题。

与离线和在线深度学习的集成

凭借动态数据分片提供的数据源透明性，DLRover既可以与消耗批量数据的离线训练集成，也可以支持使用实时流式数据的在线学习。 （可通过消息队列如RocketMQ/Kafka/Pulsar等提供数据， 或作为训练接收节点部署在Flink/Spark/Ray等平台上...）

实践中，DLRover是构建端到端工业级在线学习系统的理想组件， estimator.md 提供了一个使用tf.estimator.Estimator实现的详细示例。

如何使用DLRover训练您的模型？

在Kubernetes环境下

训练PyTorch模型

我们可以使用dlrover-run来运行torchrun或torch.distributed.run可以执行的训练脚本。

pip install dlrover[k8s, torch]
dlrover-run --nnodes=1 --nproc_per_node=$NUM_TRAINERS train_scripts.py

更多详细教程包括：

• 弹性调度教程，用于支持Kubernetes上Pod的弹性和容错能力。
• 节点健康检测教程，用于检查分布式任务中的故障或慢速节点。
• 闪存检查点，用于加速训练过程中的检查点操作。

训练TensorFlow模型

我们可以通过以下步骤使用DLRover训练TensorFlow模型：

• 使用TensorFlow estimator开发TensorFlow模型。
• 在DLRover的训练配置中定义tf.dataset的输入。
• 定义读取器以从数据集文件中读取样本。

您可以参考estimator.md来使用DLRover训练模型。

在Ray环境下

与使用Kubernetes不同，在基于Ray的架构中，不仅可以使用PyTorch/TensorFlow进行训练，还支持更为复杂的异构计算场景。 用户可以自由探索并实现更通用、更复杂的深度学习计算。

两种架构（Kubernetes vs. Ray）之间的差异可在此处找到：概述

更多详细教程请参阅：统一教程

下一步计划？

• 持续演进和改进大模型训练的稳定性能力。
• 不断迭代并深入集成XPU-TIMER。
• 基于Ray的在线深度学习全栈解决方案。
• ...

贡献

请参阅 开发指南。

快速入门

在 Ray 上训练 GPT 模型。

在 Ray 上使用 OpenRLHF-PPO 进行强化学习。

Flash 检查点示例。

在 Kubernetes 上训练 PyTorch 模型。

在 Kubernetes 上训练 GPT 模型。

在 Kubernetes 上训练 TensorFlow Estimator。

社区

欢迎扫描钉钉二维码或在微信中搜索“AI Infra”加入 DLRover 群组。 钉钉二维码如下：

DLRover 快速上手指南

DLRover 是一个自动化的分布式深度学习系统，旨在让大模型的分布式训练更简单、稳定、高效且绿色。它支持在 Kubernetes 和 Ray 架构上自动进行容错处理、资源弹性伸缩和动态数据分片，帮助开发者专注于模型架构而非底层工程细节。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+ 或 CentOS 7+)
• 运行环境:
  • 方案 A (Kubernetes): 需要已部署的 K8s 集群，并配置好 kubectl 访问权限。
  • 方案 B (Ray): 需要安装 Ray 运行环境。
• Python: Python 3.8 或更高版本
• 深度学习框架: PyTorch 或 TensorFlow (根据需求选择)

前置依赖

确保已安装以下基础工具：

# 检查 Python 版本
python3 --version

# 检查 pip 版本
pip3 --version

# 若使用 K8s 方案，确保 kubectl 已配置
kubectl version --client

安装步骤

1. 安装 DLRover 核心包

推荐使用国内镜像源加速安装（如清华源或阿里源）。

通用安装命令：

pip install dlrover -i https://pypi.tuna.tsinghua.edu.cn/simple

按需安装扩展依赖：

• 针对 Kubernetes + PyTorch 用户：

  pip install "dlrover[k8s,torch]" -i https://pypi.tuna.tsinghua.edu.cn/simple
  

• 针对 Ray 架构用户：

  pip install "dlrover[ray]" -i https://pypi.tuna.tsinghua.edu.cn/simple
  

• 针对 TensorFlow 用户：

  pip install "dlrover[tf]" -i https://pypi.tuna.tsinghua.edu.cn/simple
  

基本使用

DLRover 提供了统一的命令行工具 dlrover-run，其用法与原生 torchrun 类似，但增加了弹性调度和容错能力。

场景一：在 Kubernetes 上训练 PyTorch 模型

这是最常用的场景，适用于大规模分布式训练。

1. 准备训练脚本 假设你有一个标准的 PyTorch 分布式训练脚本 train_scripts.py（兼容 torch.distributed.run）。

2. 执行训练任务 使用 dlrover-run 替换 torchrun。以下示例启动一个包含 1 个节点、每个节点使用 $NUM_TRAINERS 个进程的任務：

   export NUM_TRAINERS=4
   dlrover-run --nnodes=1 --nproc_per_node=$NUM_TRAINERS train_scripts.py
   

   说明：DLRover 会自动监控节点状态。如果发生硬件故障，它会自动重启失败节点；如果是软件错误，仅重启进程，无需停止整个训练任务。

场景二：在 Ray 上训练模型 (以 NanoGPT 为例)

Ray 架构支持更复杂的异构计算场景。

1. 启动 Ray 集群 (如果尚未启动)

   ray start --head
   

2. 运行训练示例 DLRover 提供了现成的示例脚本。你可以直接运行官方提供的 NanoGPT 示例：

   # 进入示例目录 (需先 git clone 本项目)
   cd examples/unified/elastic/nanogpt
   
   # 运行训练脚本
   python run.py --ray_address=localhost:6379
   

进阶功能：秒级断点续训 (Flash Checkpoint)

为了减少故障恢复时间，DLRover 支持 Flash Checkpoint，可将保存/加载检查点的时间从分钟级降低到秒级。

在代码中启用： 在你的 PyTorch 训练代码中，引入 DLRover 的检查点接口（具体 API 参考 examples/pytorch/fcp_demo.py）：

from dlrover.python.elastic_agent.master_client import MasterClient

# 初始化客户端
client = MasterClient()

# 保存检查点 (异步持久化到存储，故障时从内存快速加载)
# 伪代码示例，具体实现请参考官方 demo
if should_save_checkpoint:
    client.report_checkpoint_state(checkpoint_data)

效果：即使训练中断，恢复过程也可在数秒内完成，显著提升千卡规模训练的 Goodput（有效计算时间占比）。

---

更多详细教程（如弹性调度配置、节点健康检测、TensorFlow Estimator 集成等），请参阅项目官方文档。