---

最新动态

• [2026/02] 💡 Miles详细参数说明: 我们新增了详细的命令行参数指南，用于配置Miles进行强化学习训练与推理。这些参数能够精确控制集群资源、训练后端（Megatron/FSDP）、通过SGLang实现的推理优化，以及强化学习算法的超参数。链接
• [2026/01] 💎 INT4量化感知训练（QAT）: 受Kimi K2-Thinking报告启发，Miles现提供全栈INT4 W4A16 QAT流水线。这使得1TB规模的模型可完全适配单机显存（如NVIDIA H200），在保持BF16等效精度的同时，通过消除跨节点瓶颈将回放缓效率提升一倍。博客
• [2026/01] 💎 统一的VLM/LLM多轮训练: 我们实现了VLM多轮采样范式。开发者只需编写自定义的rollout函数，即可轻松启动针对VLM的多轮强化学习，其流程与LLM训练无异。博客
• [2026/01] 🤖 多智能体协同进化: Miles现支持MrlX，一种新颖的异步多智能体协同进化框架。通过使不同专长的智能体共生共进，可在医生-患者模拟和DeepResearch等复杂任务中取得更优性能。[链接]
• [2025/12] 🔄 回放路由重放（R3）: 与SGLang合作推出R3，以解决MoE强化学习中的不稳定问题。R3会记录推理过程中的路由决策，并在训练时将其重放，从而有效消除“训练-推理不匹配”，防止Qwen3、DeepSeek-V3等大型MoE模型的训练崩溃。[论文] [文档]
• [2025/11] 🔥 统一FP8发布: 通过确保训练与推理采用完全一致的FP8量化逻辑，解决了MoE强化学习中的稳定性问题。[博客]
• [2025/11] ⚡ 强化学习中的推测解码: 将推测性回放与在线SFT结合，利用草稿模型大幅提升了吞吐量。[博客]
• [2025/11] 🎉 Miles项目启动: 由InfiXAI、蚂蚁集团、SGLang RL团队及Miles社区联合发起。[公告]

什么是Miles？

Miles是一个高性能、企业级的强化学习（RL）框架，专为大规模模型的后训练优化而设计。作为**slime的强大分支，Miles通过集成SGLang实现高吞吐量回放，以及Megatron-LM**进行可扩展训练，从而弥合了研究级强化学习与生产级可靠性之间的差距。

"千里之行，始于足下。" —— Miles专注于底层系统优化，使大规模强化学习更加稳定、高效且可复现。

---

核心特性

🌪️ 先进的MoE与低精度训练

• 统一FP8流水线: 首个实现端到端FP8采样与训练的框架。通过统一回放与训练中的精度，Miles消除了因量化差异而导致的大规模MoE模型强化学习崩溃问题。
• 回放路由重放（R3）: 在SGLang推理过程中记录专家路由决策，并在训练时将其重放，以确保专家路由的一致性。
• INT4 QAT支持: 推荐用于1TB以上规模的模型，通过显著降低内存占用，实现单机部署（如H200）。

🛡️ 消除训练-推理不匹配

• 训练与推理日志概率位级完全一致: 通过内核级优化（FlashAttention-3、DeepGEMM），从系统层面实现确定性的前向/反向传播。
• 算法修正（TIS/MIS）: 当不匹配不可避免时，Miles提供截断重要性采样（TIS）和掩码重要性采样（MIS），以缓解离策略偏差，防止训练发散。

⚡ 极致性能与效率

• 推测性强化学习训练: 通过使用在线SFT草稿模型，可实现25%以上的回放缓效率提升。与固定草稿模型不同，Miles会在强化学习过程中更新草稿策略，以防止策略漂移。
• 零拷贝权重同步: 通过CUDA IPC零拷贝映射、异步张量收集和分桶扁平化，优化了权重重新加载过程。与标准HTTP/RPC传输相比，同步时间缩短了50%。
• 部分回放与过采样: 针对多轮强化学习中的“长尾效应”，通过过采样请求并回收未完成的轨迹，最大化GPU利用率。

模型支持与训练多样性

🏗️ 支持的模型

Miles支持广泛的最先进架构，尤其侧重于DeepSeek、Qwen、Llama等主流模型。

家族	支持的模型
DeepSeek	R1、V3、V3.2
Qwen	Qwen 2、2.5、3
Llama	Llama 3、3.1、3.3、4
Gemma	Gemma 2、3、3N
GLM	GLM-4.5、GLM-4.6、GLM-4.7
MiniMax	M2、M2.1
其他	Mistral、Mixtral、Phi、gpt-oss，以及任何由SGLang和Megatron支持的模型

🧩 多样的训练场景

Miles旨在应对现代强化学习工作负载的复杂性，覆盖多个维度：

• 多轮交互: 针对复杂的多回合对话及工具使用场景进行了优化。
• VLM与LLM支持: 提供统一的框架，适用于视觉-语言模型和纯文本模型。
• 推理与编码: 针对数学/逻辑推理和编码代理任务提供了专门的配方和优化。
• 多智能体训练: 支持高级的协同训练及多智能体强化学习。

---

快速入门

安装

我们建议使用官方的 Docker 镜像，以获得最佳性能和兼容性：

# 拉取最新镜像
docker pull radixark/miles:latest

# 或者从源码安装
pip install -r requirements.txt
pip install -e .

启动训练

Miles 为复杂的强化学习任务提供了一个统一的入口。以下是针对 Qwen3 进行 FP8 GRPO 训练的示例：

python train.py \
    --advantage-estimator grpo \
    --model-name qwen3-30b-a3b \
    --hf-checkpoint /path/to/qwen3-30b-a3b-hf \
    --rollout-batch-size 512 \
    --n-samples-per-prompt 8

有关环境设置和自定义奖励函数的完整指南，请参阅快速入门指南。

---

路线图

✅ 已完成

• 统一 FP8 端到端训练与回放
• INT4 量化感知训练 (QAT)：单机 1TB 规模模型
• 推测式强化学习 结合在线 SFT
• 多智能体强化学习（如协同进化框架 MrlX）
• 支持 DeepSeek V3.2 模型
• VLM 多轮训练
• 使 SGLang 在密集模型中与 Megatron 对齐
• 回放缓存重放 (R3)

🏗️ 进展中及计划中

• 针对 MoE 强化学习的 Zero 匹配
• 使 SGLang 在 MoE 模型中与 Megatron 对齐
• 扩散强化学习 支持
• Omni 强化学习 支持
• 扩散 LLM 强化学习 支持
• 弹性资源调度：动态调整回放与训练工作负载的比例

---

致谢

Miles 建立在大型语言模型基础设施生态中的众多杰出成果之上：

• slime：核心模块化架构及灵感来源。
• SGLang：高性能推理引擎。
• Megatron-LM：强大的大规模训练组件。

特别感谢 InfiXAI 团队、蚂蚁集团 AQ 团队、SGLang RL 团队以及 Miles 团队。同时，我们也感谢 DataCrunch 提供的算力赞助，以及 NVIDIA 在 Transformer Engine (TE) 方面的技术支持。

---

链接

• GitHub: https://github.com/radixark/miles
• Slime 项目: https://github.com/THUDM/slime
• 开发者指南: 请查阅 docs/ 和 examples/ 目录，获取深入的技术说明。

Miles 快速上手指南

Miles 是一个专为大规模模型后训练（Post-Training）打造的企业级强化学习（RL）框架。它基于 slime 开发，深度集成了 SGLang（高性能推理）和 Megatron-LM（可扩展训练），旨在解决大模型 RL 训练中的稳定性、精度匹配及效率问题，特别支持 DeepSeek、Qwen、Llama 等主流架构的 FP8/INT4 低精度训练。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• GPU: NVIDIA GPU (推荐 A100/H100/H200 以发挥 FP8/INT4 性能)，显存建议 80GB+
• CUDA: CUDA 12.1 或更高版本
• Python: Python 3.10+
• 前置依赖:
  • Docker (强烈推荐用于保证环境一致性)
  • Git
  • NVIDIA Container Toolkit (若使用 Docker)

提示：由于 Miles 涉及底层算子优化（如 FlashAttention-3, DeepGEMM），直接使用官方提供的 Docker 镜像是避免依赖冲突的最佳方案。

安装步骤

方案一：使用官方 Docker 镜像（推荐）

这是最稳定且配置最简单的安装方式，已预装所有必要依赖。

# 拉取最新版本的 Miles 镜像
docker pull radixark/miles:latest

# 启动容器（示例：挂载当前目录并启用 GPU）
docker run --gpus all -it --rm -v $(pwd):/workspace radixark/miles:latest

方案二：源码安装

如果您希望在本地环境中直接安装，请执行以下步骤：

# 克隆仓库
git clone https://github.com/radixark/miles.git
cd miles

# 安装基础依赖
pip install -r requirements.txt

# 以可编辑模式安装 Miles
pip install -e .

国内加速提示：若下载依赖较慢，建议在 pip 命令中添加国内镜像源，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Miles 提供了统一的入口脚本 train.py 来启动复杂的 RL 训练任务。以下是一个使用 FP8 GRPO 算法 对 Qwen3 模型进行训练的最小化示例。

启动训练示例

python train.py \
    --advantage-estimator grpo \
    --model-name qwen3-30b-a3b \
    --hf-checkpoint /path/to/qwen3-30b-a3b-hf \
    --rollout-batch-size 512 \
    --n-samples-per-prompt 8

参数说明：

• --advantage-estimator: 指定优势估计算法（如 grpo）。
• --model-name: 模型架构名称（支持 deepseek, qwen, llama 等）。
• --hf-checkpoint: 本地 HuggingFace 格式模型权重路径。
• --rollout-batch-size: 每次 rollout 的批次大小。
• --n-samples-per-prompt: 每个提示词生成的样本数量。

对于更复杂的场景（如多轮对话、VLM 训练、自定义奖励函数或集群配置），请参考项目根目录下的 docs/ 文档及 examples/ 文件夹中的详细教程。