🚀 速度基准测试

🎉 新闻

• [2025/09] XTuner V1 发布！专为超大规模 MoE 模型打造的新一代训练引擎

📖 XTuner V1

XTuner V1 是一款专为超大规模 MoE 模型设计的新一代 LLM 训练引擎。与传统的 3D 并行训练架构不同，XTuner V1 针对当今学术研究中主流的 MoE 训练场景进行了优化。

核心特性

📊 无丢弃训练

• 可扩展且不复杂： 无需专家并行即可训练 200B 规模的 MoE 模型；600B 模型仅需节点内专家并行
• 优化的并行策略： 相比传统 3D 方法，专家并行维度更小，从而实现更高效的无丢弃训练

📝 长序列支持

• 内存高效设计： 通过先进的内存优化技术，在不使用序列并行的情况下，可在 64k 序列长度上训练 200B 的 MoE 模型
• 灵活扩展： 完全支持 DeepSpeed Ulysses 序列并行，最大序列长度可线性扩展
• 强大性能： 即使在长序列训练过程中出现专家负载不均衡，也能保持稳定

⚡ 更高的效率

• 超大规模： 支持高达 1T 参数的 MoE 训练
• 突破性性能： 首次实现 FSDP 训练吞吐量超越传统 3D 并行方案，适用于 200B 以上规模的 MoE 模型
• 硬件优化： 在 Ascend A3 超级节点上达到的训练效率甚至超过 NVIDIA H800

🔥 路线图

XTuner V1 致力于不断提升超大规模 MoE 模型在预训练、指令微调和强化学习方面的训练效率，尤其注重 Ascend NPU 的优化。

🚀 训练引擎

我们的愿景是将 XTuner V1 打造成一个多功能的训练后端，能够无缝集成到更广泛的开源生态系统中。

模型	GPU(FP8)	GPU(BF16)	NPU(BF16)
Intern S1	✅	✅	✅
Intern VL	✅	✅	✅
Qwen3 Dense	✅	✅	✅
Qwen3 MoE	✅	✅	✅
GPT OSS	✅	✅	🚧
Deepseek V3	✅	✅	🚧
KIMI K2	✅	✅	🚧

🧠 算法

算法组件正在积极演进。我们欢迎社区贡献——借助 XTuner V1，让您的算法规模达到前所未有的水平！

已实现

• ✅ 多模态预训练 - 完全支持视觉-语言模型训练
• ✅ 多模态监督微调 - 针对指令跟随进行了优化
• ✅ GRPO - 分组相对策略优化

即将推出

• 🔄 MPO - 混合偏好优化
• 🔄 DAPO - 动态采样策略优化
• 🔄 多轮代理式强化学习 - 先进的代理训练能力

⚡ 推理引擎集成

与领先的推理框架无缝对接：

• LMDeploy
• vLLM
• SGLang

数据准备

• 您可以使用 GraphGen 来创建用于微调的合成数据。

🤝 贡献

我们感谢所有对 XTuner 的贡献。请参阅 CONTRIBUTING.md 以获取贡献指南。

🙏 致谢

XTuner V1 训练引擎的开发深受开源社区优秀工作的启发，并在此基础上构建而成。我们向以下先驱项目致以诚挚的谢意：

训练引擎：

• Torchtitan - 用于生成式 AI 模型训练的 PyTorch 原生平台
• Deepspeed - Microsoft 的深度学习优化库
• MindSpeed - Ascend 的高性能训练加速库
• Megatron - NVIDIA 的大规模 Transformer 训练框架

强化学习：

XTuner V1 的强化学习能力得益于以下项目的洞察与最佳实践：

• veRL - Volcano Engine 面向 LLM 的强化学习
• SLIME - THU 的可扩展 RLHF 实现
• AReal - Ant Reasoning 面向 LLM 的强化学习
• OpenRLHF - 基于 Ray 的易用、可扩展且高性能的 RLHF 框架

我们衷心感谢这些项目的所有贡献者和维护者，正是他们的努力推动了大规模模型训练领域的发展。

🖊️ 引用

@misc{2023xtuner,
    title={XTuner：高效微调大语言模型的工具包},
    author={XTuner 贡献者},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}

许可证

本项目采用 Apache License 2.0 开源协议。请同时遵守所使用模型和数据集的相关许可证。

XTuner V1 快速上手指南

XTuner V1 是专为超大规模混合专家模型（MoE）打造的下一代大语言模型训练引擎。它在无需复杂专家并行的情况下即可训练 200B 规模模型，并针对昇腾（Ascend）NPU 进行了深度优化，支持长序列训练与高效强化学习。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• 硬件支持:
  • GPU: NVIDIA GPU (支持 FP8/BF16，如 H800 等)
  • NPU: 华为昇腾 Ascend A3 Supernode (BF16)
• 软件依赖:
  • Python >= 3.8
  • PyTorch (需匹配对应的 CUDA 或 CANN 版本)
  • CUDA Toolkit (GPU 用户) 或 CANN (NPU 用户)

前置检查

请确保已安装对应硬件的驱动程序及基础深度学习框架。若使用昇腾 NPU，请预先安装好 MindSpore 或兼容的 PyTorch 适配版本及 MindSpeed 库。

安装步骤

推荐使用 pip 进行安装。国内用户可使用镜像源加速下载。

1. 安装稳定版

pip install xtuner -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装最新版 (可选)

如需体验最新功能（如最新的 MoE 优化策略），可从源码安装：

git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证安装

安装完成后，运行以下命令检查版本及可用性：

xtuner version

基本使用

XTuner V1 的核心优势在于通过配置文件驱动训练，支持从预训练、指令微调到强化学习的全流程。以下是一个最简单的指令微调（SFT）示例流程。

1. 准备配置文件

XTuner 内置了多种主流模型（如 InternLM, Qwen, DeepSeek 等）的预设配置。列出所有可用配置：

xtuner list-cfg

假设我们要微调 Intern S1 模型，选择一个合适的配置文件（例如 intern_s1_7b_qlora_alpaca_e3.py），将其复制到当前目录或直接引用。

2. 准备数据

确保你的数据集格式符合 XTuner 要求（通常为 JSONL 格式，包含 conversation 字段）。 提示：你也可以使用 GraphGen 生成合成数据进行微调。

3. 启动训练

使用 xtuner train 命令启动训练。以下示例使用内置配置并在单卡上运行：

xtuner train intern_s1_7b_qlora_alpaca_e3 --work-dir ./output_intern_s1

关键参数说明：

• intern_s1_7b_qlora_alpaca_e3: 配置文件名称（自动识别模型架构与并行策略）。
• --work-dir: 指定模型权重、日志和检查点的输出目录。

4. 转换与部署

训练完成后，将 LoRA 权重合并到基座模型中，以便推理使用（以 LMDeploy 为例）：

xtuner convert merge \
    ./path/to/base_model \
    ./output_intern_s1/iter_300.pth \
    ./merged_model \
    --max-shard-size 2GB

合并后的模型可直接通过 LMDeploy 进行高性能推理：

from lmdeploy import pipeline

pipe = pipeline("./merged_model")
response = pipe("你好，请介绍一下你自己。")
print(response)

注意：XTuner V1 已原生支持多模态预训练及 GRPO 强化学习算法，具体配置请参考官方配置文件目录中的高级示例。