关于

本仓库包含两个组件：Megatron-LM 和 Megatron Core。

Megatron-LM 是一个参考示例，包含了 Megatron Core 以及预配置的训练脚本。非常适合研究团队、学习分布式训练以及快速实验。

Megatron Core 是一个可组合的库，提供针对 GPU 优化的构建模块，适用于自定义训练框架。它提供了 Transformer 的基础组件、先进的并行化策略（TP、PP、DP、EP、CP）、混合精度支持（FP16、BF16、FP8、FP4）以及模型架构。最适合框架开发者和构建自定义训练流水线的机器学习工程师使用。

Megatron Bridge 提供 Hugging Face ↔ Megatron 检查点的双向转换，并配有生产就绪的配方。

快速入门

从 PyPI 安装：

uv pip install megatron-core

或从源码克隆并安装：

git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
uv pip install -e .

注意： 从源码构建可能会占用大量内存。如果构建过程中出现内存不足的情况，可以通过设置 MAX_JOBS 来限制并行编译任务数（例如 MAX_JOBS=4 uv pip install -e .）。

有关 NGC 容器的设置及所有安装选项，请参阅 安装指南。

• 你的首次训练运行 - 包含数据准备的端到端训练示例
• 并行化策略 - 使用 TP、PP、DP、EP 和 CP 在多 GPU 上扩展训练规模
• 贡献指南 - 如何为 Megatron Core 做出贡献

最新动态

• [2026/03] 弃用 Python 3.10 支持： 我们将在即将发布的 0.17.0 版本中正式停止对 Python 3.10 的支持。下游应用必须将最低兼容版本提升至 3.12，才能与 MCore 保持兼容。
• [2026/01] 动态上下文并行化 - 通过自适应调整 CP 大小，可使变长序列训练速度提升高达 1.48 倍。
• [2025/12] Megatron Core 开发已迁移到 GitHub！ 所有开发和 CI 现在都在开源环境中进行。我们欢迎社区贡献。
• [2025/10] Megatron 开发分支 - 提供早期访问的实验性功能分支。
• [2025/10] Megatron Bridge - 用于 Hugging Face 和 Megatron 检查点之间互操作性的双向转换工具，附带热门模型的生产就绪配方。
• [2025/08] MoE 2025 年第三至第四季度路线图 - 包含 DeepSeek-V3、Qwen3、高级并行化策略、FP8 优化以及 Blackwell 性能增强在内的 MoE 功能综合路线图。
• [2025/08] GPT-OSS 模型 - YaRN RoPE 缩放、注意力汇流以及自定义激活函数等高级特性正被整合到 Megatron Core 中。
• [2025/06] Megatron MoE 模型库 - 提供 DeepSeek-V3、Mixtral 和 Qwen3 MoE 模型训练的最佳实践与优化配置，并配有性能基准测试和检查点转换工具。
• [2025/05] Megatron Core v0.11.0 为多数据中心 LLM 训练带来了新能力（博客)。

往期新闻

• [2024/07] Megatron Core v0.7 提升了可扩展性和训练容错能力，并新增了多模态训练支持（博客)。
• [2024/06] Megatron Core 新增了对 Mamba 模型的支持。请参阅我们的论文 基于 Mamba 的语言模型实证研究 和 代码示例。
• [2024/01 公告] NVIDIA 已将 Megatron-LM 中的核心功能剥离出来，发布到本仓库的 Megatron Core 中。Megatron Core 在 Megatron-LM 的 GPU 优化技术基础上，进一步引入了更前沿的系统级优化创新，具备可组合、模块化的 API。

项目结构

Megatron-LM/
├── megatron/
│   ├── core/                    # Megatron Core（内核、并行化、基础组件）
│   │   ├── models/              # Transformer 模型
│   │   ├── transformer/         # Transformer 基础组件
│   │   ├── tensor_parallel/     # 张量并行
│   │   ├── pipeline_parallel/   # 流水线并行
│   │   ├── distributed/         # 分布式训练（FSDP、DDP）
│   │   ├── optimizer/           # 优化器
│   │   ├── datasets/            # 数据集加载器
│   │   ├── inference/           # 推理引擎与服务端
│   │   └── export/              # 模型导出（如 TensorRT-LLM）
│   ├── training/                # 训练脚本
│   ├── legacy/                  # 遗留组件
│   ├── post_training/           # 后训练处理（量化、蒸馏、剪枝等）
│   └── rl/                      # 强化学习（RLHF 等）
├── examples/                    # 即用型训练示例
├── tools/                       # 工具集
├── tests/                       # 全面的测试套件
└── docs/                        # 文档

性能基准测试

有关我们最新的性能基准测试结果，请参阅 NVIDIA Megatron Bridge 性能摘要。

我们的代码库能够在数千张 GPU 上高效训练参数量从 20 亿到 4620 亿的模型，在 H100 集群上最高可达到 47% 的模型浮点运算利用率 (MFU)。

基准测试配置：

• 词汇表大小：131,072 个词元
• 序列长度：4096 个词元
• 模型缩放：通过调整隐藏层大小、注意力头数和层数来实现目标参数量
• 通信优化：与数据并行（--overlap-grad-reduce、--overlap-param-gather）、张量并行（--tp-comm-overlap）以及流水线并行（默认启用）进行细粒度重叠

关键结果：

• 6144 张 H100 GPU：成功完成了 4620 亿参数模型的训练基准测试
• 超线性扩展：随着模型规模增大，MFU 从 41% 提升至 47%-48%
• 端到端测量：吞吐量包括所有操作（数据加载、优化器步骤、通信、日志记录）
• 生产就绪：完整的训练流水线，具备检查点保存和容错能力
• 注：性能结果是在未训练至收敛的情况下测得的

弱扩展结果

我们的弱扩展结果显示了超线性扩展特性（MFU 从最小模型的 41% 增加到最大模型的 47%-48%）；这是因为较大的 GEMM 具有更高的算术强度，因此执行效率更高。

强扩展结果

我们还对标准 GPT-3 模型进行了强扩展测试（由于词汇表更大，我们的版本参数略多于 1750 亿），从 96 张 H100 GPU 扩展到 4608 张 GPU，期间始终使用 1152 个序列的固定批大小。在更大规模下，通信开销变得更加显著，导致 MFU 从 47% 降至 42%。

路线图

• MoE 路线图 - DeepSeek-V3、Qwen3、高级并行化、FP8 优化以及 Blackwell 加速

资源

获取帮助

• 📖 文档 - 官方文档
• 🐛 问题 - Bug 报告和功能请求

参与贡献

我们非常欢迎各种形式的贡献！您可以这样参与：

• 🐛 报告 Bug - 帮助我们提升系统可靠性
• 💡 提出建议 - 共同塑造 Megatron Core 的未来
• 📝 改进文档 - 让 Megatron Core 更加易用
• 🔧 提交 Pull Request - 贡献代码改进

→ 贡献指南

引用

如果您在研究或项目中使用 Megatron，我们非常感谢您采用以下引用格式：

@article{megatron-lm,
  title={Megatron-LM: 使用模型并行训练数十亿参数语言模型},
  author={Shoeybi, Mohammad 和 Patwary, Mostofa 和 Puri, Raul 和 LeGresley, Patrick 和 Casper, Jared 和 Catanzaro, Bryan},
  journal={arXiv 预印本 arXiv:1909.08053},
  year={2019}
}

uv pip install megatron-core

pip install megatron-core

git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
uv pip install -e .

torchrun --nproc_per_node=8 \
  pretrain_gpt.py \
  --tensor-model-parallel-size 2 \
  --pipeline-model-parallel-size 2 \
  --num-layers 24 \
  --hidden-size 1024 \
  --num-attention-heads 16 \
  --seq-length 2048 \
  --max-position-embeddings 2048 \
  --micro-batch-size 4 \
  --global-batch-size 128 \
  --train-iters 1000 \
  --lr-decay-iters 990 \
  --save ./checkpoints \
  --load ./checkpoints \
  --data-path ./data/my_dataset \
  --vocab-file ./vocab.json \
  --merge-file ./merges.txt \
  --data-impl mmap \
  --split 949,50,1 \
  --distributed-backend nccl \
  --lr 0.00015 \
  --min-lr 0.000015 \
  --lr-warmup-fraction .01 \
  --clip-grad 1.0 \
  --weight-decay 0.01 \
  --adam-beta1 0.9 \
  --adam-beta2 0.95 \
  --init-method-std 0.006 \
  --fp16