:robot: MegaBlocks

MegaBlocks 是一个用于专家混合模型（MoE）训练的轻量级库。该系统的核心是高效的“无丢弃 MoE”（dMoE，论文）和标准的 MoE 层。

MegaBlocks 已与 Megatron-LM 集成，在其中我们支持 MoE 的数据并行、专家并行和流水线并行训练。敬请期待与 Databricks 库和工具的更紧密集成！

:rocket: 性能

与 Tutel 最佳性能的 capacity_factor 配置相比，MegaBlocks dMoEs 的性能可提升高达 40%。MegaBlocks dMoEs 采用基于块稀疏运算的 MoE 重表述，这使我们能够在不牺牲硬件效率的情况下避免丢弃令牌。此外，MegaBlocks 还通过完全移除 capacity_factor 超参数，简化了 MoE 训练过程。与使用 Megatron-LM 训练的密集型 Transformer 相比，MegaBlocks dMoEs 的训练速度最高可加快 2.4 倍。更多细节请参阅我们的 论文！

:building_construction: 安装

注意：此安装步骤假定您已安装 numpy 和 torch。

使用 Megatron-LM 训练模型： 我们建议使用 NGC 提供的 nvcr.io/nvidia/pytorch:23.09-py3 PyTorch 容器。Dockerfile 在此基础上构建，并添加了额外的依赖项。要构建镜像，请运行 docker build . -t megablocks-dev，然后执行 bash docker.sh 启动容器。进入容器后，使用 pip install . 安装 MegaBlocks。有关如何使用 MegaBlocks + Megatron-LM 训练 MoE 的说明，请参阅 使用方法。

在其他软件包中使用 MegaBlocks： 若要将 MegaBlocks 包安装到其他框架中使用，只需运行 pip install megablocks。例如，Mixtral-8x7B 可以通过这种安装方式与 vLLM 结合 MegaBlocks 运行。

附加组件： MegaBlocks 具有一些可选依赖项，可启用额外功能。

安装 megablocks[gg] 可启用基于分组 GEMM 的 dMoE 计算。此功能可通过将 mlp_impl 参数设置为 grouped 来激活。目前，这是我们推荐用于 Hopper 架构 GPU 的方案。

安装 megablocks[dev] 允许您参与 MegaBlocks 的开发并在本地进行测试。安装 megablocks[testing] 则可通过 Github Actions 进行测试。如果您已安装 megablocks[dev]，可以运行 pre-commit install 来配置 pre-commit 钩子，以便自动格式化代码。

可以通过 megablocks[all] 包一次性安装 MegaBlocks 的所有依赖项（除了 testing）。

:steam_locomotive: 使用方法

我们在 顶级目录 下提供了预训练 Transformer MoE 和 dMoE 语言模型的脚本。最快上手的方式是使用其中一个 实验启动脚本。这些脚本需要符合 Megatron-LM 格式的数据集，您可以按照其 说明 创建所需的数据集。

:writing_hand: 引用

@article{megablocks,
  title={{MegaBlocks: Efficient Sparse Training with Mixture-of-Experts}},
  author={Trevor Gale and Deepak Narayanan and Cliff Young and Matei Zaharia},
  journal={Proceedings of Machine Learning and Systems},
  volume={5},
  year={2023}
}

MegaBlocks 快速上手指南

MegaBlocks 是一个轻量级库，专为混合专家模型（MoE）训练设计。其核心是高效的“无丢弃 MoE"（dMoE）和标准 MoE 层，支持与 Megatron-LM 深度集成，实现数据、专家和流水线并行训练。

环境准备

• 系统要求：Linux 操作系统，推荐 NVIDIA GPU（特别是 Hopper 架构显卡可启用分组 GEMM 加速）。
• 前置依赖：
  • Python 环境已安装 numpy 和 torch。
  • 推荐方案：若需结合 Megatron-LM 进行大规模训练，建议使用 NVIDIA NGC 的 PyTorch 容器：nvcr.io/nvidia/pytorch:23.09-py3。

安装步骤

方案一：独立安装（适用于其他框架，如 vLLM）

若仅需在现有项目中调用 MegaBlocks（例如运行 Mixtral-8x7B），直接使用 pip 安装：

pip install megablocks

可选增强功能：

• Hopper 架构显卡加速：安装支持分组 GEMM 的版本（设置 mlp_impl=grouped 时启用）：

  pip install "megablocks[gg]"
  

• 开发模式：如需贡献代码或本地测试：

  pip install "megablocks[dev]"
  # 配置代码格式化钩子
  pre-commit install
  

• 全量依赖：安装除测试工具外的所有依赖：

  pip install "megablocks[all]"
  

方案二：结合 Megatron-LM 训练（Docker 方式）

若需进行分布式预训练，建议构建专用 Docker 镜像：

1. 构建镜像（基于 NGC 容器添加额外依赖）：

   docker build . -t megablocks-dev
   

2. 启动容器：

   bash docker.sh
   

3. 容器内安装：

   pip install .
   

基本使用

MegaBlocks 提供了用于预训练 Transformer MoE 和 dMoE 语言模型的脚本。最快捷的启动方式是使用官方提供的实验启动脚本。

1. 准备数据： 确保数据集已转换为 Megatron-LM 格式。请参考 Megatron-LM 数据预处理指南 进行操作。

2. 运行训练： 进入项目根目录，使用 exp/ 目录下的启动脚本开始训练。以下为一个典型的调用示例（具体参数需根据实际集群和数据集调整）：

   # 示例：运行 exp 目录下的启动脚本
   python exp/launch_script.py \
       --num-experts 8 \
       --expert-capacity-factor 1.0 \
       --mlp-impl grouped \
       --data-path /path/to/megatron_formatted_data
   

   提示：MegaBlocks 的 dMoE 实现无需设置 capacity_factor 超参数即可避免 Token 丢弃，从而简化了调参过程并提升了训练速度（相比密集 Transformer 最高加速 2.4 倍）。