LLM Foundry

本仓库包含使用 Composer 和 MosaicML 平台 进行 LLM 训练、微调、评估及推理部署的相关代码。该代码库设计简洁易用、高效且灵活，可帮助用户快速尝试最新的技术方法。

在本仓库中，您将找到：

• llmfoundry/ - 模型、数据集、回调函数、工具等源代码
• scripts/ - 用于运行 LLM 工作负载的脚本
  • data_prep/ - 将原始文本数据转换为 StreamingDataset 格式
  • train/ - 训练或微调 HuggingFace 和 MPT 模型，参数规模从 1.25 亿到 700 亿不等
    • train/benchmarking - 用于性能分析训练吞吐量和 MFU
  • inference/ - 将模型转换为 HuggingFace 或 ONNX 格式，并生成响应
    • inference/benchmarking - 用于评估推理延迟和吞吐量
  • eval/ - 在学术（或自定义）上下文学习任务上评估 LLM
• mcli/ - 使用 MCLI 和 MosaicML 平台 启动上述各类工作负载
• TUTORIAL.md - 对本仓库的深入介绍、示例工作流及常见问题解答

DBRX

DBRX 是由 Databricks Mosaic 团队训练的最先进开源 LLM。它采用专家混合（MoE）架构，并基于优化后的 Composer、LLM Foundry 和 MegaBlocks 进行训练。该模型总参数量为 1320 亿，活跃参数量为 360 亿。我们已发布了两款 DBRX 模型：

模型	上下文长度	下载
DBRX Base	32768	https://huggingface.co/databricks/dbrx-base
DBRX Instruct	32768	https://huggingface.co/databricks/dbrx-instruct

我们的模型权重和代码对研究人员及商业实体均开放许可。Databricks 开源许可证可在 LICENSE 中找到，其可接受使用政策则可在此处查阅：这里。

有关 DBRX 模型的更多信息，请参阅 https://github.com/databricks/dbrx。

MPT

Mosaic 预训练 Transformer（MPT）是一系列 GPT 风格的模型，具备多项特色功能——高效的 Flash Attention、支持长上下文外推的 ALiBi 机制，以及用于缓解损失骤增的稳定性改进。作为 MosaicML Foundation 系列的一部分，我们已开源了多款 MPT 模型：

模型	上下文长度	下载	是否可用于商业用途？
MPT-30B	8192	https://huggingface.co/mosaicml/mpt-30b	是
MPT-30B-Instruct	8192	https://huggingface.co/mosaicml/mpt-30b-instruct	是
MPT-30B-Chat	8192	https://huggingface.co/mosaicml/mpt-30b-chat	否
MPT-7b-8k	8192	https://huggingface.co/mosaicml/mpt-7b-8k	是
MPT-7b-8k-Chat	8192	https://huggingface.co/mosaicml/mpt-7b-8k-chat	否
MPT-7B	2048	https://huggingface.co/mosaicml/mpt-7b	是
MPT-7B-Instruct	2048	https://huggingface.co/mosaicml/mpt-7b-instruct	是
MPT-7B-Chat	2048	https://huggingface.co/mosaicml/mpt-7b-chat	否
MPT-7B-StoryWriter	65536	https://huggingface.co/mosaicml/mpt-7b-storywriter	是

如需在本地试用这些模型，请按照 scripts/inference/README.md 中的说明，使用我们的 hf_generate.py 或 hf_chat.py 脚本，通过 HF 模型进行交互式生成。

MPT 社区

社区为 MPT 所做的精彩工作让我们倍感振奋！以下是我们整理的一些相关链接：

• ReplitLM：replit-code-v1-3b 是一款专注于代码补全的 27 亿参数因果语言模型。该模型基于 Stack Dedup v1.2 数据集的一个子集进行训练，涵盖 Java、Python、C++ 等 20 种编程语言。
• LLaVa-MPT：通过视觉指令微调，使 MPT 具备多模态能力。
• ggml：针对消费级硬件优化的 MPT 版本，可实现高效推理。
• GPT4All：一款可在本地运行的聊天系统，现已支持 MPT！
• Q8MPT-Chat：由英特尔团队开发的 8 位优化版 MPT，专为 CPU 设计。

社区分享的教学视频：

• @jamesbriggs 的 使用 MPT-7B 与 Langchain
• AItrepreneur 的 MPT-7B StoryWriter 简介
• @AIology2022 的 单 GPU 上微调 MPT-7B
• @VRSEN 的 如何在 Google Colab 上微调 MPT-7B-Instruct

如果您发现遗漏的内容，欢迎提交 PR 参与贡献！

最新消息

• 博客：推出DBRX：一款全新的前沿开源大模型
• 博客：使用英特尔Gaudi2 AI加速器进行大模型训练与推理
• 博客：利用AMD MI250 GPU大规模训练大模型
• 博客：使用AMD MI250 GPU和MosaicML训练大模型
• 博客：宣布MPT-7B-8K：8K上下文长度用于文档理解
• 博客：使用AMD MI250 GPU和MosaicML训练大模型
• 博客：MPT-30B：为开源基础模型树立新标杆
• 博客：推出MPT-7B
• 博客：在H100上对大模型进行基准测试
• 博客：极速的大模型评估
• 博客：以50万美元获得GPT3级别的质量
• 博客：轻松实现十亿参数GPT的训练

硬件与软件要求

该代码库已在配备NVIDIA A100和H100显卡的PyTorch 2.4环境中进行了测试。 此代码库也可能在搭载其他设备的系统上运行，例如消费级NVIDIA显卡和AMD显卡，但我们目前并未积极测试这些系统。 如果您在其他系统上成功或失败地使用LLM Foundry，请通过Github问题告知我们，我们将更新支持矩阵！

设备	Torch版本	CUDA版本	状态
A100-40GB/80GB	2.7.0	12.8	:white_check_mark: 支持
H100-80GB	2.7.0	12.8	:white_check_mark: 支持

MosaicML Docker镜像

我们强烈建议使用我们预构建的Docker镜像。您可以在以下地址找到它们：https://hub.docker.com/orgs/mosaicml/repositories。

mosaicml/pytorch镜像固定了特定的PyTorch和CUDA版本，稳定且很少更新。

mosaicml/llm-foundry镜像则会在每次向main分支提交时生成新的标签。您可以选择特定的提交哈希，如mosaicml/llm-foundry:2.7.0_cu128-9867a7b，也可以使用最新的版本mosaicml/llm-foundry:2.7.0_cu128-latest。

请注意： mosaicml/llm-foundry镜像并未预装llm-foundry包，仅安装了依赖项。您仍需从PyPi或源码中执行pip install llm-foundry。

Docker镜像	Torch版本	CUDA版本	是否已安装LLM Foundry依赖？
mosaicml/pytorch:2.7.0_cu128-python3.12-ubuntu22.04	2.7.0	12.8（Infiniband）	否
mosaicml/llm-foundry:2.7.0_cu128-latest	2.7.0	12.8（Infiniband）	是
mosaicml/llm-foundry:2.7.0_cu128_aws-latest	2.7.0	12.8（EFA）	是

安装

此处假设您已安装PyTorch、CMake和packaging。若未安装，可通过pip install cmake packaging torch进行安装。

要开始使用，首先克隆仓库并设置环境。具体步骤会因您是否使用Docker而略有不同。

使用Docker（推荐）

我们强烈建议在Docker容器内使用LLM Foundry（请参阅上方推荐的Docker镜像）。若您决定这样做，请按照以下步骤克隆仓库并安装所需依赖。

git clone https://github.com/mosaicml/llm-foundry.git
cd llm-foundry
pip install -e ".[gpu]"  # 或者如果无NVIDIA GPU，则使用`pip install -e .`

不使用Docker（不推荐）

如果您选择不使用Docker，则应创建并使用虚拟环境。

git clone https://github.com/mosaicml/llm-foundry.git
cd llm-foundry

# 创建并激活虚拟环境
python3 -m venv llmfoundry-venv
source llmfoundry-venv/bin/activate

pip install cmake packaging torch  # setup.py需要这些包

pip install -e ".[gpu]"  # 或者如果无NVIDIA GPU，则使用`pip install -e .`

TransformerEngine与amp_fp8支持

NVIDIA H100显卡支持FP8；我们在Docker镜像中已安装Flash Attention和Transformer（见上文）。若您未使用我们的Docker镜像，可按如下方式安装这些包：

pip install flash-attn --no-build-isolation
pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable

有关启用TransformerEngine层和amp_fp8的更多详细信息，请参阅此处。

AMD（测试版支持）

根据我们对AMD GPU的测试结果（详见这里），环境设置包括：

git clone https://github.com/mosaicml/llm-foundry.git
cd llm-foundry

# 创建并激活虚拟环境
python3 -m venv llmfoundry-venv-amd
source llmfoundry-venv-amd/bin/activate

# 安装
pip install cmake packaging torch
pip install -e .  # 这会安装一些不必要的东西，但不会造成影响
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2

最后，还需安装支持ROCm的flash attention（安装说明在此）。

注意事项：

1. 目前我们尚未有所有组件完美兼容的Docker镜像。您可能需要调整某些包的版本（例如，在我们的案例中，曾将numpy降级至1.23.5），才能确保一切正常运行。

Intel Gaudi

LLM Foundry对Intel Gaudi设备的支持尚处于实验阶段，请使用habana_alpha分支，并参考该分支的README文件，其中包含安装说明及已知问题。

关于Intel Gaudi2加速器在训练与推理方面的性能结果，请参阅我们的博客：https://www.databricks.com/blog/llm-training-and-inference-intel-gaudi2-ai-accelerators

快速入门

注意 请务必先完成上述安装步骤，再尝试快速入门！

以下是准备 C4 数据集子集、训练一个 MPT-125M 模型 10 个批次、将模型转换为 HuggingFace 格式、在 Winograd 挑战上评估模型，并生成提示响应的端到端工作流。

(请记住，这只是用于演示工具的快速入门——要获得高质量的结果，LLM 至少需要训练超过 10 个批次 😄)

cd scripts

# 将 C4 数据集转换为 StreamingDataset 格式
python data_prep/convert_dataset_hf.py \
  --dataset allenai/c4 --data_subset en \
  --out_root my-copy-c4 --splits train_small val_small \
  --concat_tokens 2048 --tokenizer EleutherAI/gpt-neox-20b --eos_text '<|endoftext|>'

# 训练一个 MPT-125m 模型，共 10 个批次
composer train/train.py \
  train/yamls/pretrain/mpt-125m.yaml \
  variables.data_local=my-copy-c4 \
  train_loader.dataset.split=train_small \
  eval_loader.dataset.split=val_small \
  max_duration=10ba \
  eval_interval=0 \
  save_folder=mpt-125m

# 将模型转换为 HuggingFace 格式
python inference/convert_composer_to_hf.py \
  --composer_path mpt-125m/ep0-ba10-rank0.pt \
  --hf_output_path mpt-125m-hf \
  --output_precision bf16 \
  # --hf_repo_for_upload user-org/repo-name

# 在部分任务子集上评估模型
composer eval/eval.py \
  eval/yamls/hf_eval.yaml \
  icl_tasks=eval/yamls/copa.yaml \
  model_name_or_path=mpt-125m-hf

# 生成提示响应
python inference/hf_generate.py \
  --name_or_path mpt-125m-hf \
  --max_new_tokens 256 \
  --prompts \
    "生命、宇宙以及幸福的答案是" \
    "这里有一个快速烘焙巧克力曲奇饼干的食谱：首先"

注意：上述用于训练模型的 composer 命令指的是 Composer 库中的分布式启动器。

如果你拥有可写权限的 HuggingFace 认证令牌，你还可以选择将你的模型上传到 Hub！只需按如下方式导出你的令牌：

export HF_TOKEN=your-auth-token

然后取消注释上面调用 inference/convert_composer_to_hf.py 中包含 --hf_repo_for_upload ... 的那一行。

注册表

你可以使用注册表来自定义你的工作流程，而无需分叉该库。LLM Foundry 的一些组件是可以注册的，例如模型、日志记录器和回调函数。这意味着你可以为这些组件注册新的选项，然后在你的 YAML 配置中使用它们。

发现可注册的组件

为了帮助查找和理解可注册的组件，你可以使用 llmfoundry registry CLI 命令。

目前我们提供了两个命令：

• llmfoundry registry get [--group]：列出所有注册表及其组件，也可以选择指定某个特定的注册表。示例用法：llmfoundry registry get --group loggers 或 llmfoundry registry get
• llmfoundry registry find <group> <name>：获取关于特定已注册组件的信息。示例用法：llmfoundry registry find loggers wandb

对于这些命令中的任何一个，都可以使用 --help 查看更多信息。

这些命令还可以帮助你了解每个注册表的具体组成，因为每个注册表都包含一段文档字符串，会在打印时显示出来。其基本概念是，每个注册表定义了一个接口，而注册到该注册表的组件必须实现这个接口。如果当前库中存在某些无法扩展的部分，但你认为应该可以扩展，请提交一个问题！

如何注册

有几种方法可以注册一个新的组件：

Python 入口点

如果你正在构建一个包含注册组件的自有包，可以通过 Python 入口点来指定注册的组件。 这通常是当你计划对 LLM Foundry 进行大规模扩展并覆盖许多组件时的预期用法。需要注意的是，通过入口点注册的内容会覆盖直接在代码中注册的组件。

例如，以下内容将在 llm_foundry.loggers 注册表中以 my_logger 为键注册 MyLogger 类：

[build-system]
requires = ["setuptools>=42", "wheel"]
build-backend = "setuptools.build_meta"

[project]
name = "foundry_registry"
version = "0.1.0"
dependencies = [
    "mosaicml",
    "llm-foundry",
]

# 注意：尽管在 Python 代码中应为 llmfoundry.registry.loggers，
# 但在 entry_points 中必须写成 "llmfoundry_loggers"。也就是说，
# 名称各部分之间需要用下划线连接，在 entry_points 部分也是如此。
[project.entry-points."llmfoundry_loggers"]
my_logger = "foundry_registry.loggers:MyLogger"

如果通过入口点开发新组件，需要注意的是，Python 入口点在整个 Python 环境中是全局的。这意味着，如果有多个包使用相同的键注册组件，最后安装的那个包所使用的组件将会生效。这在覆盖 LLM Foundry 中的组件时非常有用，但也可能因疏忽而导致意外行为。此外，如果你修改了 pyproject.toml 文件，就需要重新安装该包才能使更改生效。你可以通过运行 pip install -e . --no-deps 来快速完成这一操作，从而避免重新安装依赖项。

直接调用注册

你也可以直接在代码中注册一个组件：

from composer.loggers import LoggerDestination
from llmfoundry.registry import loggers

class MyLogger(LoggerDestination):
    pass

loggers.register("my_logger", func=MyLogger)

装饰器

你还可以使用装饰器直接从代码中注册组件：

from composer.loggers import LoggerDestination
from llmfoundry.registry import loggers

@loggers.register("my_logger")
class MyLogger(LoggerDestination):
    pass

无论是直接调用还是使用装饰器的方法，如果你使用 LLM Foundry 的训练/评估脚本，都需要提供 code_paths 参数，即一个列表，其中包含了执行以注册你的组件所需的文件路径。例如，你可能有一个名为 foundry_imports.py 的文件，内容如下：

from foundry_registry.loggers import MyLogger
from llmfoundry.registry import loggers

loggers.register("my_logger", func=MyLogger)

然后你需要在你的 YAML 配置中为训练/评估脚本提供 code_paths：

...
code_paths:
  - foundry_imports.py
...

以上方法之一通常适用于你只对 LLM Foundry 进行小规模扩展，仅覆盖少数几个组件，因此不想创建整个包的情况。

了解更多关于 LLM Foundry 的信息！

请查看 TUTORIAL.md，继续学习如何使用 LLM Foundry。该教程重点介绍了示例工作流，引导您找到仓库中的其他资源，并解答了常见问题！

联系我们

如果您在使用代码时遇到任何问题，请直接向本仓库提交 GitHub 问题。

如果您希望在 MosaicML 平台上训练大语言模型，请通过 demo@mosaicml.com 与我们联系！

LLM Foundry 快速上手指南

LLM Foundry 是一个用于训练、微调、评估和部署大语言模型（LLM）的开源代码库，基于 Composer 构建。它支持从 1.25 亿到 700 亿参数的 HuggingFace 和 MPT 模型，并提供了 DBRX 和 MPT 系列模型的官方支持。

环境准备

系统要求

• 硬件: 推荐使用 NVIDIA A100 (40GB/80GB) 或 H100 (80GB) GPU。虽然可能在消费级 NVIDIA 显卡或 AMD 显卡上运行，但未经过官方全面测试。
• 软件版本:
  • PyTorch: 2.7.0 (推荐)
  • CUDA: 12.8
• 前置依赖: 需预先安装 cmake, packaging, torch。

Docker 环境（强烈推荐）

为了简化环境配置，建议使用官方预建的 Docker 镜像。

• 基础镜像: mosaicml/pytorch:2.7.0_cu128-python3.12-ubuntu22.04 (仅含依赖)
• 完整镜像: mosaicml/llm-foundry:2.7.0_cu128-latest (含 LLM Foundry 依赖，但仍需安装包本身)

注意：国内用户若拉取 Docker Hub 较慢，可配置阿里云、腾讯云等国内容器镜像加速器。

安装步骤

方式一：使用 Docker（推荐）

1. 启动容器并挂载代码目录（示例）：

   docker run --gpus all -it --rm -v $(pwd):/workspace mosaicml/llm-foundry:2.7.0_cu128-latest bash
   

2. 在容器内克隆仓库并安装：

   git clone https://github.com/mosaicml/llm-foundry.git
   cd llm-foundry
   # 可选：配置 pip 国内源加速安装
   # pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   pip install -e ".[gpu]"
   

   (若无 NVIDIA GPU，请使用 pip install -e .)

方式二：本地环境安装（不推荐）

若不使用 Docker，请创建虚拟环境进行安装：

# 1. 克隆仓库
git clone https://github.com/mosaicml/llm-foundry.git
cd llm-foundry

# 2. 创建并激活虚拟环境
python3 -m venv llmfoundry-venv
source llmfoundry-venv/bin/activate

# 3. 安装基础依赖
pip install cmake packaging torch

# 4. 安装 LLM Foundry (建议配置国内 pip 源)
# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install -e ".[gpu]"

可选：启用 FP8 支持 (仅限 H100)

如果未使用官方 Docker 镜像且需要在 H100 上启用 FP8 加速，需额外安装：

pip install flash-attn --no-build-isolation
pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable

基本使用

LLM Foundry 提供了多种脚本用于数据处理、训练和推理。以下是最基础的本地交互式推理示例。

运行交互式生成 (Inference)

使用提供的脚本加载 HuggingFace 格式的模型（如 MPT-7B）并进行对话或文本生成。

单轮生成示例:

python scripts/inference/hf_generate.py \
    --model mosaicml/mpt-7b \
    --prompt "Hello, how are you?" \
    --max_new_tokens 100

交互式聊天示例:

python scripts/inference/hf_chat.py \
    --model mosaicml/mpt-7b-instruct

主要功能模块说明

• 数据准备: scripts/data_prep/ - 将原始文本转换为 StreamingDataset 格式。
• 训练/微调: scripts/train/ - 支持训练或微调 125M 至 70B 参数量的模型。
• 评估: scripts/eval/ - 在学术基准或自定义任务上评估模型性能。
• MCLI 集成: 通过 mcli/ 目录可直接在 MosaicML 平台上启动大规模训练任务。

更多详细工作流和高级用法请参考项目根目录下的 TUTORIAL.md 文件。