字节潜在变换器

本仓库包含我们论文的代码：“字节潜在变换器：补丁的扩展性优于标记”

• 论文链接

摘要

我们提出了字节潜在变换器架构（BLTs），这是一种全新的字节级大语言模型架构。该架构首次在大规模下达到了基于标记的大语言模型性能，并显著提升了推理效率和鲁棒性。BLT将字节编码为动态大小的补丁，这些补丁作为主要的计算单元。补丁会根据下一个字节的熵动态分割，在数据复杂度较高的地方分配更多的计算资源和模型容量。BLT架构还包括新的注意力机制，以最大化字节与补丁隐藏表示之间的信息流动，以及一种新型的字节序列记忆。我们首次对字节级模型进行了规模扩展研究，参数量最高达80亿，训练字节数达8万亿，首次证明了我们可以直接从原始字节端到端地大规模训练模型，而无需任何标记化或其他预处理步骤。规模扩展趋势表明，平均选择非常长的补丁能够带来训练和推理效率上的优势，同时通过建模字节序列，还能在推理能力和长尾泛化方面实现质的提升。

开发状态

我们正在积极更新BLT代码，以便更轻松地复现我们的实验结果。请提交问题或耐心等待，我们会逐步公开更多代码！

快速入门

您可以通过三种方式创建您的环境。

选项1：conda + pip

在终端或脚本中运行以下命令：

git clone https://github.com/facebookresearch/blt
cd blt
conda create -n blt python=3.12
conda activate blt
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu121
pip install ninja
pip install -v -U git+https://github.com/facebookresearch/xformers.git@de742ec3d64bd83b1184cc043e541f15d270c148
pip install -r requirements.txt

选项2：Slurm作业构建环境

git clone https://github.com/facebookresearch/blt
cd blt

bash setup/create_env.sh
# 或者如果您有SLURM集群访问权限
sbatch setup/create_env.sh

完成后，您可以激活环境：

conda activate blt_<日期>

选项3（实验性、可复现）：uv

运行以下命令以使用uv安装环境。该方法的主要优势在于其构建过程是可复现的，因为存在锁定文件。

uv pip install --group pre_build --no-build-isolation
uv pip install --group compile_xformers --no-build-isolation
uv sync
uv run python download_blt_weights.py
uv run python demo.py "A BLT has"

下载HF模型权重并生成文本

我们已在HF上发布了BLT 1B模型和BLT 7B模型的权重。我们正与HF合作，计划将BLT集成到Transformers库中，届时会另行通知。在此期间，您可以按照以下步骤加载模型权重、初始化模型并生成文本。这些步骤已在H100 GPU上测试过，但对于其他硬件平台，我们只能提供一些建议。

1. 在模型权重的HF页面上，创建一个HuggingFace账户，申请访问权限，并等待批准。
2. 使用HuggingFace CLI登录：huggingface-cli login

接下来有两种选择：(1) 在我们的训练脚本中加载权重；(2) 通过HF Hub加载权重以用于其他用途。

通过HF Hub加载权重

在您的终端中：

python -m bytelatent.hf load-transformers --entropy-repo facebook/blt-entropy --blt-repo facebook/blt-1b --prompt "My test prompt" hub

在您自己的代码中：

from bytelatent.transformer import LMTransformer
from bytelatent.model.blt import ByteLatentTransformer
from bytelatent.hf import BltTokenizerAndPatcher

entropy_repo = "facebook/blt-entropy"
blt_repo = "facebook/blt-1b"
entropy_model = LMTransformer.from_pretrained(entropy_repo)
blt_model = ByteLatentTransformer.from_pretrained(blt_repo)
tok_and_patcher = BltTokenizerAndPatcher.from_pretrained(blt_repo)
tokenizer = tok_and_patcher.tokenizer_args.build()
patcher = tok_and_patcher.patcher_args.build()

加载权重以运行BLT训练脚本

1. 使用python download_blt_weights.py下载模型权重，这些权重将被加载到hf-weights目录。
2. 运行生成演示：python demo.py "A BLT has"。

该演示不仅会生成文本，也是您在自己的代码中加载BLT的一个良好起点。

下载训练数据

注意：以下说明尚未在BLT代码中充分测试，因为它们基于lingua代码，而我们已经对该代码进行了分支开发。

使用提供的脚本从HuggingFace下载并准备数据（包括fineweb_edu、fineweb_edu_10bt或dclm_baseline_1.0）。此命令将下载fineweb_edu数据，并将其准备为训练数据，存储在./data目录中，同时指定terashuf工具（用于打乱样本）将分配的内存大小。默认情况下，分块数（nchunks）为32。如果您使用的GPU数量少于32张，建议将nchunks设置为1，或者使其与GPU数量一致（nchunks = NGPUs）。更多详情请参见这里。

python setup/download_prepare_hf_data.py fineweb_edu <MEMORY> --data_dir ./data --seed 42 --nchunks <NCHUNKS>

要下载分词器（例如llama3），请使用以下脚本：

python setup/download_tokenizer.py llama3 <SAVE_PATH> --api_key <HUGGINGFACE_TOKEN>

现在启动一个调试任务来检查一切是否正常工作。提供的配置文件只是模板，您需要根据实际情况进行调整才能正常运行（更改dump_dir、data.root_dir、data.tokenizer.path等...）

# stool代表SLURM工具！
python -m bytelatent.stool script=bytelatent.train config=bytelatent/configs/debug.yaml nodes=1 partition=<partition>
# 如果您想在本地运行，可以使用torchrun
torchrun --nproc-per-node 8 -m bytelatent.train config=bytelatent/configs/debug.yaml
# 或者您也可以在1张GPU上运行
python -m bytelatent.train  config=bytelatent/configs/debug.yaml

使用stool时，如果作业崩溃，可以使用sbatch重新启动：

sbatch path/to/dump_dir/submit.slurm

代码检查

要进行代码检查，请运行以下命令：

bash dev/lint.sh

引用

BLT 部分基于 Meta Lingua，因此如果您复用我们的工作，除了引用我们的 BLT 论文外，也请一并引用 Meta Lingua。

BLT 论文引用（即将更新至 arXiv）

@article{meta_blt,
  author = {Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman†, Srinivasan Iyer},
  title = {字节潜伏 Transformer：补丁的扩展性优于标记},
  url = {https://github.com/facebookresearch/blt},
  year = {2024}
}

Lingua 代码

@misc{meta_lingua,
  author = {Mathurin Videau, Badr Youbi Idrissi, Daniel Haziza, Luca Wehrstedt, Jade Copet, Olivier Teytaud, David Lopez-Paz},
  title = {{Meta Lingua}: 一个极简的 {PyTorch LLM} 训练库},
  url = {https://github.com/facebookresearch/lingua},
  year = {2024}
}

许可证

BLT 代码部分基于 Meta Lingua。

Meta BLT 采用 CC-BY-NC-4.0 许可证。详情请参阅顶级目录下的 LICENSE 文件。

BLT (Byte Latent Transformer) 快速上手指南

BLT 是一种全新的字节级大语言模型架构，通过动态将字节编码为不同大小的“补丁”（Patches）进行计算，无需传统分词即可实现与基于 Token 的模型相当的性能，并在推理效率和鲁棒性上具有显著优势。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.12
• GPU: 推荐使用 NVIDIA GPU (测试环境为 H100)，需安装 CUDA 12.1 驱动
• 前置依赖:
  • conda 或 uv (包管理工具)
  • git
  • (可选) SLURM 集群访问权限 (用于大规模训练)

安装步骤

你可以选择以下三种方式之一来构建环境。推荐方式 1 适合大多数开发者。

方式 1：Conda + Pip (推荐)

在终端中依次执行以下命令：

git clone https://github.com/facebookresearch/blt
cd blt
conda create -n blt python=3.12
conda activate blt
# 安装 PyTorch nightly 版本 (CUDA 12.1)
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu121
pip install ninja
# 安装特定版本的 xformers
pip install -v -U git+https://github.com/facebookresearch/xformers.git@de742ec3d64bd83b1184cc043e541f15d270c148
# 安装其他依赖
pip install -r requirements.txt

注意：国内用户若下载 PyTorch 或 GitHub 资源较慢，可配置相应的国内镜像源或代理加速。

方式 2：SLURM 集群脚本

如果你拥有 SLURM 集群访问权限，可以使用提供的脚本自动创建环境：

git clone https://github.com/facebookresearch/blt
cd blt

# 直接运行或在集群提交任务
bash setup/create_env.sh
# 或者
sbatch setup/create_env.sh

# 完成后激活环境 (名称包含日期)
conda activate blt_<date>

方式 3：UV (实验性，可复现)

使用 uv 工具可确保构建的可复现性（包含锁文件）：

uv pip install --group pre_build --no-build-isolation
uv pip install --group compile_xformers --no-build-isolation
uv sync

基本使用

1. 下载模型权重并生成文本

目前官方已发布 BLT 1B 和 BLT 7B 模型权重。使用前需在 Hugging Face 上申请访问权限并通过 CLI 登录。

第一步：获取权重

# 登录 Hugging Face (需先申请权限)
huggingface-cli login

# 下载权重到本地 hf-weights 目录
python download_blt_weights.py

第二步：运行演示生成文本

python demo.py "A BLT has"

2. 在代码中加载模型

你也可以直接在 Python 代码中加载模型进行推理或二次开发：

from bytelatent.transformer import LMTransformer
from bytelatent.model.blt import ByteLatentTransformer
from bytelatent.hf import BltTokenizerAndPatcher

# 定义仓库名称
entropy_repo = "facebook/blt-entropy"
blt_repo = "facebook/blt-1b"  # 或 facebook/blt-7b

# 加载模型组件
entropy_model = LMTransformer.from_pretrained(entropy_repo)
blt_model = ByteLatentTransformer.from_pretrained(blt_repo)
tok_and_patcher = BltTokenizerAndPatcher.from_pretrained(blt_repo)

# 构建分词器和补丁生成器
tokenizer = tok_and_patcher.tokenizer_args.build()
patcher = tok_and_patcher.patcher_args.build()

3. 命令行快速推理 (通过 HF Hub)

如果不希望先下载权重文件，可以直接通过命令行从 Hub 加载并生成：

python -m bytelatent.hf load-transformers --entropy-repo facebook/blt-entropy --blt-repo facebook/blt-1b --prompt "My test prompt" hub

4. 训练数据准备 (进阶)

若需从头训练，可下载 FineWeb-Edu 等数据集并进行预处理：

# 下载并准备数据 (MEMORY 单位为 MB, NCHUNKS 建议匹配 GPU 数量)
python setup/download_prepare_hf_data.py fineweb_edu <MEMORY> --data_dir ./data --seed 42 --nchunks <NCHUNKS>

# 下载分词器 (例如 llama3)
python setup/download_tokenizer.py llama3 <SAVE_PATH> --api_key <HUGGINGFACE_TOKEN>

启动调试训练任务：

• 单机单卡:

  python -m bytelatent.train config=bytelatent/configs/debug.yaml
  

• 单机多卡 (torchrun):

  torchrun --nproc-per-node 8 -m bytelatent.train config=bytelatent/configs/debug.yaml
  

提示：配置文件 (debug.yaml) 仅为模板，使用前请根据实际情况修改 dump_dir, data.root_dir, data.tokenizer.path 等路径参数。