minGPT

一个基于 PyTorch 的 GPT 重新实现，支持训练和推理。minGPT 致力于保持代码简洁、易懂且具有教育意义，因为目前大多数可用的 GPT 模型实现往往过于冗长。实际上，GPT 并不是一个复杂的模型，而这个实现也恰如其分地控制在约 300 行代码内（参见 mingpt/model.py）。其核心逻辑非常简单：将一串索引序列输入到一个 Transformer 中，然后输出下一个序列索引的概率分布。大部分复杂性其实都集中在如何通过巧妙地进行批处理（包括跨样本和跨序列长度的批处理）来提升效率。

注（2023年1月）：尽管我可能还会接受一些小的改动，但 minGPT 已经处于半存档状态。如需了解更近的发展，请参阅我的重写版本 nanoGPT。基本上，minGPT 在许多地方（例如笔记本、博客、课程、书籍等）被广泛引用，这让我不太愿意再对其做出较大的改动以推动代码向前发展。此外，我也希望稍微调整方向，不再仅仅专注于教育用途，而是让代码在保持简单易用的同时，具备一定的实用性（例如能够复现中等规模的工业基准、在运行效率上做出适当权衡等）。

minGPT 库由三个文件组成：mingpt/model.py 包含实际的 Transformer 模型定义；mingpt/bpe.py 包含一个经过轻微重构的字节对编码器，它与 OpenAI 在 GPT 中使用的完全一致，用于在文本和整数序列之间进行转换；mingpt/trainer.py 是与 GPT 无关的 PyTorch 样板代码，用于训练模型。此外，在 projects 文件夹中还包含多个使用该库的示例和项目：

• projects/adder 训练一个从零开始的 GPT 模型来执行加法运算（灵感来自 GPT-3 论文中的加法部分）。
• projects/chargpt 训练一个基于字符级别的语言模型，用于处理指定的输入文本文件。
• demo.ipynb 展示了如何在笔记本中以最简方式使用 GPT 和 Trainer 类，并以一个简单的排序任务为例。
• generate.ipynb 则演示了如何加载预训练好的 GPT-2 模型，并根据给定的提示生成文本。

库的安装

若要在你的项目中引入 mingpt：

git clone https://github.com/karpathy/minGPT.git
cd minGPT
pip install -e .

使用方法

以下是如何实例化一个 GPT-2（1.24亿参数版本）的示例：

from mingpt.model import GPT
model_config = GPT.get_default_config()
model_config.model_type = 'gpt2'
model_config.vocab_size = 50257 # OpenAI 模型的词汇表大小
model_config.block_size = 1024  # OpenAI 模型的块大小（即输入上下文长度）
model = GPT(model_config)

以下是训练该模型的方法：

# 你的 torch.utils.data.Dataset 子类，输出长度不超过 1024 的 torch LongTensor，
# 其中包含 [0,50257) 范围内的整数。
train_dataset = YourDataset()

from mingpt.trainer import Trainer
train_config = Trainer.get_default_config()
train_config.learning_rate = 5e-4 # 还有许多可配置的选项，详见文档
train_config.max_iters = 1000
train_config.batch_size = 32
trainer = Trainer(train_config, model, train_dataset)
trainer.run()

更多具体的示例请参考 demo.ipynb。

单元测试

目前覆盖率还不是很高，但可以通过以下命令运行测试：

python -m unittest discover tests

待办事项

• 添加针对任意文本文件的 GPT-2 微调示例。
• 添加对话代理示例。
• 改进现有项目（adder、chargpt）的结果文档。
• 引入混合精度训练及相关扩展功能。
• 实现分布式训练支持。
• 在 projects/ 目录下复现一些基准数据集，例如 text8 或其他语言建模任务。
• 替换掉当前的 print 语句，改为更专业的日志记录。
• 增加 requirements.txt 文件。
• 应该能够加载除 gpt2-* 之外的其他模型权重。

参考资料

代码：

• openai/gpt-2 提供了 TensorFlow 中的模型定义，但没有训练代码。
• openai/image-gpt 的代码中包含了一些更现代、类似 GPT-3 的改进，也是一个很好的参考。
• huggingface/transformers 提供了一个 语言建模示例。这个示例功能齐全，但也因此相对难以追踪。例如，一些大型函数中有高达 90% 的代码在默认的简单语言建模设置下是未被使用的。

论文 + 一些实现说明：

通过生成式预训练提升语言理解能力（GPT-1）

• 我们的模型基本遵循原始的 Transformer 工作。
• 我们训练了一个 12 层的仅解码器架构的 Transformer，使用掩码自注意力头（状态维度为 768，注意力头数为 12）。对于位置前馈网络，我们使用了 3072 维的内部状态。
• Adam 优化器的最大学习率为 2.5e-4。 （后来 GPT-3 对于该模型规模使用的是 6e-4）
• 学习率衰减：在前 2000 次更新中从零线性增加，并使用余弦退火调度将其衰减至零。
• 我们在 64 个随机采样的连续 512 个标记的 mini-batch 上训练 100 个 epoch。
• 由于模型中广泛使用层归一化，简单的权重初始化方法 N(0, 0.02) 就足够了。
• 使用字节对编码（BPE）词汇表，包含 40,000 次合并。
• 为了正则化，我们在残差连接、嵌入和注意力机制中分别使用了 0.1 的 dropout 率。
• 使用了 (37) 中提出的修改版 L2 正则化，对所有非偏置或增益权重设置 w = 0.01。
• 激活函数我们使用了高斯误差线性单元（GELU）。
• 我们使用了可学习的位置嵌入，而不是原始工作中提出的正弦形式。
• 微调时：我们在分类器上添加了 0.1 的 dropout 率，学习率为 6.25e-5，批量大小为 32。训练 3 个 epoch。我们使用带有 0.2% 预热期的线性学习率衰减调度。λ 设置为 0.5。
• GPT-1 模型有 12 层，d_model 为 768，参数量约为 1.17 亿。

语言模型是无监督的多任务学习者（GPT-2）

• LayerNorm 被移到每个子模块的输入端，类似于预激活残差网络。
• 在最后一个自注意力块之后，又增加了一层归一化。
• 使用了考虑了随着模型深度增加而累积在残差路径上的改进初始化方法。我们在初始化时将残差层的权重按 1/√N 的因子缩放，其中 N 是残差层的数量。（奇怪的是，在他们发布的代码中，我只看到简单地使用了旧的 0.02 初始化方式……而在他们发布的 image-gpt 代码中，我发现它只用于 c_proj，而且还是仅限于注意力机制，而非前馈网络。嗯。https://github.com/openai/image-gpt/blob/master/src/model.py）
• 词汇表扩展到 50,257 个词。
• 上下文长度由 512 增加到 1024 个标记。
• 使用更大的批量大小 512。
• GPT-2 使用了 48 层，d_model 为 1600（相比之下，原始的 GPT-1 是 12 层，d_model 为 768）。参数量约为 15.42 亿。

语言模型是少样本学习者（GPT-3）

• GPT-3：96 层，96 个注意力头，d_model 为 12,288（1750 亿参数）。
• 类似 GPT-1 的版本：12 层，12 个注意力头，d_model 为 768（1.25 亿参数）。
• 我们使用与 GPT-2 相同的模型和架构，包括其中描述的改进初始化、预归一化和可逆分词。
• 我们在 Transformer 的各层中交替使用密集和局部带状稀疏注意力模式，类似于稀疏 Transformer。
• 前馈层的大小始终是瓶颈层的四倍，即 dff = 4 ∗ dmodel。
• 所有模型都使用 nctx = 2048 个标记的上下文窗口。
• Adam 优化器设置为 β1 = 0.9，β2 = 0.95，eps = 10−8。
• 所有模型都使用 0.1 的权重衰减来提供少量正则化。（注：GPT-1 使用的是 0.01，见上文）
• 将梯度的全局范数限制在 1.0。
• 在前 3.75 亿个标记处进行线性学习率预热。随后在接下来的 2600 亿个标记内，使用余弦衰减将学习率降至其初始值的 10%。
• 根据模型规模的不同，在训练的前 40 亿到 120 亿个标记期间，逐步线性地将批量大小从较小值（3.2 万标记）增加到最大值。
• 始终使用完整的 2048 标记时间上下文窗口，并使用特殊的“文档结束”标记作为分隔符。

从像素进行生成式预训练（Image GPT）

• 处理图像时，我们选择恒等排列 πi = i，其中 1 ≤ i ≤ n，也称为光栅顺序。
• 我们通过 k-means 聚类算法，以 k = 512 的聚类数，对 (R, G, B) 像素值进行聚类，从而创建了自己的 9 位颜色 palette。
• 我们的最大模型 iGPT-XL 包含 L = 60 层，使用 d = 3072 的嵌入大小，总参数量为 68 亿。
• 我们的次大模型 iGPT-L 本质上与 GPT-2 相同，都是 L = 48 层，但嵌入大小稍小，为 d = 1536（相比 GPT-2 的 1600），总参数量为 14 亿。
• 我们使用与 GPT-2 相同的模型代码，只是按照稀疏 Transformer（Child 等，2019）中的逐层初始化方式来初始化权重，并将所有产生 logits 的投影层初始化为零。
• 我们还训练了 iGPT-M，一个 4.55 亿参数的模型，具有 L = 36 层和 d = 1024。
• iGPT-S 是一个 7600 万参数的模型，拥有 L = 24 层和 d = 512。（那么它的注意力头数是多少呢？看起来 GitHub 代码声称是 8 个。）
• 在预训练 iGPT-XL 时，我们使用 64 的批量大小并训练 200 万次迭代；而对于其他模型，则使用 128 的批量大小并训练 100 万次迭代。
• Adam 优化器设置为 β1 = 0.9 和 β2 = 0.95。
• 学习率会先预热一个 epoch，然后逐渐衰减至零。
• 我们没有使用权重衰减，因为即使应用了 0.01 的小权重衰减，也并未改善表示质量。
• iGPT-S 的学习率设为 0.003。
• 不使用 dropout。

许可证

MIT

minGPT 快速上手指南

minGPT 是一个基于 PyTorch 的 GPT 模型精简实现，旨在保持代码小巧（约 300 行）、清晰且易于教学。它涵盖了从训练到推理的完整流程，适合希望深入理解 Transformer 架构原理的开发者。

注意：该项目目前处于半归档状态。如需关注更近期的优化和工业级基准复现，建议参考作者的重写版本 nanoGPT。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上
• 核心依赖：
  • PyTorch (最新稳定版)
  • NumPy
  • tqdm (用于进度条显示)
  • torchdata (可选，视具体数据集加载方式而定)

建议使用 conda 或 venv 创建独立的虚拟环境以避免依赖冲突。

安装步骤

通过克隆仓库并以可编辑模式安装，以便您可以直接修改源码或运行示例项目。

git clone https://github.com/karpathy/minGPT.git
cd minGPT
pip install -e .

国内用户提示：如果下载速度较慢，可在 pip install 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源加速安装依赖。

基本使用

minGPT 的核心用法分为模型实例化和训练两个步骤。以下是最小化的使用示例。

1. 实例化模型

您可以轻松配置并实例化一个 GPT-2 (124M 参数) 版本的模型：

from mingpt.model import GPT

# 获取默认配置
model_config = GPT.get_default_config()

# 设置模型类型为 gpt2
model_config.model_type = 'gpt2'

# 设置词汇表大小 (OpenAI 官方模型的词汇量)
model_config.vocab_size = 50257 

# 设置上下文长度 (block_size)
model_config.block_size = 1024  

# 初始化模型
model = GPT(model_config)

2. 配置并启动训练

训练过程由 Trainer 类管理。您需要准备一个继承自 torch.utils.data.Dataset 的数据集，该数据集应返回长度不超过 block_size 的整数序列（LongTensor）。

# 假设您已经定义好了数据集类 YourDataset
# 该数据集输出形状为 [block_size] 的 LongTensor，数值范围在 [0, vocab_size)
train_dataset = YourDataset()

from mingpt.trainer import Trainer

# 获取训练默认配置
train_config = Trainer.get_default_config()

# 配置超参数
train_config.learning_rate = 5e-4  # 学习率
train_config.max_iters = 1000      # 最大迭代次数
train_config.batch_size = 32       # 批次大小

# 初始化训练器
trainer = Trainer(train_config, model, train_dataset)

# 开始训练
trainer.run()

更多具体的实战案例（如字符级语言模型、数学加法训练等），请参阅项目根目录下的 projects 文件夹及 demo.ipynb Notebook 文件。