从零开始构建大型语言模型

本仓库包含开发、预训练和微调类似 GPT 的大型语言模型的代码，也是书籍《从零开始构建大型语言模型》（Build a Large Language Model (From Scratch)）的官方代码库。

在《从零开始构建大型语言模型》一书中，您将通过逐步从头编写代码，由内而外学习并理解大型语言模型（LLM）的工作原理。在这本书中，我将引导您创建属于自己的 LLM，并用清晰的文字、图表和示例解释每一个步骤。

本书介绍的方法用于训练和开发一个小型但功能完整的模型，以供学习之用，其流程与构建 ChatGPT 等大规模基础模型所采用的方法一致。此外，本书还提供了加载更大规模预训练模型权重以便进行微调的代码。

• 官方源代码仓库链接
• Manning 出版社官网上的图书链接
• Amazon.com 上的图书页面链接
• ISBN 9781633437166

要下载本仓库的副本，请点击“Download ZIP”按钮，或在终端中执行以下命令：

git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git

（如果您是从 Manning 网站下载的代码包，请考虑访问 GitHub 上的官方代码仓库 https://github.com/rasbt/LLMs-from-scratch，以获取最新更新。）

目录

请注意，此 README.md 文件是一个 Markdown（.md）文件。如果您是从 Manning 网站下载了本代码包，并在本地计算机上查看它，建议使用 Markdown 编辑器或预览工具以获得最佳阅读体验。如果您尚未安装 Markdown 编辑器，Ghostwriter 是一个不错的免费选择。

您也可以在 GitHub 上通过浏览器查看此文件及其他文件，网址为 https://github.com/rasbt/LLMs-from-scratch，GitHub 会自动渲染 Markdown 内容。

提示： 如果您正在寻找关于安装 Python 和 Python 包以及设置代码环境的指导，建议阅读位于 setup 目录下的 README.md 文件。

章节标题	主要代码（便于快速访问）	所有代码 + 补充材料
设置建议 如何更好地阅读本书	-	-
第1章：理解大型语言模型	无代码	-
第2章：处理文本数据	- ch02.ipynb - dataloader.ipynb（摘要） - exercise-solutions.ipynb	./ch02
第3章：实现注意力机制	- ch03.ipynb - multihead-attention.ipynb（摘要） - exercise-solutions.ipynb	./ch03
第4章：从零开始实现 GPT 模型	- ch04.ipynb - gpt.py（摘要） - exercise-solutions.ipynb	./ch04
第5章：在无标签数据上进行预训练	- ch05.ipynb - gpt_train.py（摘要） - gpt_generate.py（摘要） - exercise-solutions.ipynb	./ch05
第6章：用于文本分类的微调	- ch06.ipynb - gpt_class_finetune.py - exercise-solutions.ipynb	./ch06
第7章：按照指令进行微调	- ch07.ipynb - gpt_instruction_finetuning.py（摘要） - ollama_evaluate.py（摘要） - exercise-solutions.ipynb	./ch07
附录A：PyTorch简介	- code-part1.ipynb - code-part2.ipynb - DDP-script.py - exercise-solutions.ipynb	./appendix-A
附录B：参考文献和拓展阅读	无代码	./appendix-B
附录C：习题解答	- 习题解答列表	./appendix-C
附录D：为训练循环添加额外功能	- appendix-D.ipynb	./appendix-D
附录E：使用 LoRA 进行参数高效的微调	- appendix-E.ipynb	./appendix-E

 

下图的心理模型总结了本书涵盖的内容。

 

先决条件

最重要的先决条件是扎实的 Python 编程基础。 具备这一知识后，您将能够很好地探索 LLM 的精彩世界， 并理解本书中介绍的概念和代码示例。

如果您对深度神经网络有一定了解，可能会觉得某些概念更加熟悉，因为 LLM 正是建立在这些架构之上的。

本书使用 PyTorch 从头开始实现代码，未使用任何外部 LLM 库。虽然熟练掌握 PyTorch 并非必需，但熟悉 PyTorch 的基础知识无疑会有所帮助。如果您是 PyTorch 新手，附录 A 提供了简明的 PyTorch 入门介绍。此外，我的书籍《一小时学 PyTorch：从张量到多 GPU 训练神经网络》（https://sebastianraschka.com/teaching/pytorch-1h/）也能帮助您快速掌握 PyTorch 的核心内容。

 

硬件要求

本书主要章节中的代码设计为可在普通笔记本电脑上以合理的时间范围内运行，无需特殊硬件。这种做法确保了广泛的读者群体能够参与学习。此外，如果系统中存在 GPU，代码会自动利用 GPU 进行加速。（请参阅 设置 文档以获取更多建议。）

 

视频课程

一部长达 17 小时 15 分钟的配套视频课程，我在其中逐章编写并演示书中的代码。该课程按章节和小节组织，与书籍结构完全对应，因此既可以作为独立的学习资源，也可以作为与书籍内容相辅相成的代码实践指南。

 

配套书籍 / 续作

从零构建推理模型 虽然是一本独立的书籍，但也可被视为 从零构建大型语言模型 的续作。

本书从一个预训练模型入手，实现了多种推理方法，包括推理时缩放、强化学习和知识蒸馏等，以提升模型的推理能力。

与 从零构建大型语言模型 类似，从零构建推理模型 同样采用动手实践的方式，从头开始实现这些方法。

• 亚马逊链接（待定）
• Manning 链接
• GitHub 仓库

 

练习题

本书每章都配有若干练习题。答案汇总在附录 C 中，相应的代码笔记本则位于本仓库各主章节文件夹内（例如，./ch02/01_main-chapter-code/exercise-solutions.ipynb）。

除了代码练习之外，您还可以从 Manning 官网免费下载一份 170 页的 PDF 文件，名为 测试自己：从零构建大型语言模型。该文档每章约有 30 道测验题及答案，帮助您检验对内容的理解。

 

附加资料

若干文件夹包含可选材料，供感兴趣的读者参考：

• 设置

  • Python 设置技巧
  • 安装本书中使用的 Python 包和库
  • Docker 环境设置指南

• 第 2 章：处理文本数据

  • 从头实现字节对编码（BPE）分词器
  • 比较多种字节对编码（BPE）实现
  • 理解嵌入层与线性层的区别
  • 用简单示例直观理解数据加载器

• 第 3 章：实现注意力机制

  • 比较高效的多头注意力实现
  • 理解 PyTorch 缓冲区

• 第 4 章：从零开始实现 GPT 模型

  • FLOPs 分析
  • KV 缓存
  • 注意力机制的替代方案
    • 分组查询注意力
    • 多头潜在注意力
    • 滑动窗口注意力
    • 门控 DeltaNet
  • 专家混合（MoE）

• 第 5 章：在无标签数据上预训练

  • 替代权重加载方法
  • 在古腾堡计划数据集上预训练 GPT
  • 为训练循环添加额外功能
  • 优化预训练超参数
  • 构建与预训练 LLM 交互的用户界面
  • 将 GPT 转换为 Llama
  • 内存高效的模型权重加载
  • 扩展 Tiktoken BPE 分词器的新词
  • 加速 LLM 训练的 PyTorch 性能技巧
  • LLM 架构
    • 从零开始实现 Llama 3.2
    • 从零开始实现 Qwen3 密集模型和专家混合（MoE）
    • 从零开始实现 Gemma 3
    • 从零开始实现 Olmo 3
    • 从零开始实现 Tiny Aya
    • 从零开始实现 Qwen3.5
  • 使用其他 LLM 作为直接替换品的第 5 章内容（例如 Llama 3、Qwen 3）

• 第 6 章：用于分类的微调

  • 针对不同层及更大模型的额外微调实验
  • 在 5 万条 IMDb 电影评论数据集上微调不同模型
  • 构建与基于 GPT 的垃圾邮件分类器交互的用户界面

• 第 7 章：遵循指令的微调

  • 用于查找近似重复和创建被动语态条目的数据集工具
  • 使用 OpenAI API 和 Ollama 评估指令响应
  • 生成用于指令微调的数据集
  • 改进用于指令微调的数据集
  • 利用 Llama 3.1 70B 和 Ollama 构建偏好数据集并进行 DPO 微调
  • 直接偏好优化（DPO）用于 LLM 对齐
  • 构建与指令微调后的 GPT 模型交互的用户界面

更多来自 Reasoning From Scratch 仓库的附加资料：

• Qwen3（从零开始）基础

  • Qwen3 源代码详解
  • 优化版 Qwen3

• 评估

  • 基于验证器的评估（MATH-500）
  • 选择题评估（MMLU）
  • LLM 排行榜评估
  • LLM 作为评判者的评估

• 推理扩展

  • 自洽性
  • 自我精炼

• 强化学习（RL）

  • 从零开始实现 RLVR 与 GRPO

 

问题、反馈及参与本仓库

我欢迎各种形式的反馈，最佳方式是通过 Manning 论坛 或 GitHub Discussions 提交。同样地，如果您有任何问题或只是想与他人交流想法，请随时在论坛上发帖。

请注意，由于本仓库包含与纸质书对应的代码，目前我无法接受会扩展主章节代码内容的贡献，因为这会导致与实体书内容产生偏差。保持一致性有助于确保所有用户的顺畅体验。

 

引用

如果您发现本书或代码对您的研究有所帮助，请考虑引用它。

芝加哥格式引用：

Raschka, Sebastian. 从零构建大型语言模型。Manning 出版社，2024 年。ISBN：978-1633437166。

BibTeX 条目：

@book{build-llms-from-scratch-book,
  author       = {Sebastian Raschka},
  title        = {从零构建大型语言模型},
  publisher    = {Manning},
  year         = {2024},
  isbn         = {978-1633437166},
  url          = {https://www.manning.com/books/build-a-large-language-model-from-scratch},
  github       = {https://github.com/rasbt/LLMs-from-scratch}
}

LLMs-from-scratch 快速上手指南

本指南基于 Sebastian Raschka 的开源项目 LLMs-from-scratch，旨在帮助开发者从零开始构建、预训练和微调类 GPT 的大型语言模型（LLM）。该项目是同名书籍的官方代码库，适合希望深入理解 LLM 内部原理的开发者。

环境准备

系统要求

• 操作系统：Linux、Windows 或 macOS 均可运行。
• 硬件：
  • 主章节代码设计为可在普通笔记本电脑上运行，无需专用硬件。
  • 若可用，代码会自动利用 GPU 加速训练过程。
• 前置知识：
  • 扎实的 Python 编程基础。
  • 了解深度学习神经网络概念更佳（非必须）。
  • 熟悉 PyTorch 基础操作（若不熟悉，可参考项目附录 A 或作者的其他教程）。

依赖项

• Python 3.8+
• PyTorch
• 其他常用数据科学库（如 numpy, pandas, matplotlib 等）

提示：详细的 Python 环境配置和包安装建议，请参考项目根目录下的 setup/README.md 文件。

安装步骤

1. 克隆仓库

使用以下命令将代码库克隆到本地：

git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git

或者下载 ZIP 压缩包后解压。

2. 安装依赖

进入项目目录并安装所需依赖。推荐使用 uv 或 pip 进行安装。

使用 uv (推荐，速度更快):

cd LLMs-from-scratch
uv pip install -r requirements.txt

使用 pip:

cd LLMs-from-scratch
pip install -r requirements.txt

国内加速建议：如果下载速度慢，可使用国内镜像源。 例如使用清华源安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目按书籍章节组织代码，每个章节包含主要的 Jupyter Notebook (.ipynb) 和总结性的 Python 脚本 (.py)。以下是快速体验核心功能的流程：

1. 处理文本数据 (第 2 章)

学习如何构建数据集和数据加载器。

jupyter notebook ch02/01_main-chapter-code/ch02.ipynb

或查看简化版代码：

python ch02/01_main-chapter-code/dataloader.ipynb

2. 实现注意力机制 (第 3 章)

从零编写多头注意力机制。

jupyter notebook ch03/01_main-chapter-code/ch03.ipynb

3. 构建 GPT 模型 (第 4 章)

组装完整的 GPT 架构。

jupyter notebook ch04/01_main-chapter-code/ch04.ipynb

或直接运行模型定义脚本：

python ch04/01_main-chapter-code/gpt.py

4. 预训练模型 (第 5 章)

在无标签数据上预训练模型并生成文本。

jupyter notebook ch05/01_main-chapter-code/ch05.ipynb

运行训练脚本示例：

python ch05/01_main-chapter-code/gpt_train.py

运行文本生成脚本示例：

python ch05/01_main-chapter-code/gpt_generate.py

5. 微调模型 (第 6-7 章)

针对文本分类或指令遵循任务进行微调。

# 文本分类微调
jupyter notebook ch06/01_main-chapter-code/ch06.ipynb

# 指令微调
jupyter notebook ch07/01_main-chapter-code/ch07.ipynb

注意：所有章节的练习解答代码位于各章节文件夹下的 exercise-solutions.ipynb 文件中。附录部分提供了 PyTorch 入门及参数高效微调 (LoRA) 的额外代码示例。