动手学LLM

LLMs From Scratch: Hands-on Building Your Own Large Language Models

---

📘 项目介绍

如果你想从0手写代码，构建大语言模型，本项目很适合你。 本项目 "LLMs From Scratch" 是由 Datawhale 提供的一个从头开始构建类似 ChatGPT 大型语言模型（LLM）的实践教程。 我们旨在通过详细的指导、代码示例和深度学习资源，帮助开发者和研究者掌握创建大语言模型和大语言模型架构的核心技术。 本项目包括了从0逐步构建GLM4\Llama3\RWKV6的教程，从0构建大模型，一起深入理解大模型原理。

---

🌟 项目亮点

• 全面的学习路径: 提供从基础理论到实际编码的系统化学习路径。
• 实践导向: 强调通过实际操作掌握 LLM 的开发和训练。
• 重点关注LLM架构: 在微调、部署相关教程较为丰富的背景下，我们着重关注大模型的架构实现。

🚀 主要内容

（1）基础知识

在基础知识部分，我们基于"rasbt/LLMs-from-scratch"提供了一个如何从头开始实现类似ChatGPT的大语言模型（LLM）的详细教程，特别感谢@rasbt.

如果你想快速入门，请参考Codes路径下的notebook，简洁的代码可以帮助你快速入门。

如果你想详细学习，请参考Translated_Book路径下的notebook，提供了更为详细的相关知识。

👨‍💻 代码实现: 该项目包含了创建GPT-like大语言模型的全部代码，涵盖了编码、预训练和微调过程。

📖 逐步学习: 教程通过清晰的文本、图表和示例，分步骤教授如何创建自己的LLM。

💡 教育目的: 该方法主要用于教育，帮助学习者训练和开发小型但功能性的模型，这与创建像ChatGPT这样的大型基础模型的方法相似。

🔧 简洁易懂的代码: 利用简洁且可运行的notebook代码，即使只有PyTorch基础，也能完成大模型的构建。

🤔 深入理解模型原理: 通过本教程，读者可以深入理解大型语言模型的工作原理。

📖 详细章节安排如下：

章节标题	主要代码	所有代码和补充
第1章: 理解大型语言模型	没有代码	没有代码
第2章: 处理文本数据	- ch02.ipynb - dataloader.ipynb - exercise-solutions.ipynb	./Codes/ch02
第3章: 编写注意力机制	- ch03.ipynb - multihead-attention.ipynb - exercise-solutions.ipynb	./Codes/ch03
第4章: 从零开始实现GPT模型	- ch04.ipynb - gpt.py - exercise-solutions.ipynb	./Codes/ch04
第5章: 使用未标记数据进行预训练	- ch05.ipynb - train.py - generate.py - exercise-solutions.ipynb	./Codes/ch05
第6章: 用于文本分类的微调	即将发布	即将发布
第7章: 使用人类反馈进行微调	即将发布	即将发布
第8章: 在实践中使用大型语言模型	即将发布	即将发布
附录A: PyTorch简介	- code-part1.ipynb - code-part2.ipynb - DDP-script.py - exercise-solutions.ipynb	appendix-A
附录B: 参考文献和进一步的阅读材料	没有代码	-
附录C: 练习	没有代码	-
附录D: 为训练过程添加额外的功能和特性	- appendix-D.ipynb	appendix-D

---

（2）模型架构的讨论和搭建

• 支持多种大型模型: 项目涵盖了 ChatGLM、Llama、RWKV 等多个大型模型的架构讨论与实现，详见 ./Model_Architecture_Discussions 目录。
• 架构详细解析: 包括每个模型的配置文件、训练脚本和核心代码，帮助学习者深入理解不同模型的内部机制。

模型类型	Notebook 笔记本	贡献者
ChatGLM3	chatglm3.ipynb	@Tangent-90C
Llama3	llama3.ipynb	@A10-research
RWKV V2	rwkv-v2.ipynb	@Ethan-Chen-plus
RWKV V3	rwkv-v3.ipynb	@Ethan-Chen-plus
RWKV V4	rwkv-v4.ipynb	@Ethan-Chen-plus
RWKV V5	rwkv-v5.ipynb	@Ethan-Chen-plus
RWKV V6	rwkv-v6.ipynb	@Ethan-Chen-plus
ChatGLM4	chatglm4.ipynb	@Ethan-Chen-plus
MiniCPM	minicpm.ipynb	@0-yy-0

---

---

📅 路线图

注：规划未来任务，并通过 Issue 形式对外发布。

---

👫 参与贡献

• 如果你想参与到项目中，欢迎查看项目的 Issue 查看没有被分配的任务。
• 如果你发现了问题，请在 Issue 中进行反馈🐛。
• 如果你对本项目感兴趣，欢迎通过 Discussion 进行交流💬。

• 项目受众

• • 技术背景：该项目适合有一定编程基础的人员，特别是对大型语言模型（LLM）感兴趣的开发者和研究者。
  • 学习目标：适合那些希望深入了解LLM工作原理，并愿意投入时间从零开始构建和训练自己的LLM的学习者。
  • 应用领域：适用于对自然语言处理、人工智能领域感兴趣的开发者，以及希望在教育或研究环境中应用LLM的人员。

• 项目亮点

  • 系统化学习：该项目提供了一个系统化的学习路径，从理论基础到实际编码，帮助学习者全面理解LLM。
  • 实践导向：与仅仅介绍理论或API使用不同，该项目强调实践，让学习者通过实际操作来掌握LLM的开发和训练。
  • 深入浅出：该项目以清晰的语言、图表和示例来解释复杂的概念，使得非专业背景的学习者也能较好地理解。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

希望这个项目能够帮助你更好地理解和构建大型语言模型！ 🌐

贡献者名单（教程部分）

姓名	职责	简介	GitHub
陈可为	项目负责人	中国科学院大学	@Ethan-Chen-plus
王训志	第2章贡献者	南开大学	@aJupyter
汪健麟	第2章贡献者
Aria	第2章贡献者		@ariafyy
汪健麟	第2章贡献者
张友东	第3章贡献者
邹雨衡	第3章贡献者
曹 妍	第3章贡献者		@SamanthaTso
陈嘉诺	第4章贡献者	广州大学	@Tangent-90C
高立业	第4章贡献者		@0-yy-0
蒋文力	第4章贡献者		@morcake
丁悦	第5章贡献者	哈尔滨工业大学（威海）	@dingyue772
周景林	附录贡献者		@Beyondzjl
陈可为	附录贡献者		@Ethan-Chen-plus

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议

llms-from-scratch-cn 快速上手指南

环境准备

本项目适合有一定 Python 和 PyTorch 基础的开发者。在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.8 或更高版本 (推荐 3.10+)
• 核心依赖:
  • torch (PyTorch)
  • jupyter (用于运行 Notebook)
  • tiktoken (分词器)
  • matplotlib (可视化)
  • numpy, pandas 等基础数据科学库

💡 国内加速建议 推荐使用国内镜像源安装依赖，以提升下载速度：

• PyTorch 官方国内源：https://download.pytorch.org/whl/cu118 (根据 CUDA 版本调整)
• Pip 清华源：https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目

首先，将项目代码克隆到本地：

git clone https://github.com/datawhalechina/llms-from-scratch-cn.git
cd llms-from-scratch-cn

2. 创建虚拟环境 (推荐)

建议使用 conda 或 venv 创建独立的虚拟环境：

# 使用 conda
conda create -n llms-scratch python=3.10
conda activate llms-scratch

# 或者使用 venv
python -m venv llms-env
source llms-env/bin/activate  # Windows: llms-env\Scripts\activate

3. 安装依赖

项目根目录下通常包含 requirements.txt。请使用国内镜像源进行安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中未提供 requirements.txt，请手动安装核心库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install jupyter tiktoken matplotlib numpy pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目主要包含两部分内容：基础教程代码 (Codes) 和 模型架构讨论 (Model_Architecture_Discussions)。

1. 运行基础教程 (从零实现 GPT)

这是最核心的学习路径，带你从头编写代码构建 LLM。

• 启动 Jupyter Lab:

  jupyter lab
  

• 导航至章节目录: 在浏览器中打开 Codes/ch02 (处理文本数据) 或 Codes/ch04 (实现 GPT 模型)。

• 运行示例: 打开 ch04.ipynb，按顺序执行单元格。你将看到如何定义注意力机制、构建模型类以及进行简单的文本生成。

  # 示例：在 ch04.ipynb 中实例化模型
  import torch
  from gpt import GPTModel
  
  GPT_CONFIG_124M = {
      "vocab_size": 50257,     # 词汇表大小
      "context_length": 1024,  # 上下文长度
      "emb_dim": 768,          # 嵌入维度
      "n_heads": 12,           # 注意力头数
      "n_layers": 12,          # 层数
      "drop_rate": 0.1,
      "qkv_bias": False
  }
  
  model = GPTModel(GPT_CONFIG_124M)
  print(model)
  

2. 探索主流模型架构

如果你想研究特定模型（如 Llama3, ChatGLM4, RWKV）的内部实现：

• 进入 Model_Architecture_Discussions 目录。
• 选择对应的模型文件夹，例如 llama3 或 ChatGLM4。
• 运行对应的 .ipynb 文件（如 llama3-from-scratch.ipynb），加载配置文件并复现模型结构。

3. 训练与生成

在完成了第 5 章 (Codes/ch05) 的学习后，你可以使用提供的脚本进行预训练：

# 进入第 5 章代码目录
cd Codes/ch05/01_main-chapter-code

# 运行训练脚本 (需准备数据集)
python train.py

# 运行文本生成脚本
python generate.py

现在，你已经准备好开始深入理解并从头构建属于自己的大语言模型了！