从头开始预训练和微调大型语言模型

概述

本教程面向对大型语言模型（LLMs）的构建模块、工作原理以及如何使用 PyTorch 从头开始实现它们感兴趣的开发者。我们将从介绍 LLM、近期的重要里程碑及其应用场景入手，随后亲手编写一个小型的类 GPT 模型，包括数据输入管道、核心架构组件以及预训练代码。在理解了各个部分的协作方式及如何进行 LLM 的预训练后，我们还将学习如何加载预训练权重，并利用开源库对 LLM 进行微调。

本教程中的代码基于我的著作《从零构建大型语言模型》（http://mng.bz/orYv），并结合了 LitGPT 库。

设置说明

一个开箱即用的云端环境，其中包含了所有代码示例及依赖项，现已上线此处。该环境配备了 GPU，使参与者能够顺利运行所有代码，尤其是在预训练和微调部分。

此外，请参阅 setup 文件夹中的说明，以在本地计算机上设置运行代码的环境。

大纲

	标题	描述	文件夹
1	LLM 简介	本节介绍研讨会内容，包括 LLM 的概述、本次研讨会涵盖的主题以及设置说明。	01_intro
2	理解 LLM 输入数据	在这一部分，我们将通过实现文本分词器和自定义 PyTorch DataLoader 来构建 LLM 的文本输入管道。	02_data
3	编写 LLM 架构	本节将逐一讲解 LLM 的各个组成部分，并将其整合为代码实现。我们不会对每个模块进行过于细致的剖析，而是着眼于整体架构，以及如何将其组装成一个类 GPT 的模型。	03_architecture
4	预训练 LLMs	第四部分将介绍 LLM 的预训练流程，并实现用于预训练先前搭建的模型架构的代码。由于预训练成本较高，我们仅会在公开可用的小规模文本数据集上进行预训练，以便让模型能够生成一些基础句子。	04_pretraining
5	加载预训练权重	由于预训练过程耗时且昂贵，我们将在此步骤中把预训练好的权重加载到自己实现的架构中。接着，我们会介绍 LitGPT 开源库，它提供了更为复杂但仍然易于理解的代码来训练和微调 LLM。我们将学习如何在 LitGPT 中加载 Llama、Phi、Gemma 和 Mistral 等预训练模型的权重。	05_weightloading
6	微调 LLMs	本节将介绍 LLM 的微调技术，并准备一份用于指令微调的小型数据集，随后使用 LitGPT 对 LLM 进行微调。	06_finetuning

（本教程中的代码基于我的著作《从零构建大型语言模型》（http://mng.bz/orYv），并结合了 LitGPT 库。）

LLM-workshop-2024 快速上手指南

本指南旨在帮助开发者从零开始理解大语言模型（LLM）的构建模块、工作原理，并使用 PyTorch 亲手代码实现。内容涵盖从数据管道、架构搭建、预训练到使用 LitGPT 库进行权重加载和微调的全流程。

环境准备

系统要求

• 操作系统：Linux, macOS, 或 Windows (推荐 WSL2)
• 硬件：
  • 本地运行：建议使用配备 NVIDIA GPU 的机器以加速预训练和微调过程（CPU 亦可运行小型示例，但速度较慢）。
  • 云端运行：若无本地 GPU，可直接使用提供的云端环境（无需本地配置）。
• 软件依赖：
  • Python 3.8+
  • PyTorch (支持 CUDA)
  • Git

前置依赖

确保已安装以下基础工具：

• git
• python3
• pip

安装步骤

你可以选择云端一键启动或本地手动安装。

方案一：云端环境（推荐，无需配置）

该项目提供了配置好所有依赖和代码的 Lightning Studio 环境，可直接在浏览器中运行 GPU 代码。

1. 点击以下链接打开环境： Open in Lightning Studio
2. 登录/注册 Lightning AI 账号。
3. 点击 "Run" 启动工作室，所有依赖已自动安装完毕。

方案二：本地安装

若需在本地运行，请按照以下步骤操作：

1. 克隆仓库

   git clone https://github.com/Lightning-AI/LLM-workshop-2024.git
   cd LLM-workshop-2024
   

2. 创建虚拟环境

   python3 -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装依赖 进入 setup 目录并执行安装脚本（参考项目内的具体指令）：

   pip install -r requirements.txt
   

   注：若下载速度慢，可临时使用国内镜像源加速：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 验证安装 确保 PyTorch 能识别 GPU（可选）：

   python -c "import torch; print(torch.cuda.is_available())"
   

基本使用

本教程按模块顺序进行，建议依次执行各文件夹中的 Notebook 或脚本。

1. 入门与数据准备 (01_intro & 02_data)

首先了解 LLM 基础并构建文本输入管道（分词器与 DataLoader）。

# 进入对应目录运行示例 (以 Jupyter 或 Python 脚本为例)
cd 02_data
python create_dataloader.py

2. 构建 LLM 架构 (03_architecture)

手动实现 GPT -like 模型的核心组件。

cd ../03_architecture
python model.py

3. 模型预训练 (04_pretraining)

在小规模公开文本数据上预训练你刚刚构建的模型。

cd ../04_pretraining
python train.py

注意：此处仅用于演示原理，训练数据量很小，生成的句子较为基础。

4. 加载预训练权重与微调 (05_weightloading & 06_finetuning)

学习如何加载开源模型（如 Llama, Mistral 等）的权重，并使用 LitGPT 库进行指令微调。

加载权重示例：

cd ../05_weightloading
python load_weights.py

指令微调示例： 准备数据集并启动微调流程：

cd ../06_finetuning
python finetune_lora.py

通过以上步骤，你将完整经历从“手写一个迷你 LLM"到“利用工业级库微调大模型”的全过程。详细代码逻辑请参阅各文件夹内的注释及配套书籍《Build a Large Language Model From Scratch》。