FreeCodeCamp - 从零开始构建大语言模型

对于没有 GPU 的用户：Google Colab 链接：https://colab.research.google.com/drive/1_7TNpEEl8xjHlr9JzKbK5AuDKXwAkHqj?usp=sharing

依赖项（假设使用 Windows）：pip install pylzma numpy ipykernel jupyter torch --index-url https://download.pytorch.org/whl/cu118

如果你没有 NVIDIA GPU，那么 device 参数将默认为 'cpu'，因为代码中设置了 device = 'cuda' if torch.cuda.is_available() else 'cpu'。如果 device 默认为 'cpu' 也没关系，只是运行速度会慢一些。

你需要的所有链接都包含在这个仓库中。我会根据大家提出的问题和反馈逐步添加详细说明。

Visual Studio 2022（用于 lzma 压缩算法）：https://visualstudio.microsoft.com/downloads/

OpenWebText 数据集下载

• https://skylion007.github.io/OpenWebTextCorpus/
• 如果该链接无法访问，请使用《绿野仙踪》小型数据集作为训练和验证数据。

社交媒体

Twitter / X：https://twitter.com/elliotarledge

我的 YouTube 频道：https://www.youtube.com/channel/UCjlt_l6MIdxi4KoxuMjhYxg

如何从 Mac 连接到 Windows 进行 SSH 操作：https://www.youtube.com/watch?v=7hBeAb6WyIg&t=

如何在 5 分钟内或更短时间内设置 Jupyter Notebook：https://www.youtube.com/watch?v=eLmweqU5VBA&t=

LinkedIn：https://www.linkedin.com/in/elliot-arledge-a392b7243/

加入我的 Discord 服务器：https://discord.gg/pV7ByF9VNm

预约一对一交流：https://calendly.com/elliot-ayxc/60min

研究论文：

《Attention is All You Need》：https://arxiv.org/pdf/1706.03762.pdf

《大语言模型综述》：https://arxiv.org/pdf/2303.18223.pdf

《QLoRA：量化大语言模型的高效微调》：https://arxiv.org/pdf/2305.14314.pdf

fcc-intro-to-llms 快速上手指南

本指南旨在帮助开发者从零开始构建大型语言模型（LLM），基于 FreeCodeCamp 开源项目整理。

环境准备

系统要求

• 操作系统：Windows（推荐）、macOS 或 Linux。
• 硬件加速：
  • NVIDIA GPU：推荐拥有支持 CUDA 的显卡以获得最佳训练速度。
  • CPU：若无 NVIDIA GPU，代码将自动回退至 CPU 模式，但运行速度会显著变慢。
  • 无本地 GPU 用户：可直接使用提供的 Google Colab 链接在线运行（需科学上网）。
    • Colab 地址：https://colab.research.google.com/drive/1_7TNpEEl8xjHlr9JzKbK5AuDKXwAkHqj?usp=sharing

前置依赖

• Python 环境：建议 Python 3.8+。
• 压缩算法支持（Windows 用户必需）：
  • 需安装 Visual Studio 2022 以支持 lzma 压缩算法。
  • 下载地址：https://visualstudio.microsoft.com/downloads/
• 数据集：
  • 首选：OpenWebText Corpus (https://skylion007.github.io/OpenWebTextCorpus/)
  • 备选（若下载失败）：Wizard of Oz mini dataset（用于训练/验证）。

安装步骤

在终端或命令提示符中执行以下命令安装核心依赖。

1. 安装 Python 依赖包

针对 Windows 用户（包含 CUDA 11.8 支持的 PyTorch）：

pip install pylzma numpy ipykernel jupyter torch --index-url https://download.pytorch.org/whl/cu118

注意：

• 若非 Windows 系统或无需特定 CUDA 版本，可尝试标准安装：pip install pylzma numpy ipykernel jupyter torch。
• 国内用户若访问 PyTorch 官方源较慢，可尝试替换为清华或阿里镜像源（例如：--index-url https://pypi.tuna.tsinghua.edu.cn/simple），但需确保 PyTorch 版本与 CUDA 匹配。

2. 配置 Jupyter Notebook

安装完成后，启动 Jupyter 以运行项目代码：

jupyter notebook

基本使用

本项目主要通过 Jupyter Notebook 进行交互式开发与模型训练。

1. 获取代码与笔记

克隆仓库或直接下载项目文件，找到主要的 .ipynb 笔记本文件。

2. 运行设备检测

在 Notebook 的第一个单元格中，代码会自动检测可用设备。无需手动修改，逻辑如下：

device = 'cuda' if torch.cuda.is_available() else 'cpu'

• 若输出 cuda，表示 GPU 加速已启用。
• 若输出 cpu，表示将在处理器上运行（速度较慢但功能正常）。

3. 开始训练

按照 Notebook 中的单元格顺序依次执行：

1. 数据加载：加载 OpenWebText 或备选数据集。
2. 模型构建：从头构建 Transformer 架构。
3. 训练循环：执行训练过程。
4. 文本生成：使用训练好的模型生成文本。

提示：详细的技术原理解释将通过项目的 Issues 和问答逐步更新，建议结合项目仓库中的链接阅读经典论文（如 Attention is All You Need）以加深理解。