使用 PyTorch 和 Hugging Face 微调大型语言模型的实战指南

Kindle | 平装本 | PDF [Leanpub] | PDF [Gumroad]

准备工作

• 常见问题解答
• 附录 A - 搭建你的 GPU 集群

Google Colab

你可以通过 Colab 直接从 GitHub 加载笔记本，并在 Google 提供的 GPU 上运行它们。你需要使用自己的 Google 账号登录。

你也可以通过以下链接直接浏览各章节：

• 第 0 章 - 简要概述
• 第 1 章 - 关注大型语言模型
• 第 2 章 - 加载量化模型
• 第 3 章 - 低秩适应 (LoRA)
• 第 4 章 - 数据集格式化
• 第 5 章 - 使用 SFTTrainer 进行微调
• 第 6 章 - 在本地部署模型
• 附录 B - 数据类型的内部表示

序言

如果你正在阅读这本书，恐怕我无需多言——大型语言模型如今几乎无处不在，对吧？

自2022年11月ChatGPT发布以来，技术发展的速度之快让人几乎难以跟上。每天都有新的方法、新的模型或突破性的进展出现。这些无疑是令人兴奋的时刻，但同时也可能让人感到压力山大、疲惫不堪，甚至有些沮丧。

“我到底该从哪里开始学习呢？”这是一个再合理不过的问题，却也很难独自解答。我写这本书，正是试图为这个问题提供一个初步的答案。本书聚焦于几个在我看来已经相对稳定、并且在可预见的未来仍将是微调流程核心的关键概念：量化、低秩适配器和格式化模板。

掌握这些概念不仅对于理解当前的技术生态至关重要，还能帮助你更好地应对未来的各种新发展。它们同样适用于训练或微调多种类型的大型模型，而不仅仅是语言模型。可以说，这些都是每位数据科学家工具箱中不可或缺的利器。

---

本书属于中级水平，因此要充分吸收其中的内容，你需要具备扎实的基础知识。如果你对Transformer、注意力机制、Adam优化器、Token、嵌入向量以及GPU这些概念还很陌生，我建议你先从我的入门级系列《PyTorch深度学习步步进阶》开始学习。

---

我选择以Hugging Face生态系统作为本书的基础，是因为它已经成为处理深度学习模型（无论是否为语言模型）的事实标准。书中讨论的量化、适配器和模板等概念，在Hugging Face生态中都得到了精心实现和集成，使用起来相对直观。然而，如何有效地配置它们，以及这些配置背后究竟在做什么，并不是那么容易找到答案的。市面上缺乏一份全面的指南，能够深入浅出地解释这些技术在实际操作中的协同工作方式，尤其是在单张GPU上进行LLM微调时。这正是我希望通过本书填补的空白。

最初，这本书的标题是“简明指南”，但随着内容不断扩充，最终我将其更名为“实战指南”。全书内容涵盖广泛，衷心希望它能为你的学习之旅提供有力支持。为了增添趣味性，我在书中穿插了许多有趣的示例、虚构的引语以及电影引用——毕竟，我认为学习本该是一件快乐的事情。

没有什么比了解新事物、亲手尝试并亲眼见证它顺利运行更酷的了，你说是不是？在第0章“TL;DR”中，你将踏上这段旅程：从量化、低秩适配器到数据集格式化、模型训练，再到最终的模型推理，全程带你完成LLM微调的完整流程。接下来，在第1章中，我们会稍作回顾，简要探讨语言模型、Transformer架构、注意力机制以及不同类型的微调方式。

随后的第2至6章，则分别对应第0章中介绍的各个步骤。第2章“加载量化模型”将深入讲解8位和4位量化技术，以及BitsAndBytes的配置方法。第3章“低秩适配器（LoRA）”则会探讨低秩适配器的作用与用法，包括如何利用PEFT库进行配置，以及如何准备（量化后的）基础模型以提升训练过程中的数值稳定性。紧接着，在第4章“格式化你的数据集”中，我们将重点讨论数据格式化、对话模板，以及分词器、填充、打包和数据编排器的作用。

我们的旅程继续推进，来到第5章“使用SFTTrainer进行微调”。在这里，我们将探索丰富的配置选项，以充分发挥消费级GPU的性能，高效地完成模型微调。同时，我们还会讨论不同的注意力机制实现——Flash Attention与PyTorch的SDPA——并比较它们的速度与显存需求。第6章“本地部署”则是一篇偏重工程实践的文章，详细介绍了将微调后的模型转换为GGUF格式的各种方法与替代方案，以及如何借助Ollama或llama.cpp来部署和运行你的模型。

每一段学习旅程都会遇到困难与陷阱，而在我们的案例中，最常见的便是警告信息和异常报错。因此，最后一章第-1章“故障排除”将作为参考，帮助你理解并解决可能遇到的典型问题。

最后，本书还附有两篇附录：第一篇“附录A：搭建你的GPU集群”是一份逐步指导教程，教你如何利用云服务商（我个人推荐runpod.io）快速启动一台配备GPU的Jupyter Notebook；第二篇“附录B：数据类型的内部表示”则为那些希望深入了解每种数据类型优缺点的朋友提供了选读内容，介绍了整数和浮点数是如何通过二进制位进行内部表示的。

好了，就到这里！祝你学习愉快！

FineTuningLLMs 快速上手指南

本指南基于 Daniel Godoy 的开源项目《FineTuningLLMs》，旨在帮助开发者使用 PyTorch 和 Hugging Face 生态快速掌握大语言模型（LLM）的微调技术，涵盖量化、LoRA 适配器及数据集格式化等核心概念。

环境准备

系统要求

• 操作系统：Linux, macOS, 或 Windows (推荐 WSL2)
• GPU：支持 CUDA 的 NVIDIA GPU（显存建议 8GB 以上，量化后可降低要求）
• Python：3.9 或更高版本

前置依赖

本项目深度依赖 Hugging Face 生态系统。确保已安装以下核心库：

• torch (PyTorch)
• transformers
• datasets
• peft (Parameter-Efficient Fine-Tuning)
• bitsandbytes (用于量化)
• accelerate

注意：本书定位为中级教程。如果您不熟悉 Transformers、Attention 机制、Tokenizers 或 GPU 基础，建议先补充相关基础知识。

安装步骤

1. 创建虚拟环境（推荐）

python -m venv finetuning-env
source finetuning-env/bin/activate  # Windows 用户请使用: finetuning-env\Scripts\activate

2. 安装 PyTorch

请访问 PyTorch 官网 获取适合您 CUDA 版本的安装命令。以下为通用示例：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

国内用户加速方案：可使用清华源或阿里源加速下载：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装核心依赖库

pip install transformers datasets peft bitsandbytes accelerate scipy ninja -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 验证安装

运行以下 Python 代码检查 GPU 是否可用：

import torch
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"GPU Name: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'None'}")

基本使用

本项目采用“实战优先”的方式，最简单的入门方式是直接运行 Chapter 0 (TL;DR) 笔记本，它将引导您完成从加载量化模型到微调并推理的全流程。

方式一：使用 Google Colab（零配置推荐）

无需本地环境，直接在浏览器中运行。点击以下链接即可在配备 GPU 的 Colab 环境中打开：

• Chapter 0 - 全流程速览 (TL;DR)

方式二：本地运行示例代码

若已在本地完成环境安装，可参考以下核心流程代码片段（对应 Chapter 0 逻辑）：

1. 加载量化模型与 LoRA 配置

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model

model_id = "mistralai/Mistral-7B-v0.1"

# 配置 4-bit 量化
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    quantization_config=bnb_config, 
    device_map="auto"
)

# 配置 LoRA
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(base_model, lora_config)

2. 准备数据与训练

使用 SFTTrainer 进行高效微调：

from trl import SFTTrainer
from datasets import load_dataset

dataset = load_dataset("mlabonne/guanaco-llama2-1k", split="train")

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=training_args, # 需定义 TrainingArguments
    tokenizer=tokenizer,
    dataset_text_field="text",
    max_seq_length=512,
    packing=True,
)

trainer.train()

3. 本地部署与推理

训练完成后，可合并权重并使用 llama.cpp 或 Ollama 进行本地部署（详见 Chapter 6）：

# 保存微调后的适配器
model.save_pretrained("my-finetuned-model")

# 推理示例
inputs = tokenizer("Hello, how are you?", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

后续学习路径

完成 Chapter 0 后，建议按顺序深入学习以下章节以掌握细节：

• Chapter 2: 深入理解 8-bit/4-bit 量化与 BitsAndBytes 配置。
• Chapter 3: 详解 LoRA 原理及数值稳定性优化。
• Chapter 4: 数据集格式化、Chat Templates 与 Data Collators。
• Chapter 5: 使用 SFTTrainer 的高级配置与 Flash Attention 优化。
• Chapter 6: 模型转换为 GGUF 格式及使用 Ollama/llama.cpp 部署。