QLoRA：量化大语言模型的高效微调

| 论文 | 适配器权重 | 演示 |

本仓库支持论文《QLoRA：量化大语言模型的高效微调》，旨在使大语言模型研究更加普及。

QLoRA 使用 bitsandbytes 进行量化，并与 Hugging Face 的 PEFT 和 transformers 库集成。QLoRA 由 华盛顿大学 NLP 团队 的成员开发。

更新

• 2023年7月19日 - 添加了 LLaMA 2 示例脚本并更新了版本要求
• 2023年7月18日 - 修复了添加新 token 时未冻结嵌入的问题

概述

我们提出了 QLoRA，这是一种高效的微调方法，能够显著降低内存使用量，使得在单块 48GB 显存的 GPU 上即可微调 650 亿参数的模型，同时保持全 16 位精度下的任务性能。QLoRA 通过将梯度反向传播到一个冻结的、4 位量化预训练语言模型中，进而作用于低秩适配器（LoRA）。我们最好的模型系列名为 Guanaco，在 Vicuna 基准测试上超越了所有先前公开发布的模型，达到了 ChatGPT 性能水平的 99.3%，而仅需在单个 GPU 上进行 24 小时的微调。QLoRA 引入了多项创新技术，在不牺牲性能的前提下节省内存：(a) 4 位 NormalFloat (NF4)，一种在信息论上对正态分布权重最优的数据类型；(b) 双重量化，通过量化量化常数来减少平均内存占用；(c) 分页优化器，用于管理内存峰值。我们使用 QLoRA 微调了超过 1,000 个模型，并对 8 个指令数据集、多种模型类型（LLaMA、T5）以及常规微调难以运行的规模（如 330 亿和 650 亿参数模型）下的指令遵循和聊天机器人性能进行了详细分析。我们的结果表明，即使使用比之前最先进模型更小的规模，基于高质量小数据集的 QLoRA 微调也能达到最先进的效果。我们还基于人工评估和 GPT-4 评估对聊天机器人性能进行了详细分析，结果显示 GPT-4 评估是替代人工评估的一种廉价且合理的方式。此外，我们发现当前的聊天机器人基准测试并不足以准确评估聊天机器人的性能水平。我们发布了所有模型和代码，包括用于 4 位训练的 CUDA 内核。

许可与用途

我们在此仓库中以 MIT 许可证发布了与 QLoRA 微调相关的资源。 此外，我们还发布了 Guanaco 模型家族，适用于 LLaMA 基础模型的 70 亿、130 亿、330 亿和 650 亿参数版本。这些模型的使用应符合 LLaMA 许可证的要求，并需要访问 LLaMA 模型。

演示

Guanaco 是一个纯粹用于研究目的的系统，可能会产生问题输出。

1. 请访问此处的实时演示。请注意，这里展示的是 330 亿参数的模型，650 亿参数的模型演示将在稍后推出。

2. 或者，您也可以直接在 Colab 中使用此笔记本托管自己的 Guanaco Gradio 演示。对于 70 亿和 130 亿参数的模型，免费 GPU 即可运行。

3. 或者，您能区分 ChatGPT 和 Guanaco 吗？不妨试一试！您可以访问此模型响应 Colab，比较 ChatGPT 和 Guanaco 650 亿参数模型在 Vicuna 提示下的表现。

安装

要使用 transformers 和 bitsandbytes 以 4 位加载模型，您需要从源码安装 accelerate 和 transformers，并确保已安装最新版本的 bitsandbytes 库。在安装 PyTorch（请按照此处的说明操作）之后，您可以通过以下命令实现上述目标：

pip install -U -r requirements.txt

快速入门

qlora.py 代码是针对各种数据集进行微调和推理的起点。 在 Alpaca 数据集上微调基线模型的基本命令如下：

python qlora.py --model_name_or_path <路径或名称>

对于大于 130 亿参数的模型，我们建议调整学习率：

python qlora.py –learning_rate 0.0001 --model_name_or_path <路径或名称>

要复现我们的 Guanaco 模型，请参阅下文。

教程与演示

这里有一篇博客，讨论了 4 位量化、QLoRA 以及它们如何集成到 transformers 中。

您可以在 Colab 中按照此笔记本直接托管自己的 Gradio Guanaco 演示。 此外，这里还有一些使用 QLoRA 进行推理和微调的 Colab 笔记本：

• 推理笔记本
• 微调笔记本

其他示例可在 examples/ 文件夹中找到。我们在 examples/guanaco_generate.py 中包含了一个使用 guanaco 进行生成的入门示例。

量化

量化参数通过 BitsandbytesConfig 控制（参见 HF 文档），具体如下：

• 通过 load_in_4bit 激活 4 位加载
• 使用 bnb_4bit_compute_dtype 指定线性层计算所用的数据类型
• 通过 bnb_4bit_use_double_quant 激活嵌套量化
• 使用 bnb_4bit_quant_type 指定量化所用的数据类型。需要注意的是，目前支持两种量化数据类型 fp4（四比特浮点数）和 nf4（正常四比特浮点数）。后者在理论上对正态分布权重最为优化，我们推荐使用 nf4。

    model = AutoModelForCausalLM.from_pretrained(
        model_name_or_path='/模型路径或名称',
        load_in_4bit=True,
        device_map='auto',
        max_memory=max_memory,
        torch_dtype=torch.bfloat16,
        quantization_config=BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type='nf4'
        ),
    )

分页优化器

您可以通过 --optim paged_adamw_32bit 参数访问分页优化器。

Guanaco 微调

你可以选择 --dataset oasst1 来加载用于训练 Guanaco 的 OpenAssistant 数据集。你也可以在 Hugging Face 上找到它，地址是 timdettmers/openassistant-guanaco。

我们在 ./scripts/finetune_guanaco*.sh 中提供了脚本，用于复现不同规模的 Guanaco 模型训练超参数。请确保调整 per_device_train_batch_size 和 gradient_accumulation_steps，使它们的乘积为 16，以便训练能够在你的 GPU 上顺利进行。

使用本地数据集

你可以使用 --dataset 参数指定数据集的路径。如果未设置 --dataset_format 参数，则默认使用 Alpaca 格式。以下是一些示例：

• 使用 alpaca 格式的数据集进行训练：

  python qlora.py --dataset="path/to/your/dataset"
  

• 使用 self-instruct 格式的数据集进行训练：

  python qlora.py --dataset="path/to/your/dataset" --dataset_format="self-instruct"
  

多 GPU

多 GPU 训练和推理可以直接通过 Hugging Face 的 Accelerate 库实现。需要注意的是，per_device_train_batch_size 和 per_device_eval_batch_size 参数实际上是全局批次大小，与名称所暗示的不同。

在多 GPU 上加载模型进行训练或推理时，你应该将类似以下内容传递给 AutoModelForCausalLM.from_pretrained()：

device_map = "auto"
max_memory = {i: '46000MB' for i in range(torch.cuda.device_count())}

示例输出

我们在 eval/generations 文件夹中提供了论文中描述的模型针对 OA 和 Vicuna 查询的生成结果。这些结果旨在促进对模型评估和分析的进一步研究。

你能区分 ChatGPT 和 Guanaco 吗？不妨试试！你可以访问这里的 Colab 笔记本，比较 ChatGPT 和 Guanaco 65B 在 Vicuna 提示下的回答。

评估

我们从 FastChat 仓库中改编了一些脚本，用于使用 GPT-4 自动评估模型的生成结果。我们提供了与 ChatGPT 对比的脚本，评分范围为 0 到 10；还提供了“成对比较”脚本，采用三分类标签（胜、负、平）。这些脚本位于 eval 文件夹中。

为了便于复制我们的评估方法以及未来在这方面的研究，我们公开了 GPT-4 和人类对我们系统的评分。这些评分分别位于 eval/ratings-human 和 eval/ratings-gpt4 文件夹中。

更多详细信息请参阅 eval/EVAL_README.md。

已知问题与限制

以下是已知的问题和 bug 列表。如果你遇到的问题未在此列出，请新建一个 issue 并描述问题。

1. 4-bit 推理速度较慢。目前，我们的 4-bit 推理实现尚未与 4-bit 矩阵乘法集成。
2. 当前 HF 的 Trainer 尚不支持恢复 LoRA 训练任务。
3. 目前，使用 bnb_4bit_compute_type='fp16' 可能会导致不稳定。对于 7B LLaMA 模型，只有 80% 的微调任务能够顺利完成而不会出现错误。我们已经有解决方案，但尚未集成到 bitsandbytes 中。
4. 请确保 tokenizer.bos_token_id = 1，以避免生成问题。
5. 如果你遇到 此问题（“非法内存访问”），则应使用更新的 HF LLaMA 转换工具，或降级你的 PyTorch 版本。
6. 添加新 token 时可能出现问题，详见 #214。如果添加新 token，需要更新并重新存储/加载嵌入层。

引用

@article{dettmers2023qlora,
  title={QLoRA: Efficient Finetuning of Quantized LLMs},
  author={Dettmers, Tim and Pagnoni, Artidoro and Holtzman, Ari and Zettlemoyer, Luke},
  journal={arXiv preprint arXiv:2305.14314},
  year={2023}
}

致谢

我们感谢 Hugging Face 团队，特别是 Younes Belkada，他们在将 QLoRA 与 PEFT 和 transformers 库集成方面给予的支持。我们也感谢 Meta 公司发布了 LLaMA 模型，没有这些模型，这项工作将无法实现。

本仓库基于 Stanford Alpaca 和 LMSYS FastChat 两个项目构建。

QLoRA 快速上手指南

QLoRA 是一种高效的微调方法，允许在单张消费级显卡（如 48GB GPU）上微调高达 650 亿参数的大语言模型。它通过 4 比特量化技术大幅降低显存占用，同时保持全精度微调的性能。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA 显卡（显存建议 16GB 以上，微调大模型需 24GB-48GB）
• Python: 3.8 或更高版本
• CUDA: 需安装与 PyTorch 版本匹配的 CUDA 驱动

前置依赖

在开始之前，请确保已安装 PyTorch（带 CUDA 支持）。 访问 PyTorch 官网 获取适合你环境的安装命令。

国内加速建议： 在安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目依赖 bitsandbytes、transformers 和 peft 的最新源码版本。请执行以下命令进行安装：

# 克隆仓库（可选，如果只需要运行脚本可跳过，直接安装依赖）
git clone https://github.com/artidoro/qlora.git
cd qlora

# 安装所有依赖（包含从源码安装的 accelerate 和 transformers）
pip install -U -r requirements.txt

注意：bitsandbytes 需要特定的编译环境，如果遇到编译错误，请确保已安装 cmake 和正确的 CUDA Toolkit。

基本使用

1. 快速微调示例

以下命令展示了如何使用 QLoRA 在 Alpaca 数据集上微调一个基座模型。请将 <path_or_name> 替换为本地模型路径或 Hugging Face 模型 ID（例如 meta-llama/Llama-2-7b-hf）。

python qlora.py --model_name_or_path <path_or_name>

2. 大模型微调建议

对于参数量大于 13B 的模型，建议调整学习率以保证收敛稳定性：

python qlora.py --learning_rate 0.0001 --model_name_or_path <path_or_name>

3. 使用自定义数据集

你可以指定本地数据集路径进行训练。默认格式为 Alpaca 格式，若使用其他格式（如 self-instruct），需添加对应参数。

使用 Alpaca 格式数据：

python qlora.py --dataset="path/to/your/dataset"

使用 Self-Instruct 格式数据：

python qlora.py --dataset="path/to/your/dataset" --dataset_format="self-instruct"

4. 核心代码配置参考

如果你希望在自己的代码中集成 QLoRA，加载 4 比特模型的核心配置如下：

from transformers import AutoModelForCausalLM, BitsAndBytesConfig
import torch

model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path='<path_or_name>',
    load_in_4bit=True,
    device_map='auto',
    torch_dtype=torch.bfloat16,
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type='nf4'  # 推荐使用 nf4 以获得最佳效果
    ),
)

5. 多显卡训练

QLoRA 原生支持 Hugging Face Accelerate 进行多卡训练。只需在加载模型时设置 device_map 和 max_memory：

device_map = "auto"
max_memory = {i: '46000MB' for i in range(torch.cuda.device_count())}

注意：在多卡模式下，per_device_train_batch_size 实际上指的是全局批大小。