GPTQ-for-LLaMA

我目前正专注于 AutoGPTQ，推荐使用 AutoGPTQ 替代 GPTQ for Llama。

使用 GPTQ 对 LLaMA 进行 4 位量化

GPTQ 是一种 SOTA（最先进）的单次权重量化方法

它可以通用使用，但它不是 最快 的，且仅支持 Linux。

Triton 仅支持 Linux，因此如果您是 Windows 用户，请使用 WSL2。

新闻与更新

集成了 Triton 的 GPTQ 打包版本 AutoGPTQ-triton 已整合进 AutoGPTQ。

结果

LLaMA-7B(点击我)

LLaMA-7B	位数	组大小	内存 (MiB)	Wikitext2	检查点大小 (GB)
FP16	16	-	13940	5.68	12.5
RTN	4	-	-	6.29	-
GPTQ	4	-	4740	6.09	3.5
GPTQ	4	128	4891	5.85	3.6
RTN	3	-	-	25.54	-
GPTQ	3	-	3852	8.07	2.7
GPTQ	3	128	4116	6.61	3.0

LLaMA-13B

LLaMA-13B	位数	组大小	内存 (MiB)	Wikitext2	检查点大小 (GB)
FP16	16	-	OOM	5.09	24.2
RTN	4	-	-	5.53	-
GPTQ	4	-	8410	5.36	6.5
GPTQ	4	128	8747	5.20	6.7
RTN	3	-	-	11.40	-
GPTQ	3	-	6870	6.63	5.1
GPTQ	3	128	7277	5.62	5.4

LLaMA-33B

LLaMA-33B	位数	组大小	内存 (MiB)	Wikitext2	检查点大小 (GB)
FP16	16	-	OOM	4.10	60.5
RTN	4	-	-	4.54	-
GPTQ	4	-	19493	4.45	15.7
GPTQ	4	128	20570	4.23	16.3
RTN	3	-	-	14.89	-
GPTQ	3	-	15493	5.69	12.0
GPTQ	3	128	16566	4.80	13.0

LLaMA-65B

LLaMA-65B	位数	组大小	内存 (MiB)	Wikitext2	检查点大小 (GB)
FP16	16	-	OOM	3.53	121.0
RTN	4	-	-	3.92	-
GPTQ	4	-	OOM	3.84	31.1
GPTQ	4	128	OOM	3.65	32.3
RTN	3	-	-	10.59	-
GPTQ	3	-	OOM	5.04	23.6
GPTQ	3	128	OOM	4.17	25.6

量化需要大量的 CPU 内存。不过，可以通过使用交换内存来减少所需的内存。

根据 GPU/驱动的不同，性能可能存在差异，且随着模型规模的增大，这种差异会减小。(https://github.com/IST-DASLab/gptq/issues/1)

根据 GPTQ 论文，随着模型规模的增加，FP16 和 GPTQ 之间的性能差异会减小。

GPTQ 与 bitsandbytes

LLaMA-7B(点击我)

LLaMA-7B(seqlen=2048)	每权重位数 (BPW)	内存 (MiB)	c4 困惑度 (ppl)
FP16	16	13948	5.22
GPTQ-128g	4.15	4781	5.30
nf4-double_quant	4.127	4804	5.30
nf4	4.5	5102	5.30
fp4	4.5	5102	5.33

LLaMA-13B

LLaMA-13B(seqlen=2048)	每权重位数 (BPW)	内存 (MiB)	c4 困惑度 (ppl)
FP16	16	OOM	-
GPTQ-128g	4.15	8589	5.02
nf4-double_quant	4.127	8581	5.04
nf4	4.5	9170	5.04
fp4	4.5	9170	5.11

LLaMA-33B

LLaMA-33B(seqlen=1024)	每权重位数 (BPW)	内存 (MiB)	c4 困惑度 (ppl)
FP16	16	OOM	-
GPTQ-128g	4.15	18441	3.71
nf4-double_quant	4.127	18313	3.76
nf4	4.5	19729	3.75
fp4	4.5	19729	3.75

安装

如果您尚未安装 conda，请先安装。

conda create --name gptq python=3.9 -y
conda activate gptq
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
# Or, if you're having trouble with conda, use pip with python3.9:
# pip3 install torch torchvision torchaudio

git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa
cd GPTQ-for-LLaMa
pip install -r requirements.txt

依赖项

• torch: 已在 v2.0.0+cu117 版本测试
• transformers: 已在 v4.28.0.dev0 版本测试
• datasets: 已在 v2.10.1 版本测试
• safetensors: 已在 v0.3.0 版本测试

所有实验均在单张 NVIDIA RTX3090 显卡上运行。

语言生成

LLaMA

#convert LLaMA to hf
python convert_llama_weights_to_hf.py --input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir ./llama-hf

# Benchmark language generation with 4-bit LLaMA-7B:

# Save compressed model
CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save llama7b-4bit-128g.pt

# Or save compressed `.safetensors` model
CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save_safetensors llama7b-4bit-128g.safetensors

# Benchmark generating a 2048 token sequence with the saved model
CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --groupsize 128 --load llama7b-4bit-128g.pt --benchmark 2048 --check

# Benchmark FP16 baseline, note that the model will be split across all listed GPUs
CUDA_VISIBLE_DEVICES=0,1,2,3,4 python llama.py ${MODEL_DIR} c4 --benchmark 2048 --check

# model inference with the saved model
CUDA_VISIBLE_DEVICES=0 python llama_inference.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load llama7b-4bit-128g.pt --text "this is llama"

# model inference with the saved model using safetensors loaded direct to gpu
CUDA_VISIBLE_DEVICES=0 python llama_inference.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load llama7b-4bit-128g.safetensors --text "this is llama" --device=0

# model inference with the saved model with offload(This is very slow).
CUDA_VISIBLE_DEVICES=0 python llama_inference_offload.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load llama7b-4bit-128g.pt --text "this is llama" --pre_layer 16
It takes about 180 seconds to generate 45 tokens(5->50 tokens) on single RTX3090 based on LLaMa-65B. pre_layer is set to 50.

通常建议使用 4-bit 量化和 128 的组大小 (groupsize)。

您也可以使用 toml+numpy 格式导出量化参数。

CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --true-sequential --act-order --groupsize 128 --quant-directory ${TOML_DIR}

致谢

本代码基于 GPTQ

感谢 Meta AI 发布了强大的大语言模型 (LLM) LLaMA。

Triton GPTQ 内核代码基于 GPTQ-triton

GPTQ-for-LLaMa 快速上手指南

⚠️ 重要提示：作者目前专注于 AutoGPTQ，强烈建议优先使用 AutoGPTQ。本指南仅针对 GPTQ-for-LLaMa 项目。

1. 环境准备

• 操作系统: 推荐 Linux。
  • Windows 用户: 必须使用 WSL2（因为 Triton 仅支持 Linux）。
• 硬件要求: NVIDIA GPU (实验基于 RTX3090)。
  • 注意: 量化过程需要大量 CPU 内存，如果内存不足，建议配置 Swap 内存。
• Python 版本: 3.9+
• 核心依赖:
  • torch: v2.0.0+ (CUDA 11.7+)
  • transformers: v4.28.0.dev0+
  • datasets: v2.10.1+
  • safetensors: v0.3.0+

2. 安装步骤

# 1. 创建并激活 conda 环境
conda create --name gptq python=3.9 -y
conda activate gptq

# 2. 安装 PyTorch (CUDA 11.7)
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
# 或者使用 pip (若 conda 有问题):
# pip3 install torch torchvision torchaudio

# 3. 克隆仓库并安装依赖
git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa
cd GPTQ-for-LLaMa
pip install -r requirements.txt

3. 基本使用

3.1 转换权重格式

首先将下载的原始 LLaMA 权重转换为 HuggingFace 格式：

python convert_llama_weights_to_hf.py --input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir ./llama-hf

3.2 模型量化与保存

推荐使用 4-bit 量化 和 128 groupsize。

保存为 .pt 文件：

CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save llama7b-4bit-128g.pt

或保存为 .safetensors 文件：

CUDA_VISIBLE_DEVICES=0 python llama.py ${MODEL_DIR} c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save_safetensors llama7b-4bit-128g.safetensors

3.3 推理测试

加载量化后的模型进行文本生成：

加载 .pt 模型：

CUDA_VISIBLE_DEVICES=0 python llama_inference.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load llama7b-4bit-128g.pt --text "this is llama"

加载 .safetensors 模型（直接加载至 GPU）：

CUDA_VISIBLE_DEVICES=0 python llama_inference.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load llama7b-4bit-128g.safetensors --text "this is llama" --device=0