GPTQ

本仓库包含 ICLR 2023 论文 GPTQ: 针对生成式预训练 Transformer 的高精度后训练压缩 的代码实现。当前版本包括以下功能：

• GPTQ 算法的高效实现：gptq.py
• 将 OPT 和 BLOOM 系列的所有模型压缩至 2/3/4 位，支持权重分组：opt.py、bloom.py、zeroShot/
• 在多个语言生成任务上评估量化模型的困惑度：opt.py、bloom.py
• 在多个零样本任务上评估量化模型的性能：zeroShot/
• 一种 3 位量化矩阵与全精度向量乘积的 CUDA 内核：quant_cuda_kernel.cu、quant_cuda.cpp、setup_cuda.py
• 用于单个矩阵-向量乘积以及使用量化模型进行语言生成的基准测试代码：test_kernel.py、opt.py

新特性

2023 年 7 月更新：

• 添加了 --static-groups 选项，该选项会在量化之前预先确定所有分组网格，而不是在量化过程中动态确定。这样一来，当与该选项一起使用时，--act-order 不再需要任何可能造成速度下降的推理改动。

随着论文的最终定稿版发布，我们还对该仓库进行了多项更新：

• 对 C4 和 PTB 数据集的预处理进行了微调，以获得更贴近实际的评估结果（用于我们的更新结果）；可通过 --new-eval 标志启用。
• 优化了 3 位内核，使其速度显著提升，尤其是在 A100 上，例如对于 OPT-175B 模型，生成速度从 1.9 倍提升至 3.25 倍；可通过 --faster-kernel 启用。
• 提供了一个最小化的 LLaMa 集成（如需更完整的功能，请参阅 GPTQ-for-LLaMa 仓库），展示了两个新技巧：--act-order（按激活值大小降序量化列）和 --true-sequential（即使在单个 Transformer 块内也执行顺序量化）。这些改进修复了 GPTQ 在 7B 模型上的异常糟糕表现（从 7.15 降至 6.09 的 Wiki2 PPL），并普遍提升了大多数模型和设置下的性能。

以下是 LLaMa 模型的评估结果汇总：

Wiki2 PPL	FP16	4bit-RTN	4bit-GPTQ	3bit-RTN	3bit-GPTQ	3g128-GPTQ
LLaMa-7B	5.68	6.29	6.09	25.54	8.07	6.61
LLaMa-13B	5.09	5.53	5.36	11.40	6.63	5.62
LLaMa-30B	4.10	4.54	4.45	14.89	5.69	4.80
LLaMa-65B	3.53	3.92	3.84	10.59	5.04	4.17

以下是一个示例命令：

python llama.py LLAMA_HF_FOLDER c4 --wbits 4 --true-sequential --act-order --new-eval

此外，--act-order 启发式方法还显著提升了 OPT-66B 这一异常模型的准确性：4 位和 3 位分别将 Wiki2 上的 PPL 从 9.55 降至 9.34 和从 14.16 降至 9.95。

依赖项

• torch：已在 v1.10.1+cu111 上测试通过
• transformers：已在 v4.21.2 上测试通过（目前 LLaMa 集成需要从源码安装主库，并且需要 sentencepiece）
• datasets：已在 v1.17.0 上测试通过
• （要运行 3 位内核：需配置 PyTorch CUDA 扩展的编译环境，详情请参阅 https://pytorch.org/tutorials/advanced/cpp_extension.html，已在 CUDA 11.4 上测试通过）

所有实验均在一台配备 80GB 显存的 NVIDIA A100 上运行。不过，大多数实验也可以在显存较少的 GPU 上顺利进行。

语言生成

OPT

# 计算全精度（FP16）结果
CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4
# 运行 RTN 基线并计算结果
CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4 --wbits 4 --nearest
# 运行 GPTQ 并计算结果
CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4 --wbits 4 [--groupsize 1024]

若要运行其他 OPT 模型，可将 opt-125m 替换为：opt-350m、opt-1.3b、opt-2.7b、opt-6.7b、opt-13b、opt-66b。对于 175B 参数的模型，您需要向 Meta 申请访问权限，然后使用其提供的脚本将其转换为本地 HuggingFace 检查点，路径为 metaseq。获得检查点后，只需将其路径替换为 facebook/opt-125m 即可。

BLOOM

# 计算全精度（FP16）结果
CUDA_VISIBLE_DEVICES=0 python bloom.py bigscience/bloom-560m c4
# 运行 RTN 基线并计算结果
CUDA_VISIBLE_DEVICES=0 python bloom.py bigscience/bloom-560m c4 --wbits 4 --nearest
# 运行 GPTQ 并计算结果
CUDA_VISIBLE_DEVICES=0 python bloom.py bigscience/bloom-560m c4 --wbits 4 [--groupsize 1024]

若要运行其他 BLOOM 模型，可将 bloom-560m 替换为：bloom-1b1、bloom-1b7、bloom-3b、bloom-7b1、bloom。

零样本

请参阅 zeroShot/ 文件夹。

3 位 CUDA 内核

# 安装内核
python setup_cuda.py install

# 对 OPT-175B 的 FC2 层进行性能基准测试
CUDA_VISIBLE_DEVICES=0 python test_kernel.py

# 使用 3 位 OPT-175B 进行语言生成的基准测试：
# OPT175B 是指包含 HuggingFace OPT-175B 检查点的文件夹名称（见上文）

# 保存压缩后的模型
CUDA_VISIBLE_DEVICES=0 python opt.py OPT175B c4 --wbits 3 --save opt175-3bit.pt
# 使用保存的模型生成 128 个标记的序列并进行基准测试
CUDA_VISIBLE_DEVICES=0 python opt.py OPT175B c4 --load opt175b-3bit.pt --benchmark 128
# 基准测试 FP16 基线，注意模型会跨列出的所有 GPU 分布
CUDA_VISIBLE_DEVICES=0,1,2,3,4 python opt.py OPT175B c4 --benchmark 128

请注意，我们的 3 位内核目前仅针对运行在 1xA100 或 2xA6000 上的 OPT-175B 进行了优化，因此在较小的模型或其他 GPU 上可能会表现出次优性能。

引用

如果您觉得这项工作有所帮助，请考虑引用以下文献：

@article{frantar-gptq,
  title={{GPTQ}: Accurate Post-training Compression for Generative Pretrained Transformers}, 
  author={Elias Frantar and Saleh Ashkboos and Torsten Hoefler and Dan Alistarh},
  year={2022},
  journal={arXiv preprint arXiv:2210.17323}
}

GPTQ 快速上手指南

GPTQ 是一种用于生成式预训练 Transformer 模型的高精度后训练量化算法。本指南将帮助您快速配置环境并运行 OPT、BLOOM 及 LLaMa 模型的量化任务。

环境准备

系统要求

• GPU: 推荐 NVIDIA A100 (80GB)，但大多数实验可在显存较小的 GPU 上运行。
• CUDA: 若需使用优化的 3-bit CUDA 内核，需安装 CUDA 11.4 及以上版本，并配置好 PyTorch CUDA 扩展编译环境。

前置依赖

请确保已安装以下 Python 库（版本参考）：

• torch: v1.10.1+cu111 或更高
• transformers: v4.21.2 或更高
  • 注意: 运行 LLaMa 模型需要从源码安装最新版 transformers 并安装 sentencepiece。
• datasets: v1.17.0 或更高

国内加速建议：建议使用清华或阿里镜像源安装依赖，以提升下载速度。

pip install torch transformers datasets sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆仓库后，若需使用高性能的 3-bit CUDA 内核，请先编译安装扩展：

python setup_cuda.py install

注：如果不使用 3-bit 内核特性，可跳过此步，直接使用 Python 脚本运行量化逻辑。

基本使用

以下示例展示如何对 OPT 系列模型进行 4-bit GPTQ 量化并评估困惑度（Perplexity）。

1. 运行基准测试 (FP16)

首先获取全精度模型的性能基准：

CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4

2. 运行 RTN 基线 (可选)

对比最近舍入（Round-to-Nearest）量化效果：

CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4 --wbits 4 --nearest

3. 运行 GPTQ 量化

执行 GPTQ 算法进行 4-bit 量化（支持可选的分组大小 --groupsize）：

CUDA_VISIBLE_DEVICES=0 python opt.py facebook/opt-125m c4 --wbits 4 [--groupsize 1024]

其他模型说明

• OPT 系列: 将命令中的 opt-125m 替换为 opt-350m, opt-1.3b, opt-6.7b, opt-13b, opt-66b 等。
• BLOOM 系列: 使用 bloom.py 脚本，将模型名替换为 bigscience/bloom-560m, bloom-1b7, bloom-7b1 等。

  CUDA_VISIBLE_DEVICES=0 python bloom.py bigscience/bloom-560m c4 --wbits 4
  

• LLaMa 系列: 使用 llama.py 脚本，推荐结合 --act-order 和 --true-sequential 参数以获得最佳精度：

  python llama.py LLAMA_HF_FOLDER c4 --wbits 4 --true-sequential --act-order --new-eval