OmniQuant：面向大型语言模型的全方位校准量化

🔥🔥🔥

OmniQuant 是一种简单而强大的 LLM 量化技术。当前版本支持：

• OmniQuant 算法，用于精确的仅权重量化（W4A16/W3A16/W2A16）和权重-激活量化（W6A6、W4A4）
• 针对 LLM 的预训练 Omniquant 模型库（LLaMA-1&2、LLaMA-2-Chat、OPT、Falcon、Mixtral-7Bx8；可加载生成量化权重）
• 开箱即用的案例：利用 MLC-LLM 在 GPU 和手机上以 W3A16g128 量化运行 LLaMa-2-Chat（7B/13B）

新闻

• [2025/11] 🔥 我们开源了 INT vs. FP，这是一个用于比较低比特整数和浮点格式的框架，包括 MXFP8/MXFP6/MXFP4/NVFP4 以及 MXINT8/MXINT6/MXINT4/NVINT4。
• [2025/05] 🔥 我们探索了 量化感知训练的缩放定律，为 LLM 的 QAT 提供了见解和指导。
• [2024/10] 🔥 我们发布了一种新的权重-激活量化算法，PrefixQuant，该算法提出了一种高效的方法来隔离异常词元（token-wise outlier）。
• [2024/7] 🔥 我们发布了一种新的量化算法，EfficientQAT，它以高效的时间和内存利用率实现了量化感知训练。此外，EfficientQAT 是目前均匀量化的最先进方法。
• [2024/1] 🌟 我们的 OmniQuant 论文已被 ICLR 2024 接受并安排进行 Spotlight 报告（在超过 7200 篇投稿中仅排名前 5%）！🎉 恭喜！
• [2023/12] 🔥 我们新增对 Mixtral-8x7B 的支持。OmniQuant 能够在 Mixtral-8x7B-v0.1 上实现近乎无损的 4 位量化，将显存需求从 87GB 降至 23GB。
• [2023/09] 🔥 我们扩展了对 Falcon 的支持。OmniQuant 可以将 Falcon-180b 从 335G 高效压缩至 65G，且性能损失极小。此外，这种压缩使得 Falcon-180b 能够在单张 A100 80GB GPU 上进行推理。详情请参阅 runing_falcon180b_on_single_a100_80g。

目录

• 安装
• Omniquant 模型库
• 使用方法
• 使用 MLC-LLM 进行推理
• 结果
• 引用

安装

conda create -n omniquant python=3.10 -y
conda activate omniquant
git clone https://github.com/OpenGVLab/OmniQuant.git
cd OmniQuant
pip install --upgrade pip 
pip install -e .

我们还借助 AutoGPTQ 的内核来实现真正的量化。因此，您还需要按照以下步骤安装修复后的 AutoGPTQ：

git clone https://github.com/ChenMnZ/AutoGPTQ-bugfix
pip install -v .

OmniQuant 模型库

我们为多个模型家族提供了预训练的 Omniquant 模型库，包括 LLaMa-1&2、LLaMa-2-Chat、OPT。

您可以在 Huggingface 下载所需的预训练 OmniQuant 参数。

详细支持列表如下：

模型	尺寸	W2A16	W2A16g128	W2A16g64	W3A16
LLaMA	7B/13B/30B/65B	✅	✅	✅	✅
LLaMA-2	7B/13B/70B	✅	✅	✅	✅
OPT	125m/1.3B/2.7B/6.7B/13B/30B/66B	✅	✅	✅	✅

模型	尺寸	W3A16g128	W4A16	W4A16g128	W6A6	W4A4
LLaMA	7B/13B/30B/65B	✅	✅	✅	✅	✅
LLaMA-2	7B/13B/70B	✅	✅	✅	✅	✅
OPT	125m/1.3B/2.7B/6.7B/13B/30B/66B	✅	✅	✅	✅	✅
LLaMA-2-Chat	7B/13B	✅

使用方法

我们在 ./scripts/ 中提供了运行 OmniQuant 的完整脚本。这里以 LLaMa-7B 为例：

1. 获取初始化所需的通道级缩放和偏移量：

conda install git git-lfs
git lfs install
git clone https://huggingface.co/ChenMnZ/act_shifts
git clone https://huggingface.co/ChenMnZ/act_scales

可选地，我们也提供了一个可以自行生成通道级缩放和偏移量的脚本：

python generate_act_scale_shift.py --model /PATH/TO/LLaMA/llama-7b

2. 仅权重量化

# W3A16
CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 20 --output_dir ./log/llama-7b-w3a16 \
--eval_ppl --wbits 3 --abits 16 --lwc

# W3A16g128
CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 20 --output_dir ./log/llama-7b-w3a16g128 \
--eval_ppl --wbits 3 --abits 16 --group_size 128 --lwc

3. 权重-激活量化

# W4A4
CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 20 --output_dir ./log/llama-7b-w4a4 \
--eval_ppl --wbits 4 --abits 4 --lwc --let \
--tasks piqa,arc_easy,arc_challenge,boolq,hellaswag,winogrande

4. 复现我们论文中的评估结果

   1) 通过 Huggingface 下载您想要的预训练 OmniQuant 参数。

   2) 将 epoch 设置为 0，并启用恢复推理。以 LLaMa-7B 的 W3A16g128 量化为例：

CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 0 --output_dir ./log/test \
--eval_ppl --wbits 3 --abits 16 --group_size 128 --lwc \
--resume /PATH/TO/Pretrained/Parameters 

更多详细及可选参数：

• --model: 模型的本地路径或 Hugging Face 格式的模型名称。
• --wbits: 权重量化位数。
• --abits: 激活值量化位数。
• --group_size: 权重量化时的分组大小。若未设置，则默认采用逐通道量化。
• --lwc: 启用可学习权重裁剪（LWC）。
• --let: 启用可学习等效变换（LET）。
• --lwc_lr: LWC 参数的学习率，默认为 1e-2。
• --let_lr: LET 参数的学习率，默认为 5e-3。
• --epochs: 训练轮数。可将其设置为 0，以评估预训练的 OmniQuant 检查点。
• --nsamples: 校准样本数量，默认为 128。
• --eval_ppl: 评估量化模型的困惑度。
• --tasks: 进行零样本任务评估。
• --resume: 加载预训练的 OmniQuant 参数。
• --multigpu: 在多 GPU 上运行更大规模的网络推理。
• --real_quant: 真实量化，可以观察到显存占用的减少。需要注意的是，由于 AutoGPTQ 内核的限制，仅权重量化的真实量化只能减少显存占用，但推理速度会变慢。
• --save_dir: 保存量化模型以便进一步研究。

使用 MLC-LLM 运行量化模型

MLC-LLM 提供了一种通用的部署方案，适用于多种语言模型，并且可在广泛的硬件平台上运行，包括 iPhone、Android 手机以及 NVIDIA、AMD 和 Intel 的 GPU。

我们通过 MLC-LLM 编译了 OmniQuant 的量化模型，并在此提供了一个开箱即用的示例。您可以看到更小的显存占用和更快的推理速度。详细的使用说明请参阅 runing_quantized_models_with_mlc_llm.ipynb。

特别地，我们还通过 MLC-LLM 将上述两种量化模型部署到了手机上。您只需点击下方按钮即可下载 Android 应用：

该应用包含三个模型：LLaMa-2-7B-Chat-Omniquant-W3A16g128asym、LLaMa-2-13B-Chat-Omniquant-W3A16g128asym 和 LLaMa-2-13B-Chat-Omniquant-W2A16g128asym。它们分别需要至少 4.5G、7.5G 和 6.0G 的可用内存。请注意，根据我们的论文结果，2 位量化的效果不如 3 位量化。之所以包含 2 位量化，只是对在手机上部署大语言模型的一种极端探索。目前，该应用仍处于演示阶段，响应可能会稍慢，请耐心等待回复。我们已在 Redmi Note 12 Turbo（骁龙 7+ Gen 2，16G RAM）上测试过该应用，部分示例如下：

• LLaMa-2-7B-Chat-Omniquant-W3A16g128asym

• LLaMa-2-13B-Chat-Omniquant-W3A16g128asym

• LLaMa-2-13B-Chat-Omniquant-W2A16g128asym

我们也在 iPhone 14 Pro（A16 仿生芯片，6G RAM）上测试了该应用，部分示例如下：

• LLaMa-2-7B-Chat-Omniquant-W3A16g128asym

结果

• OmniQuant 在仅权重量化方面达到了 SOTA 水平
• OmniQuant 在权重-激活量化方面达到了 SOTA 水平
• OmniQuant 具有良好的泛化能力，在经过指令微调的模型上，使用 GPT-4 进行评估时也表现出色
• MLC-LLM 可以为 W4A16、W3A16 和 W2A16 量化带来显著的速度提升和显存节省

相关项目

SmoothQuant: 高精度且高效的大型语言模型后训练量化

AWQ: 针对 LLM 压缩与加速的激活感知权重量化

GPTQ: 针对生成式预训练 Transformer 的高精度后训练压缩

RPTQ: 基于重新排序的大型语言模型后训练量化

MLC LLM

AutoGPTQ

引用

如果您在研究中使用了我们的 OmniQuant 方法，请引用我们的论文：

@article{OmniQuant,
  title={OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models},
  author={Shao, Wenqi and Chen,Mengzhao and  Zhang, Zhaoyang and Xu, Peng and Zhao, Lirui and Li, Zhiqian and Zhang, Kaipeng Zhang, and Gao, Peng, and Qiao, Yu, and Luo, Ping},
  journal={arXiv preprint arXiv:2308.13137},
  year={2023}
}

OmniQuant 快速上手指南

OmniQuant 是一种针对大语言模型（LLM）的全方位校准量化技术，支持高精度的仅权重量化（如 W2A16, W3A16）和权值 - 激活值联合量化（如 W4A4, W6A6）。本指南将帮助您快速搭建环境并运行示例。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• 硬件要求: NVIDIA GPU (需安装对应的 CUDA 驱动)
• 前置依赖:
  • Conda (用于管理虚拟环境)
  • Git & Git-LFS (用于下载模型参数)

安装步骤

1. 创建并激活虚拟环境

conda create -n omniquant python=3.10 -y
conda activate omniquant

2. 克隆项目并安装核心依赖

建议配置 pip 国内镜像源以加速下载。

git clone https://github.com/OpenGVLab/OmniQuant.git
cd OmniQuant
pip install --upgrade pip 
# 使用清华源加速安装
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装修复版的 AutoGPTQ (必需)

OmniQuant 依赖 AutoGPTQ 的内核来实现真正的量化推理，需安装官方提供的修复版本。

git clone https://github.com/ChenMnZ/AutoGPTQ-bugfix
cd AutoGPTQ-bugfix
pip install -v . -i https://pypi.tuna.tsinghua.edu.cn/simple
cd ..

4. 下载初始化参数

下载量化所需的通道级缩放因子（scales）和偏移量（shifts）。

conda install git git-lfs -y
git lfs install
git clone https://huggingface.co/ChenMnZ/act_shifts
git clone https://huggingface.co/ChenMnZ/act_scales

提示: 如果访问 HuggingFace 困难，可尝试使用国内镜像站或手动下载后放入对应目录。

基本使用

以下以 LLaMA-7B 模型进行 W3A16 (3-bit 权重量化) 为例。请确保已将原始模型下载至本地路径（例如 /PATH/TO/LLaMA/llama-7b）。

执行量化脚本

CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 20 \
--output_dir ./log/llama-7b-w3a16 \
--eval_ppl \
--wbits 3 \
--abits 16 \
--lwc

参数说明

• --model: 原始模型路径或 HuggingFace 模型 ID。
• --wbits: 权重量化位数 (如 2, 3, 4)。
• --abits: 激活值量化位数 (如 16 表示不量化激活值)。
• --group_size: 量化组大小 (如 128)，若不设置则默认为每通道量化。
• --lwc: 启用可学习权重裁剪 (Learnable Weight Clipping)，提升精度。
• --let: 启用可学习等效变换 (Learnable Equivalent Transformation)，用于权值 - 激活值联合量化时。
• --epochs: 训练轮数。若设为 0 并配合 --resume 参数，可直接加载预训练好的 OmniQuant 权重进行评测。

加载预训练模型进行评测

如果您想直接使用官方提供的预训练量化权重（从 HuggingFace 下载），可将 epochs 设为 0 并指定权重路径：

CUDA_VISIBLE_DEVICES=0 python main.py \
--model /PATH/TO/LLaMA/llama-7b  \
--epochs 0 \
--output_dir ./log/test \
--eval_ppl \
--wbits 3 \
--abits 16 \
--group_size 128 \
--lwc \
--resume /PATH/TO/Pretrained/Parameters 

移动端部署 (可选)

项目提供了基于 MLC-LLM 编译的 Android APK，支持在手机上运行量化后的 LLaMA-2-Chat 模型。

• 下载地址: omniquant-mlc-llm.apk
• 支持模型: LLaMA-2-7B/13B (W3A16/W2A16)
• 内存需求: 7B 模型约需 4.5GB RAM，13B 模型约需 6.0GB-7.5GB RAM。