面向大型语言模型和扩散模型的模型压缩工具箱

最新动态

• [2025年2月] 🎉 QServe 已被 MLSys 2025 接收！
• [2025年1月] 🎉 SVDQuant 已被 ICLR 2025（Spotlight）接收！
• [2024年12月] 🎉 QServe 已集成到 NVIDIA TensorRT-LLM 中！
• [2024年11月] 🔥 我们的最新 W4A4 扩散模型量化工作 SVDQuant 算法及 Nunchaku 系统已公开发布！请查看我们的 论文！
• [2024年5月] 🔥 我们的最新 W4A8KV4 LLM 量化工作 QoQ 算法及 QServe 系统已公开发布！QoQ 是 quattuor-octō-quattuor 的缩写，意为拉丁语中的 4-8-4。请查看我们的 论文！

核心功能

DeepCompressor 是一个基于 PyTorch 的开源模型压缩工具箱，适用于大型语言模型和扩散模型。目前，DeepCompressor 支持使用任何 8 位以内的整数和浮点数据类型进行伪量化，例如 INT8、INT4 和 FP4_E2M1。以下是实现以下算法的示例。

• 大型语言模型的后训练量化：
  • 仅权重量化
    • AWQ (W4A16)
    • GPTQ (W4A16)
  • 权重-激活量化
    • SmoothQuant (W8A8)
  • 权重-激活及 KV 缓存量化
    • QoQ (W4A8KV4)
• 扩散模型的后训练量化：
  • 权重-激活量化
    • SVDQuant (W4A4)

DeepCompressor 还包含与其他推理库集成的示例。

• 使用 TinyChat 部署仅权重量化的 LLM
• 使用 QServe 部署量化后的 LLM
• 使用 Nunchaku 部署量化后的扩散模型

安装

从源码安装

1. 克隆本仓库并进入 deepcompressor 文件夹

git clone https://github.com/mit-han-lab/deepcompressor
cd deepcompressor

2. 安装软件包

conda env create -f environment.yml
poetry install

亮点

SVDQuant：通过低秩组件吸收异常值，实现4位扩散模型量化

[官网][论文][Nunchaku 推理系统]

扩散模型在生成高质量图像方面表现出色。然而，随着模型规模的增大，它们对内存的需求显著增加，延迟也随之上升，这给部署带来了巨大挑战。在本工作中，我们旨在通过将扩散模型的权重和激活量化的4位来加速模型推理。在如此激进的量化级别下，权重和激活都变得非常敏感，传统的针对大型语言模型的后训练量化方法（如平滑化）已不足以应对。为克服这一局限性，我们提出了SVDQuant，一种全新的4位量化范式。与通过在权重和激活之间重新分配异常值的平滑化方法不同，我们的方法利用低秩分支来吸收这些异常值。我们首先通过将异常值从激活转移到权重来集中处理它们，然后使用高精度的低秩分支，借助奇异值分解（SVD）来处理权重中的异常值。这一过程有效缓解了两侧的量化压力。然而，如果简单地独立运行低秩分支，由于激活数据的额外移动，会带来显著的开销，从而抵消量化带来的加速效果。为此，我们协同设计了一款推理引擎Nunchaku，它将低秩分支的核与低比特分支的核融合在一起，以减少冗余的内存访问。此外，该引擎还能无缝支持现成的低秩适配器（LoRA），无需重新量化。我们在SDXL、PixArt-∑和FLUX.1上的大量实验验证了SVDQuant在保持图像质量方面的有效性。我们使120亿参数的FLUX.1模型的内存占用减少了3.5倍，在配备16GB显存的4090 GPU的笔记本电脑上，相比仅量化权重的4位基线实现了3.0倍的加速，为在个人电脑上实现更交互式的应用铺平了道路。

质量评估

以下是对MJHQ-30K数据集中的5000个样本进行的质量和相似性评估。IR代表ImageReward分数。我们的4位结果优于其他4位基线，能够有效保留16位模型的视觉质量。

模型	精度	方法	FID ($\downarrow$)	IR ($\uparrow$)	LPIPS ($\downarrow$)	PSNR( $\uparrow$)
FLUX.1-dev (50步)	BF16	--	20.3	0.953	--	--
	W4A16	NF4	20.6	0.910	0.272	19.5
	INT W4A4		20.2	0.908	0.322	18.5
	INT W4A4	SVDQuant	19.9	0.935	0.223	21.0
	NVFP4		20.3	0.961	0.345	16.3
	NVFP4	SVDQuant	20.3	0.945	0.205	21.5
FLUX.1-schnell (4步)	BF16	--	19.2	0.938	--	--
	W4A16	NF4	18.9	0.943	0.257	18.2
	INT W4A4		18.1	0.962	0.345	16.3
	INT W4A4	SVDQuant	18.3	0.951	0.257	18.3
	NVFP4		19.0	0.952	0.276	17.6
	NVFP4	SVDQuant	18.9	0.966	0.228	19.0
SANA-1.6b (20步)	BF16	--	20.6	0.952	--	--
	INT W4A4		20.5	0.894	0.339	15.3
	INT W4A4	SVDQuant	19.3	0.935	0.220	17.8
	NVFP4		19.7	0.929	0.236	17.4
	NVFP4	SVDQuant	20.2	0.941	0.176	19.0
PixArt-Sigma (20步)	FP16	--	16.6	0.944	--	--
	INT W4A8	ViDiT-Q	37.3	0.573	0.611	12.0
	INT W4A4	SVDQuant	19.2	0.878	0.323	17.6
	NVFP4		31.8	0.660	0.517	14.8
	NVFP4	SVDQuant	16.6	0.940	0.271	18.5

QServe：W4A8KV4量化，用于高效的大语言模型服务

[官网][论文][QoQ算法代码][QServe GPU系统]

量化可以加速大型语言模型（LLM）的推理过程。除了INT8量化之外，研究界也在积极探索更低精度的量化方法，例如INT4。然而，目前最先进的INT4量化技术仅能加速低批次、端侧的LLM推理，在大规模批次、云端部署的LLM服务中却无法带来性能提升。我们发现了一个关键问题：现有的INT4量化方法在GPU上对权重或部分和进行反量化时，会引入显著的运行时开销（20%–90%）。为了解决这一挑战，我们提出了QoQ，一种W4A8KV4量化算法，即权重采用4位、激活采用8位、KV缓存采用4位。QoQ源自拉丁语“quattuor-octo-quattuor”，意为4-8-4。QoQ由QServe推理库实现，并通过实测验证了其加速效果。驱动QServe的核心洞察是：GPU上的LLM服务效率主要受低吞吐量CUDA核心上的操作所影响。基于这一洞察，我们在QoQ算法中引入了渐进式量化，能够在W4A8 GEMM中大幅降低反量化开销。此外，我们还开发了SmoothAttention，以有效缓解4位KV量化带来的精度损失。在QServe系统中，我们采用了计算感知的权重重排，并充分利用寄存器级并行性来减少反量化延迟。同时，我们将注意力机制的内存访问部分融合化，从而充分发挥KV4量化带来的性能优势。最终，与TensorRT-LLM相比，QServe使Llama-3-8B在A100上的最大可实现服务吞吐量提升了1.2倍，在L40S上提升了1.4倍；而Qwen1.5-72B在A100上的吞吐量提升了2.4倍，在L40S上提升了3.5倍。

困惑度评估

以下是序列长度为2048时的WikiText2困惑度评估结果，数值越低越好。

方法	精度	Llama-3.1 70B	Llama-3.1 8B	Llama-3 70B	Llama-3 8B	Llama-2 7B	Llama-2 13B	Llama-2 70B	Llama 7B	Llama 13B	Llama 30B	Mistral 7B	Yi 34B
FP16		2.81	6.24	2.85	6.14	5.47	4.88	3.32	5.68	5.09	4.10	5.25	4.60
SmoothQuant	W8A8	3.23	6.38	3.14	6.28	5.54	4.95	3.36	5.73	5.13	4.23	5.29	4.69
GPTQ-R	W4A16 g128	3.46	6.64	3.42	6.56	5.63	4.99	3.43	5.83	5.20	4.22	5.39	4.68
AWQ	W4A16 g128	3.22	6.60	3.20	6.54	5.60	4.97	3.41	5.78	5.19	4.21	5.37	4.67
QuaRot	W4A4	5.97	8.32	6.75	8.33	6.19	5.45	3.83	6.34	5.58	4.64	5.77	-
SpinQuant	W4A4	4.80	7.42	6.27	7.37	5.96	5.24	3.71	6.14	5.39	4.56	-	-
Atom	W4A4 g128	-	-	4.33	7.78	6.12	5.31	3.73	6.25	5.52	4.61	5.76	4.97
QoQ	W4A8KV4	3.68	6.87	3.65	6.81	5.75	5.11	3.50	5.92	5.27	4.31	5.44	4.73
QoQ	W4A8KV4 g128	3.51	6.77	3.50	6.70	5.67	5.06	3.46	5.88	5.23	4.27	5.41	4.73

* SmoothQuant采用逐张量静态KV缓存量化进行评估。

效率基准测试

在L40S和A100 GPU上服务Llama-3-8B和Qwen1.5-72B等大型语言模型时，QServe表现出卓越的性能，相较于行业领先的解决方案TensorRT-LLM，Llama-3-8B的吞吐量提升了1.2–1.4倍，而Qwen1.5-72B的吞吐量则提升了2.4–3.5倍。

更多关于基准测试设置的信息，请参阅QServe GPU推理系统。

L40S (48G)	Llama-3-8B	Llama-2-7B	Mistral-7B	Llama-2-13B	Llama-30B	Yi-34B	Llama-2-70B	Qwen-1.5-72B
TRT-LLM-FP16	1326	444	1566	92	OOM	OOM	OOM	OOM
TRT-LLM-W4A16	1431	681	1457	368	148	313	119	17
TRT-LLM-W8A8	2634	1271	2569	440	123	364	OOM	OOM
Atom-W4A4	--	2120	--	--	--	--	--	--
QuaRot-W4A4	--	805	--	413	133	--	--	15
QServe-W4A8KV4	3656	2394	3774	1327	504	869	286	59
吞吐量提升*	1.39倍	1.13倍	1.47倍	3.02倍	3.41倍	2.39倍	2.40倍	3.47倍

A100 (80G)	Llama-3-8B	Llama-2-7B	Mistral-7B	Llama-2-13B	Llama-30B	Yi-34B	Llama-2-70B	Qwen-1.5-72B
TRT-LLM-FP16	2503	1549	2371	488	80	145	OOM	OOM
TRT-LLM-W4A16	2370	1549	2403	871	352	569	358	143
TRT-LLM-W8A8	2396	2334	2427	1277	361	649	235	53
Atom-W4A4	--	1160	--	--	--	--	--	--
QuaRot-W4A4	--	1370	--	289	267	--	--	68
QServe-W4A8KV4	3005	2908	2970	1741	749	803	419	340
吞吐量提升*	1.20倍	1.25倍	1.22倍	1.36倍	2.07倍	1.23倍	1.17倍	2.38倍

QServe 与基线系统在绝对标记生成吞吐量方面的对比（单位：标记/秒。“--”表示不支持）。所有实验均在相同的设备内存预算下进行。QServe 的吞吐量提升是相对于各列中最佳基线计算得出的。

参考文献

如果您认为 deepcompressor 对您的研究有用或相关，请引用我们的论文：

@article{lin2024qserve,
  title={QServe: W4A8KV4 量化与系统协同设计，用于高效的大模型推理},
  author={Lin*, Yujun 和 Tang*, Haotian 和 Yang*, Shang 和 Zhang, Zhekai 和 Xiao, Guangxuan 和 Gan, Chuang 和 Han, Song},
  journal={arXiv 预印本 arXiv:2405.04532},
  year={2024}
}

@article{
  li2024svdquant,
  title={SVDQuant：通过低秩成分吸收异常值，实现 4 位扩散模型量化},
  author={Li*, Muyang 和 Lin*, Yujun 和 Zhang*, Zhekai 和 Cai, Tianle 和 Li, Xiuyu 和 Guo, Junxian 和 Xie, Enze 和 Meng, Chenlin 和 Zhu, Jun-Yan 和 Han, Song},
  journal={arXiv 预印本 arXiv:2411.05007},
  year={2024}
}

相关项目

以下项目与 QServe 密切相关。我们团队为高效大模型开发了从应用、算法、系统到硬件的全栈支持，获得了 9000 多颗 GitHub 星标 和 超过 100 万次 Hugging Face 社区下载。

也欢迎您访问 MIT HAN 实验室，了解更多关于 高效生成式 AI 的精彩项目！

• [系统] [QServe：用于高效 LLM 推理的 W4A8KV4 量化] (https://github.com/mit-han-lab/qserve)

• [系统] [TinyChat：基于 AWQ 的高效轻量级聊天机器人] (https://github.com/mit-han-lab/llm-awq/tree/main/tinychat)

• [应用] [VILA：视觉-语言模型的预训练研究] (https://github.com/Efficient-Large-Model/VILA)

• [算法] [AWQ：面向 LLM 压缩与加速的激活感知权重量化] (https://github.com/mit-han-lab/llm-awq)

• [算法] [SmoothQuant：针对大型语言模型的高精度高效后训练量化] (https://github.com/mit-han-lab/smoothquant)

• [算法] [DistriFusion：高分辨率扩散模型的分布式并行推理] (https://github.com/mit-han-lab/distrifuser)

• [硬件] [SpAtten：基于级联标记与头剪枝的高效稀疏注意力架构] (https://arxiv.org/abs/2012.09852)

致谢

DeepCompressor 灵感来源于众多开源库，包括但不限于 [GPTQ] (https://arxiv.org/abs/2210.17323)、[QuaRot] (https://arxiv.org/abs/2404.00456) 和 [Atom] (https://arxiv.org/abs/2310.19102)。

DeepCompressor 快速上手指南

DeepCompressor 是一个基于 PyTorch 的开源模型压缩工具箱，专为大型语言模型（LLM）和扩散模型（Diffusion Models）设计。它支持多种后训练量化（PTQ）算法，包括针对 LLM 的 QoQ (W4A8KV4)、AWQ、GPTQ，以及针对扩散模型的 SVDQuant (W4A4)。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.9 - 3.11
• 依赖管理工具:
  • Conda (用于创建隔离环境)
  • Poetry (用于项目依赖安装)
• 硬件: NVIDIA GPU (建议显存 16GB+ 以运行大模型量化示例)

注意: 本项目目前主要通过源码安装，未提供直接的 pip 包。请确保已安装 git。

2. 安装步骤

DeepCompressor 推荐使用 Conda 管理基础环境，配合 Poetry 安装项目依赖。

第一步：克隆代码库

git clone https://github.com/mit-han-lab/deepcompressor
cd deepcompressor

第二步：创建并激活 Conda 环境

使用项目提供的 environment.yml 文件创建包含所有必要依赖的环境：

conda env create -f environment.yml
conda activate deepcompressor

第三步：安装项目包

在激活的环境中，使用 Poetry 安装 DeepCompressor 及其内部依赖：

poetry install

提示: 如果 poetry install 速度较慢，可尝试配置国内镜像源（如清华源）加速：

poetry config repositories.tsinghua https://pypi.tuna.tsinghua.edu.cn/simple/
poetry source add --priority=explicit tsinghua https://pypi.tuna.tsinghua.edu.cn/simple/
# 然后重新运行 poetry install (可能需要调整 pyproject.toml 或命令行参数指定源)

3. 基本使用

DeepCompressor 的核心功能通过配置文件驱动。以下是针对不同模型类型的最简使用示例。

场景一：大语言模型 (LLM) 量化

项目提供了多种量化策略的配置文件，位于 examples/llm/configs/ 目录下。

示例：使用 AWQ 算法进行 4-bit 权重量化 (W4A16)

假设您已准备好模型路径和校准数据集，通常通过运行示例脚本来执行：

# 进入 LLM 示例目录
cd examples/llm

# 运行量化脚本 (具体脚本名称请参考 examples/llm/README.md 或目录内容，通常为 run_quantization.py 类似名称)
# 以下命令为示意，需根据实际入口文件调整
python run_quantization.py \
    --model_path <YOUR_MODEL_PATH> \
    --config configs/awq.yaml \
    --output_dir ./quantized_model_awq

• 支持的算法配置:
  • configs/awq.yaml: AWQ (W4A16, 仅权重量化)
  • configs/gptq.yaml: GPTQ (W4A16, 仅权重量化)
  • configs/smoothquant-static.yaml: SmoothQuant (W8A8, 权重 + 激活量化)
  • QoQ: W4A8KV4 (权重 + 激活 + KV Cache 量化，需参考 QServe 集成示例)

场景二：扩散模型 (Diffusion Models) 量化

针对图像生成模型，DeepCompressor 提供了先进的 SVDQuant 算法，实现 4-bit 权重和激活量化 (W4A4)。

示例：使用 SVDQuant 量化扩散模型

# 进入扩散模型示例目录
cd examples/diffusion

# 运行 SVDQuant 量化脚本
# 同样需根据实际入口文件调整参数
python run_svdquant.py \
    --model_name flux.1-dev \
    --output_dir ./quantized_flux_svdquant

• 核心特性: SVDQuant 通过低秩分支吸收异常值，显著降低显存占用（如 FLUX.1 模型可减少 3.5 倍），同时保持图像生成质量。
• 推理部署: 量化后的扩散模型可配合 Nunchaku 推理系统进行高效部署。

进阶：推理部署

量化完成后，您可以结合官方提供的推理后端进行部署：

• LLM: 使用 TinyChat 部署仅权重量化模型，或使用 QServe 部署 W4A8KV4 模型以获得最大吞吐量。
• Diffusion: 使用 Nunchaku 系统加载量化后的扩散模型进行快速推理。

详细部署代码请参考 examples/ 目录下对应的子文件夹说明。