令人惊叹的机器学习模型压缩

一个以“Awesome”风格整理的列表，汇集了最佳的机器学习模型压缩与加速相关研究论文、文章、教程、库、工具等。欢迎提交 PR！

目录

• 论文
  • 通用
  • 架构
  • 量化
  • 二值化
  • 剪枝
  • 蒸馏
  • 低秩近似
  • 卸载
  • 并行化
• 文章
  • 操作指南
  • 杂项
  • 参考
  • 博客
• 工具
  • 库
  • 框架
• 视频
  • 演讲
  • 培训与教程

---

论文

通用

• 深度神经网络的模型压缩与加速综述
• 作为约束优化的模型压缩及其在神经网络中的应用：第一部分——通用框架
• 作为约束优化的模型压缩及其在神经网络中的应用：第二部分——量化
• 高效深度学习：使深度学习模型更小、更快、更好的综述
• 用于深度学习的 FP8 格式，由 NVIDIA、Arm 和 Intel 联合发布，2022 年——FP8 在保持 FP16 精度的同时实现了 INT8 的性能。E4M3 是 FP8 的一种变体，兼具 INT8 的优势，且不会损失精度和吞吐量。

架构

• MobileNets：适用于移动视觉应用的高效卷积神经网络
• MobileNetV2：倒残差与线性瓶颈——用于分类、检测和分割的移动网络
• Xception：使用深度可分离卷积的深度学习
• ShuffleNet：一种极其高效的移动端卷积神经网络
• SqueezeNet：参数量减少 50 倍、模型大小小于 0.5MB 即达到 AlexNet 级别的准确率
• Fast YOLO：用于视频中实时嵌入式目标检测的快速 You Only Look Once 系统
• AddressNet：基于移位的原语，用于高效卷积神经网络
• ResNeXt：面向深度神经网络的聚合残差变换
• ResBinNet：残差二值神经网络
• 用于图像分类的残差注意力网络
• Squeezedet：统一的小型低功耗全卷积神经网络
• SEP-Nets：小型而有效的模式网络
• 动态容量网络
• 无需核技巧即可学习无限层网络
• 高效的稀疏 Winograd 卷积神经网络
• DSD：面向深度神经网络的密集-稀疏-密集训练
• 用于加速深度神经网络的协调滤波器
• 具有随机深度的深度网络

量化

• 面向移动设备的量化卷积神经网络
• 迈向网络量化极限
• 量化神经网络：使用低精度权重和激活进行神经网络训练
• 利用向量量化压缩深度卷积神经网络
• 训练后的三值量化
• ZipML 框架：端到端低精度模型训练——可行与不可行，以及一点深度学习
• ShiftCNN：面向卷积神经网络推理的广义低精度架构
• 通过半波高斯量化实现低精度深度学习
• 深度网络的损失感知二值化
• 循环神经网络中的权重与激活量化
• 循环神经网络的定点性能分析
• 比特数下降：重新审视神经网络的量化
• 通过分块量化实现 8 位优化器
• LLM.int8()：大规模 Transformer 的 8 位矩阵乘法 [博客文章]
• SmoothQuant：面向大型语言模型的精确高效后训练量化，由 MIT 和 NVIDIA 共同开发（2022 年）[代码]
• ZeroQuant：面向大型基于 Transformer 模型的高效经济型后训练量化，由 Microsoft 开发（2022 年）[代码]
• nuQmm：用于高效推理大规模生成式语言模型的量化 MatMul，由韩国 NAVER CLOVA 和浦项科技大学联合开发（2022 年）
• MKQ-BERT：采用 4 位权重和激活的量化 BERT，由腾讯 AIPD 开发（2022 年）
• 理解并克服高效 Transformer 量化面临的挑战，由 Qualcomm AI Research 开发（2021 年）[代码]
• Mesa：一种节省内存的 Transformer 训练框架，由莫纳什大学开发（2021 年）
• 关于 4 位精度的理由：k 位推理缩放法则，由 Tim Dettmers 等人提出（2022 年）——总体而言，他们的研究结果表明，对于模型总比特数和零样本准确率而言，4 位精度几乎普遍最优。
• GPTQ：面向生成式预训练 Transformer 的精确后训练量化，由 Elias Frantar 等人开发，2022 年。
• 其他列表：
  • htqin/awesome-model-quantization

二值化

• 用于高效硬件加速的可分离滤波器二值化卷积神经网络
• 二值化神经网络：训练权重和激活值被约束为+1或-1的深度神经网络
• 局部二值卷积神经网络
• XNOR-Net：使用二值卷积神经网络进行ImageNet分类
• DoReFa-Net：训练低比特宽度梯度的低比特宽度卷积神经网络

剪枝

• 通过直接稀疏卷积和引导式剪枝加速CNN
• 深度压缩：利用剪枝、量化训练和霍夫曼编码压缩深度神经网络
• 为资源高效的推理而剪枝卷积神经网络
• 为高效ConvNet而剪枝滤波器
• 基于能耗感知剪枝设计节能型卷积神经网络
• 学习剪枝：探索快速且准确解析的前沿
• 精细剪枝：结合贝叶斯优化对卷积网络进行联合微调与压缩
• 同时学习权重和连接以构建高效神经网络
• ThiNet：一种用于深度神经网络压缩的滤波器级剪枝方法
• 面向深度神经网络的数据驱动稀疏结构选择
• 面向神经网络压缩的软权值共享
• 用于高效DNN的动态网络手术
• 通道剪枝加速超深层神经网络
• AMC：移动端模型压缩与加速的AutoML
• ESE：基于FPGA的稀疏LSTM高效语音识别引擎
• 大规模语言模型可在一次操作中精确剪枝（2023）——剪枝方法：训练后剪枝、逐层剪枝。量化方法：联合稀疏化与训练后量化。

  他们提出了SparseGPT，这是首个能在100亿至1000亿参数规模下高效运行的精确一次性剪枝方法。SparseGPT将剪枝问题转化为一个超大规模的稀疏回归实例。它基于一种新的近似稀疏回归求解器，用于解决逐层压缩问题，效率足以在单个GPU上用时数小时处理最大的公开GPT模型（1750亿参数）。同时，SparseGPT足够精确，能够在不进行任何微调的情况下，在剪枝后几乎不损失精度。

• UPop：用于压缩视觉-语言Transformer的统一渐进式剪枝，由清华大学等机构提出（ICML 2023）[代码]
• 大型语言模型的简单有效剪枝方法，由CMU、Meta AI Research等机构于2024年5月提出——流行的幅度剪枝方法基于这样的假设：越接近0的权重可以被置为0而不影响性能。然而，在LLM中，某一层中间输出的一部分数值可能比同层其他输出大20倍。如果移除与这些大数值相乘的权重——即使它们接近零——也可能显著降低性能。因此，同时考虑权重和中间层输出的剪枝技术可以在较少影响性能的情况下加速网络。其重要性在于：随着移动设备和个人电脑性能的提升，能够在不影响模型性能的前提下压缩模型变得愈发重要。[代码：Wanda]

知识蒸馏

• 蒸馏神经网络中的知识
• 深度模型压缩：从噪声教师中蒸馏知识
• 通过知识蒸馏学习高效的目标检测模型
• 面向深度神经网络的无数据知识蒸馏
• 知识投影用于高效设计更薄更快的深度神经网络
• Moonshine：通过廉价卷积进行知识蒸馏
• 从人脸分类到对齐与验证的知识迁移式模型蒸馏
• 如你所好：通过神经元选择性转移进行知识蒸馏
• 序列级知识蒸馏
• 基于条件对抗网络的知识蒸馏损失函数
• 暗知识
• DarkRank：通过跨样本相似性转移加速深度度量学习
• FitNets：为轻量级深度网络提供提示
• MobileID：通过从神经元中蒸馏知识来压缩人脸模型
• 更加关注注意力：通过注意力转移提升卷积神经网络性能

低秩近似

• 通过低秩展开加速卷积神经网络
• 用于快速、低功耗移动应用的深度卷积神经网络压缩
• 带有低秩正则化的卷积神经网络
• 利用卷积神经网络中的线性结构进行高效推理
• 加速用于分类和检测的超深卷积神经网络
• 非线性卷积神经网络的有效且精确的近似
• LoRA：大型语言模型的低秩适配 - Hu 等人提出了适用于 GPT 类模型的低秩适配器。
• QLoRA：量化大语言模型的高效微调 由 Tim Dettmers 等人（2023 年）提出。

模型卸载

近年来，出现了许多专门用于大语言模型推理的系统，例如 FasterTransformer（NVIDIA，2022 年）、PaLM 推理（Pope 等人，2022 年）、Deepspeed-Inference（Aminabadi 等人，2022 年）、Accelerate（HuggingFace，2022 年）、LightSeq（Wang 等人，2021 年）、TurboTransformers（Fang 等人，2021 年）。

为了在普通硬件上实现大语言模型推理，模型卸载是一项关键技术——据我们所知，在现有系统中，只有 Deepspeed-Inference 和 Huggingface Accelerate 提供了这一功能。

• FlexGen：单 GPU 高吞吐量生成式大语言模型推理 由 HazyResearch@Stanford 等人于 2023 年提出。[推文]

并行化

用于模型加速的压缩方法（即模型并行化）相关论文：

• 压缩激活值是否有助于模型并行训练？（2023 年） - 该研究首次对压缩算法（基于剪枝、基于学习以及基于量化的方法，使用 Transformer 架构）在提升模型并行通信速度方面的有效性进行了实证研究。总结： 1）激活值压缩并不等同于梯度压缩；2）训练设置非常重要；3）不要压缩早期层的激活值。

文章

在网络上发布的内容。

操作指南

• 如何使用 TensorFlow 对神经网络进行量化
• 🤗 PEFT：在低资源硬件上对十亿参数级模型进行参数高效的微调（2023 年） - HuggingFace 的 PEFT 库使得用户能够结合 Transformers 中最流行、性能最佳的模型与 Accelerate 的简洁性和可扩展性。目前支持的 PEFT 方法有：LoRA、前缀调优、提示调优以及 P-Tuning（采用可训练的连续提示嵌入）。他们还将探索更多 PEFT 方法，如 (IA)3 和瓶颈适配器。结果：现在微调 Flan-T5-XXL 所需的参数数量为 940 万，约为 AlexNet 参数量的七分之一（来源：推文）。

杂项

• 为什么机器学习的未来是微型的
• 用于图像分析的深度学习模型压缩：方法与架构
• 一种万无一失的缩小深度学习模型的方法 由 MIT（Alex Renda 等人）提出 - 一种剪枝算法：训练至完成，全局剪掉权重绝对值最小的 20%（最弱的连接），然后以原始（早期训练）的学习率进行学习率回溯再训练，迭代重复直至达到所需的稀疏度（模型可以小到你想要的程度）。

参考

博客

• 量化可视化指南 - Maarten Grootendorst（2024 年 7 月）揭秘大型语言模型的压缩技术 - 一篇通俗易懂且优秀的量化入门文章，介绍了包括 GPTQ、GGUF 和 BitNet（1 位）在内的工具和库中广泛支持的量化方法。
• 🤗 Transformers 中原生支持的量化方案概述（2023 年 9 月）
• TensorFlow 模型优化工具包 — 剪枝 API
• 用于图像分类和目标检测的神经网络压缩 - Facebook AI 的研究人员开发了一种新方法，通过量化神经网络的权重来减少其内存占用，同时保持较短的推理时间。他们成功将一个 76.1% top-1 准确率的 ResNet-50 模型压缩至 5 MB，并将 Mask R-CNN 压缩至 6 MB。
• 压缩 BERT 的所有方法 - 根据不同特性对大型 NLP 模型（BERT）的不同压缩方法进行了概述，并比较了它们的效果。
• 深度学习模型压缩方法
• 未来我们真的需要模型压缩吗？
• 量化：用于 Transformer 推理的 Nvidia H100 分析 由 Cohere 的 ML 运维工程师 Carol Chen 撰写。

  Transformer Engine 同时利用 FP8 和 FP16 来降低内存使用并提高性能，同时仍能保持大型语言模型的准确性。

• LLM 的量化技术和格式对比（2023 年 10 月）- 对 GGUF（llama.cpp）、GPTQ、AWQ、EXL2、q4_K_M、q4_K_S 以及 load_in_4bit 进行了详细比较：困惑度、显存、速度、模型大小和加载时间。
• 哪种量化方法最适合你？GGUF、GPTQ 还是 AWQ（2024 年 1 月）- 一篇关于三种主流量化方法——GPTQ、AWQ 和 GGUF——的温和介绍。
• Llama 模型中量化性能的比较（2024 年 7 月）- 8 位量化似乎还不错，而 4 位则视情况而定。文中涵盖了多种量化方案，包括 GGUF、HQQ（半二次量化）、AWQ、GPTQ 和 BnB。

工具

图书馆

• TensorFlow 模型优化工具包。配套博文：TensorFlow 模型优化工具包——剪枝 API
• XNNPACK 是一个高度优化的浮点神经网络推理算子库，适用于 ARM、WebAssembly 和 x86（SSE2 级别）平台。它基于 QNNPACK 库构建。然而，与 QNNPACK 不同，XNNPACK 完全专注于浮点运算。
• Bitsandbytes 是一个轻量级的 CUDA 自定义函数封装库，特别是针对 8 位优化器和量化函数。
• NNCP - 一项利用神经网络构建实用无损数据压缩器的实验。最新版本使用 Transformer 模型（速度较慢但压缩比最佳），同时也提供 LSTM 模型（速度较快）。

框架

论文实现

• facebookresearch/kill-the-bits - Facebook AI Research 论文《而比特继续下降：重新审视神经网络的量化》的代码及压缩模型。

视频

报告

培训与教程

许可协议

我在此仓库中以开源许可向您提供代码和资源。由于这是我的个人仓库，您所获得的代码和资源许可来自我个人，而非我的雇主。

• 代码：MIT 许可。版权所有 2022 年 - Cedric Chee
• 文本内容：知识共享署名-相同方式共享 4.0 国际 (CC BY-SA 4.0)

awesome-ml-model-compression 快速上手指南

awesome-ml-model-compression 并非一个可直接安装的软件库或框架，而是一个精选资源列表（Awesome List）。它汇集了机器学习模型压缩与加速领域最优秀的研究论文、教程、开源库和工具。

本指南旨在帮助开发者如何利用该列表快速找到适合的工具，并以列表中推荐的热门量化库 bitsandbytes（支持 LLM.int8()）为例，演示如何在中国网络环境下进行环境准备、安装及基本使用。

1. 环境准备

在开始模型压缩实践前，请确保满足以下基础要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.8 - 3.11
• 硬件要求:
  • CPU: 任意现代多核处理器。
  • GPU: 推荐使用 NVIDIA GPU (Compute Capability 7.0+) 以加速推理和量化过程。显存建议 8GB 以上（运行大语言模型量化版可适当降低）。
• 前置依赖:
  • PyTorch (建议 2.0+)
  • CUDA Toolkit (需与 PyTorch 版本匹配)
  • Git

2. 安装步骤

由于该仓库是资源列表，你首先需要克隆仓库以查阅最新工具，随后根据列表指引安装具体的压缩库。以下以安装列表中提到的 bitsandbytes (用于 8-bit/4-bit 量化) 为例。

2.1 获取资源列表

克隆仓库以便随时查阅最新的论文和工具链接：

git clone https://github.com/vaibhavjain03/awesome-ml-model-compression.git
cd awesome-ml-model-compression

2.2 安装具体压缩库 (以 bitsandbytes 为例)

为了在中国大陆地区获得更快的下载速度，推荐使用国内镜像源（如清华源或阿里源）安装依赖。

步骤 1: 配置 pip 国内镜像

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

步骤 2: 安装 PyTorch (CUDA 版本) 请根据你的实际显卡驱动版本选择对应的 CUDA 版本，此处以 CUDA 11.8 为例：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

步骤 3: 安装 bitsandbytes

pip install bitsandbytes

(注：如果是其他工具如 NNCF, TensorRT, DeepSpeed 等，请参考仓库中 Tools 章节对应项目的官方文档进行安装)

3. 基本使用

以下示例展示如何使用 bitsandbytes 加载一个经过 4-bit 量化的大语言模型（这是模型压缩最典型的应用场景），显著降低显存占用。

前提: 已安装 transformers 和 accelerate。

pip install transformers accelerate

代码示例 (Python):

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from bitsandbytes.config import BitsAndBytesConfig

# 1. 定义 4-bit 量化配置
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,              # 启用 4-bit 加载
    bnb_4bit_quant_type="nf4",      # 使用正态分布 4-bit 数据类型
    bnb_4bit_compute_dtype=torch.float16, # 计算数据类型
    bnb_4bit_use_double_quant=True, # 启用双重量化以进一步节省内存
)

# 2. 指定模型名称 (例如 Llama-2-7b)
model_id = "meta-llama/Llama-2-7b-hf"

# 3. 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 4. 加载量化后的模型
# 此时模型显存占用将减少约 75%
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto",              # 自动分配设备到 GPU
    trust_remote_code=True
)

# 5. 简单推理测试
input_text = "Once upon a time in the world of AI,"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

下一步建议: 回到 awesome-ml-model-compression 仓库的 README 文件，浏览 Papers 和 Tools 章节，根据你的具体需求（如剪枝 Pruning、蒸馏 Distillation 或特定架构优化）探索更多专业工具。