PPL 量化工具 0.6.6 (PPL Quantization Tool)

PPQ 是一个可扩展的、高性能的、面向工业应用的神经网络量化工具。

神经网络量化，作为一种常用的神经网络加速方案自 2016 年以来被广泛地应用。相比于神经网络剪枝与架构搜索，网络量化的泛用性更强，具有较高的工业实用价值。特别是对于端侧芯片而言，在片上面积与功耗都受到限制的场景下，我们总是希望将所有浮点运算转换为定点运算。量化技术的价值在于浮点运算与访存是十分昂贵的，它依赖于复杂的浮点运算器以及较高的访存带宽。如果我们能够在可接受的范围内使用较低位宽的定点运算近似浮点结果，这将使得我们在芯片电路设计、系统功耗、系统延迟与吞吐量等多方面获得显著的优势。

我们正处在时代的浪潮之中，基于神经网络的人工智能正快速发展，图像识别、图像超分辨率、内容生成、模型重建等技术正改变我们的生活。与之俱来的，是不断变化的模型结构，成为摆在模型量化与部署前的第一道难关。为了处理复杂结构，我们设计了完整的计算图逻辑结构与图调度逻辑，这些努力使得 PPQ 能够解析并修改复杂的模型结构，自动判定网络中的量化区与非量化区，并允许用户对调度逻辑进行手动控制。

网络的量化与性能优化是严峻的工程问题，我们希望用户能够参与到网络的量化与部署过程中来，参与到神经网络的性能优化中来。为此我们在 Github 中提供相应的与部署相关学习资料，并在软件设计上刻意强调接口的灵活性。在我们不断的尝试与探索中，我们抽象出量化器这一逻辑类型，负责初始化不同硬件平台上的量化策略，并允许用户自定义网络中每一个算子、每一个张量的量化位宽、量化粒度与校准算法等。我们将量化逻辑重组为27个独立的量化优化过程 (Quantization Optimization Pass)，PPQ 的用户可以根据需求任意组合优化过程，完成高度灵活的量化任务。作为 PPQ 的使用者，您能够根据需求新增、修改所有优化过程，探索量化技术的新边界。

这是一个为处理复杂量化任务而生的框架 —— PPQ 的执行引擎是专为量化设计的，截止 PPQ 0.6.6 版本，软件一共内置 99 种常见的 Onnx 算子执行逻辑，并原生支持执行过程中的量化模拟操作。PPQ 可以脱离 Onnxruntime 完成 Onnx 模型的推理与量化。作为架构设计一部分，我们允许用户使用 Python + Pytorch 或 C++ / Cuda 为 PPQ 注册新的算子实现，新的逻辑亦可替换现有的算子实现逻辑。PPQ 全然允许相同的算子在不同平台上有不同的执行逻辑，从而支撑不同硬件平台的运行模拟。借助定制化的执行引擎与 PPQ Cuda Kernel 的高性能实现，使得 PPQ 具有极其显著的性能优势，往往能以惊人的效率完成量化任务。

PPQ 的开发与推理框架关系密切，这使得我们能够了解硬件推理的诸多细节，从而严格控制硬件模拟误差。在国内外众多开源工作者共同努力之下，目前 PPQ 支持与 TensorRT, OpenPPL, Openvino, ncnn, mnn, Onnxruntime, Tengine, Snpe, GraphCore, Metax 等多个推理框架协同工作，并预制了对应量化器与导出逻辑。PPQ 是一个高度可扩展的模型量化框架，借助 ppq.lib 中的函数功能，您能够将 PPQ 的量化能力扩展到其他可能的硬件与推理库上。我们期待与您一起把人工智能带到千家万户之间。

在 0.6.6 的版本更新中，我们为你带来了这些功能：

1. FP8 量化规范，PPQ 现在支持 E4M3, E5M2 等多种规范的 FP8 量化模拟与训练
2. PFL 基础类库，PPQ 现在提供一套更为基础的 api 函数帮助你完成更为灵活的量化
3. 更为强大的 图模式匹配 与 图融合功能
4. 基于 Onnx 的模型 QAT 功能
5. 全新的 TensorRT 量化与导出逻辑
6. 全球最大的量化模型库 OnnxQuant
7. 其他未知的软件特性

Installation (安装方法)

1. Install CUDA from CUDA Toolkit

2. Install Complier

apt-get install ninja-build # for debian/ubuntu user
yum install ninja-build # for redhat/centos user

For Windows User:

(1) Download ninja.exe from https://github.com/ninja-build/ninja/releases, add it to Windows PATH.

(2) Install Visual Studio 2019 from https://visualstudio.microsoft.com.

(3) Add your C++ compiler to Windows PATH Environment, if you are using Visual Studio, it should be like "C:\Program Files\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.16.27023\bin\Hostx86\x86"

(4) Update PyTorch version to 1.10+.

3. Install PPQ

git clone https://github.com/openppl-public/ppq.git
cd ppq
pip install -r requirements.txt
python setup.py install

• Install PPQ from our docker image (optional):

docker pull stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5

docker run -it --rm --ipc=host --gpus all --mount type=bind,source=your custom path,target=/workspace stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5 /bin/bash

git clone https://github.com/openppl-public/ppq.git
cd ppq
export PYTHONPATH=${PWD}:${PYTHONPATH}

• Install PPQ using pip (optional):

python3 -m pip install ppq

Learning Path (学习路线)

PPQ 基础用法及示例脚本

	Description 介绍	Link 链接
01	模型量化	onnx, caffe, pytorch
02	执行器	executor
03	误差分析	analyser
04	校准器	calibration
05	网络微调	finetune
06	网络调度	dispatch
07	最佳实践	Best Practice
08	目标平台	platform
09	优化过程	Optim
10	图融合	Fusion

PPQ 优化过程文档

	Description 介绍	Link 链接
01	QuantSimplifyPass(通用量化精简过程)	doc
02	QuantFusionPass(通用量化图融合过程)	doc
03	QuantAlignmentPass(通用量化对齐过程)	doc
04	RuntimeCalibrationPass(参数校准过程)	doc
05	BiasCorrectionPass(Bias修正过程)	doc
06	QuantSimplifyPass(通用量化精简过程)	doc
07	LayerwiseEqualizationPass(层间权重均衡过程)	doc
08	LayerSpilitPass(算子分裂过程)	doc
09	LearnedStepSizePass(网络微调过程)	doc
10	Other(其他)	refer to

视频资料

	Desc 介绍	Link 链接
01	计算机体系结构基础知识	link
02	网络性能分析	link
03	量化计算原理	part1, part2
04	图优化与量化模拟	link
05	图调度与模式匹配	link
06	神经网络部署	link
07	量化参数选择	link
08	量化误差传播分析	link

量化部署教程

使用例子(Examples)	网络部署平台(Platform)	输入模型格式(Format)	链接(Link)	相关视频(Video)
TensorRT
使用 Torch2trt 加速你的网络	pytorch	pytorch	link	link
TensorRT 量化训练	TensorRT	pytorch	link	link
TensorRT 后训练量化(PPQ)	TensorRT	onnx	1. Quant with TensorRT OnnxParser 2. Quant with TensorRT API
TensorRT fp32 部署	TensorRT	onnx	link	link
TensorRT 性能比较	TensorRT	pytorch	link	link
TensorRT Profiler	TensorRT	pytorch	link	link
onnxruntime
使用 onnxruntime 加速你的网络	onnxruntime	onnx	link	link
onnx 后训练量化(PPQ)	onnxruntime	onnx	link	link
onnxruntime 性能比较	onnxruntime	pytorch	link	link
openvino
使用 openvino 加速你的网络	openvino	onnx	link
openvino 量化训练	openvino	pytorch	link
openvino 后训练量化(PPQ)	openvino	onnx	link
openvino 性能比较	openvino	pytorch	link
snpe
snpe 后训练量化(PPQ)	snpe	caffe	link
ncnn
ncnn 后训练量化(PPQ)	ncnn	onnx	link
OpenPPL
ppl cuda 后训练量化(PPQ)	ppl cuda	onnx	link

Dive into PPQ 深入理解量化框架

	Desc 介绍	Link 链接
01	PPQ 量化执行流程	link
02	PPQ 网络解析	link
03	PPQ 量化图调度	link
04	PPQ 目标平台与 TQC	link
05	PPQ 量化器	link
06	PPQ 量化优化过程	link
07	PPQ 量化函数	link

联系我们

微信公众号	QQ群
OpenPPL	627853444

邮箱: openppl.ai@hotmail.com

其他资源

• 商汤Parrots
• 商汤Parrots基础库
• 商汤mmlab

贡献

我们感谢所有贡献。如果您计划提交 bug 修复，请直接提交，无需进一步讨论。

如果您计划贡献新功能、实用工具或对核心的扩展，请先创建一个 issue，并与我们讨论该功能。未经讨论就发送 PR 可能会导致 PR 被拒绝，因为我们可能正在将核心向您不了解的方向发展。

基准测试

PPQ 使用 mmlab-classification、mmlab-detection、mmlab-segamentation、mmlab-editing 中的模型进行测试，此处列出部分测试结果。

• 以下模型未应用量化优化流程。

模型	类型	校准	调度器	指标	PPQ(sim)	PPLCUDA	FP32
Resnet-18	分类	512 张图像	保守	Top-1 精确率	69.50%	69.42%	69.88%
ResNeXt-101	分类	512 张图像	保守	Top-1 精确率	78.46%	78.37%	78.66%
SE-ResNet-50	分类	512 张图像	保守	Top-1 精确率	77.24%	77.26%	77.76%
ShuffleNetV2	分类	512 张图像	保守	Top-1 精确率	69.13%	68.85%	69.55%
MobileNetV2	分类	512 张图像	保守	Top-1 精确率	70.99%	71.1%	71.88%
----	----	----	----	----	----	----	----
retinanet	目标检测	32 张图像	pplnn	bbox_mAP	36.1%	36.1%	36.4%
faster_rcnn	目标检测	32 张图像	pplnn	bbox_mAP	36.6%	36.7%	37.0%
fsaf	目标检测	32 张图像	pplnn	bbox_mAP	36.5%	36.6%	37.4%
mask_rcnn	目标检测	32 张图像	pplnn	bbox_mAP	37.7%	37.6%	37.9%
----	----	----	----	----	----	----	----
deeplabv3	图像分割	32 张图像	保守	aAcc / mIoU	96.13% / 78.81%	96.14% / 78.89%	96.17% / 79.12%
deeplabv3plus	图像分割	32 张图像	保守	aAcc / mIoU	96.27% / 79.39%	96.26% / 79.29%	96.29% / 79.60%
fcn	图像分割	32 张图像	保守	aAcc / mIoU	95.75% / 74.56%	95.62% / 73.96%	95.68% / 72.35%
pspnet	图像分割	32 张图像	保守	aAcc / mIoU	95.79% / 77.40%	95.79% / 77.41%	95.83% / 77.74%
----	----	----	----	----	----	----	----
srcnn	图像修复	32 张图像	保守	PSNR / SSIM	27.88% / 79.70%	27.88% / 79.07%	28.41% / 81.06%
esrgan	图像修复	32 张图像	保守	PSNR / SSIM	27.84% / 75.20%	27.49% / 72.90%	27.51% / 72.84%

• PPQ(sim) 表示 PPQ 量化模拟器的结果。
• 调度器表示 PPQ 的调度策略。
• 分类模型使用 ImageNet 数据集评估，目标检测和图像分割模型使用 COCO 数据集评估，图像修复模型使用 DIV2K 数据集评估。
• 所有校准数据集均从训练数据中随机选取。

许可证

本项目采用 Apache License, Version 2.0 许可证发布。

PPQ (PPL Quantization Tool) 快速上手指南

PPQ 是一个可扩展、高性能的工业级神经网络量化工具，支持将浮点模型转换为定点模型，适用于 TensorRT、OpenVINO、NCNN、MNN 等多种推理框架。

1. 环境准备

在开始安装前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu/CentOS) 或 Windows
• CUDA Toolkit: 需预先安装与显卡匹配的 CUDA 版本（从 NVIDIA 官网 下载）
• Python: 建议 Python 3.8+
• PyTorch: 版本需 >= 1.10
• 编译器:
  • Linux (Debian/Ubuntu): ninja-build
  • Linux (RedHat/CentOS): ninja-build
  • Windows: Visual Studio 2019+ 及对应的 C++ 编译器环境变量配置

2. 安装步骤

您可以选择源码安装或使用 Docker 镜像（推荐用于快速体验）。

方法一：源码安装（推荐）

首先安装构建工具 ninja：

# Debian/Ubuntu 用户
apt-get install ninja-build

# RedHat/CentOS 用户
yum install ninja-build

克隆仓库并安装依赖：

git clone https://github.com/openppl-public/ppq.git
cd ppq
pip install -r requirements.txt
python setup.py install

提示：国内用户若遇到 pip 下载慢的问题，可使用清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：Docker 镜像安装（最简便）

直接使用预置好 CUDA、cuDNN 和 TensorRT 环境的镜像：

# 拉取镜像
docker pull stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5

# 启动容器（请将 your custom path 替换为本机实际路径）
docker run -it --rm --ipc=host --gpus all --mount type=bind,source=your custom path,target=/workspace stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5 /bin/bash

# 在容器内配置环境变量
cd /workspace
git clone https://github.com/openppl-public/ppq.git
cd ppq
export PYTHONPATH=${PWD}:${PYTHONPATH}

方法三：PIP 直接安装

python3 -m pip install ppq

3. 基本使用

PPQ 的核心流程通常包括：加载模型 -> 创建量化器 -> 执行校准 (Calibration) -> 导出量化模型。以下是一个基于 ONNX 模型进行后训练量化 (PTQ) 的最简示例：

from ppq import QuantizationSettingFactory, TargetPlatform
from ppq.api import load_onnx_graph, quantize_onnx_graph, dump_onnx_graph

# 1. 加载原始 ONNX 模型
graph = load_onnx_graph(onnx_import_from='your_model.onnx')

# 2. 创建量化配置 (以 TensorRT 为例)
setting = QuantizationSettingFactory.trt_quantizing_setting()

# 3. 执行量化 (需要少量校准数据，此处演示默认流程)
# collator 用于收集校准数据，实际使用中需传入真实数据集
quantized_graph = quantize_onnx_graph(
    onnx_import_from='your_model.onnx',
    calib_dataloader=None, # 替换为真实的校准数据加载器
    platform=TargetPlatform.TENSORRT,
    setting=setting
)

# 4. 导出生成的量化模型
dump_onnx_graph(quantized_graph, 'quantized_model.onnx')

print("量化完成，模型已保存为 quantized_model.onnx")

进阶提示：

• 校准数据：为了获得最佳精度，请务必在 calib_dataloader 中传入代表真实分布的少量数据集（通常 100-500 张图像即可）。
• 平台适配：修改 TargetPlatform 参数即可适配 OpenVINO (OPENVINO)、NCNN (NCNN) 等不同后端。
• 详细教程：更多复杂场景（如 QAT 训练、自定义算子、误差分析）请参考项目 ppq/samples 目录下的示例脚本。