Brevitas

Brevitas 是一个用于神经网络量化的小工具库，基于 PyTorch 构建，同时支持 训练后量化 (PTQ) 和 量化感知训练 (QAT)。

请注意，Brevitas 是一项研究项目，并非 Xilinx 的正式产品。

如果您喜欢这个项目，请考虑为本仓库点个赞（⭐），这是支持该项目最简单有效的方式。

环境要求

• Python >= 3.9, <3.13
• Pytorch >= 1.12, <= 2.8（较新版本可能未经测试）。
• Windows、Linux 或 macOS。
• 训练时 GPU 加速（可选，但推荐使用）。

安装

您可以从 PyPI 安装最新版本：

pip install brevitas

快速入门

目前，Brevitas 在 brevitas.nn 中提供了深度神经网络中常用 PyTorch 层的量化实现，例如 QuantConv1d、QuantConv2d、QuantConvTranspose1d、QuantConvTranspose2d、QuantMultiheadAttention、QuantRNN、QuantLSTM 等，可用于 PTQ 和/或 QAT 流程。对于这些层中的每个，都可以根据多种量化设置单独调整不同张量（输入、权重、偏置、输出等）的量化方式。

作为 PTQ 的参考，Brevitas 提供了一个针对 ImageNet 分类模型的用户流程示例，位于 brevitas_examples.imagenet_classification.ptq，该示例展示了如何使用不同的量化配置（如位宽、尺度粒度等）对 torchvision 中的输入模型进行 PTQ 量化。

更多信息请参阅我们的 文档。

引用方式

如果您在工作中采用了 Brevitas，请按以下方式引用：

@software{brevitas,
  author       = {Franco, Giuseppe and Pappalardo, Alessandro and Fraser, Nicholas J},
  title        = {Xilinx/brevitas},
  year         = {2025},
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.3333552},
  url          = {https://doi.org/10.5281/zenodo.3333552}
}

版本历史

• 2025年8月28日 - 发布版本 0.12.1，查看 发布说明。
• 2025年5月9日 - 发布版本 0.12.0，查看 发布说明。
• 2024年10月10日 - 发布版本 0.11.0，查看 发布说明。
• 2024年7月23日 - 小版本 0.10.3，查看 发布说明。
• 2024年2月19日 - 小版本 0.10.2，查看 发布说明。
• 2024年2月15日 - 小版本 0.10.1，查看 发布说明。
• 2023年12月8日 - 发布版本 0.10.0，查看 发布说明。
• 2023年4月28日 - 小版本 0.9.1，查看 发布说明。
• 2023年4月21日 - 发布版本 0.9.0，查看 发布说明。
• 2023年1月10日 - 发布版本 0.8.0，查看 发布说明。
• 2021年12月13日 - 发布版本 0.7.1，修复了多个问题，并添加了 TVMCon 2021 教程笔记本。
• 2021年11月3日 - 在 PyPI 上重新发布了版本 0.7.0（构建 1），以修复打包问题。
• 2021年10月29日 - 发布版本 0.7.0，查看 发布说明。
• 2021年6月4日 - 发布版本 0.6.0，查看 发布说明。
• 2021年5月24日 - 发布版本 0.5.1，修复了一些小问题，查看 发布说明。
• 2021年5月6日 - 发布版本 0.5.0，查看 发布说明。
• 2021年3月15日 - 发布版本 0.4.0，为 QuantTensor 添加了 __torch_function__ 支持。
• 2021年3月4日 - 发布版本 0.3.1，修复了在 IGNORE_MISSING_KEYS=1 情况下从统计信息初始化激活值时的 bug。
• 2021年3月1日 - 发布版本 0.3.0，在扩展依赖注入器中实现了枚举和形状求解器，使声明式量化器能够自包含。
• 2021年2月4日 - 发布版本 0.2.1，包含对带有零点的 QuantTensor 的多项修复。
• 2021年1月30日 - 首次在 PyPI 上发布版本 0.2.0。

Brevitas 快速上手指南

Brevitas 是一个基于 PyTorch 的神经网络量化工具库，支持训练后量化 (PTQ) 和 量化感知训练 (QAT)。它提供了常用的量化层实现（如 QuantConv2d、QuantLinear 等），允许用户对输入、权重、偏置和输出等不同张量进行细粒度的量化配置。

注意：Brevitas 是 Xilinx 的研究项目，并非官方正式产品。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、Linux 或 macOS
• Python 版本：>= 3.9 且 < 3.13
• PyTorch 版本：>= 1.12 且 <= 2.8（更高版本未经过测试）
• 硬件加速：GPU（可选，但强烈建议在训练时使用以加速）

安装步骤

您可以通过 PyPI 直接安装最新稳定版。国内用户建议使用清华源或阿里源以提升下载速度。

使用默认源安装：

pip install brevitas

使用国内镜像源安装（推荐）：

pip install brevitas -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Brevitas 的核心功能位于 brevitas.nn 模块下，提供了标准 PyTorch 层的量化版本。您可以直接将模型中的普通层替换为对应的量化层来启用量化功能。

以下是一个最简单的示例，展示如何将标准的 Conv2d 层替换为 QuantConv2d 并配置量化参数：

import torch
import torch.nn as nn
from brevitas.nn import QuantConv2d, QuantReLU

# 定义一个简单的量化模型
class QuantizedModel(nn.Module):
    def __init__(self):
        super(QuantizedModel, self).__init__()
        # 使用 QuantConv2d 替代 nn.Conv2d
        # bit_width 参数控制量化位宽，此处设为 8 bit
        self.conv = QuantConv2d(
            in_channels=3, 
            out_channels=16, 
            kernel_size=3,
            weight_bit_width=8
        )
        # 使用 QuantReLU 替代 nn.ReLU
        self.act = QuantReLU(act_quant_type='INT')

    def forward(self, x):
        x = self.conv(x)
        x = self.act(x)
        return x

# 实例化模型
model = QuantizedModel()

# 创建虚拟输入数据进行测试
input_tensor = torch.randn(1, 3, 32, 32)
output = model(input_tensor)

print(f"输入形状：{input_tensor.shape}")
print(f"输出形状：{output.shape}")

对于完整的训练后量化 (PTQ) 流程（例如针对 ImageNet 分类模型），建议参考官方提供的示例脚本 brevitas_examples.imagenet_classification.ptq，其中包含了不同量化配置（如位宽、缩放粒度等）的具体用法。

更多详细文档请访问：https://xilinx.github.io/brevitas/