Larq 是一个开源深度学习库，用于训练使用极低精度权重和激活值的神经网络，例如二值化神经网络（BNN）。

现有的深度神经网络通常使用 32 位、16 位或 8 位来编码每个权重和激活值，这使得它们体积庞大、运行缓慢且功耗高。这种特性限制了它们在资源受限环境中的应用。Larq 是解决这一问题的第一步。它旨在提供一种易于使用、可组合的方式来训练 BNN（1 位）和其他类型的量化神经网络（QNN），并且基于 tf.keras 接口。需要注意的是，使用训练好的 BNN 进行高效推理需要借助优化的推理引擎；我们已在 Larq Compute Engine 中为多个平台提供了这些引擎。

Larq 是 BNN 开发相关工具库系列的一部分；您还可以查看 Larq Zoo，获取预训练模型；以及 Larq Compute Engine，用于在移动设备和边缘设备上部署模型。

快速入门

为了构建 QNN，Larq 引入了 量化层 和 量化器 的概念。量化器定义了如何将全精度输入转换为量化输出，以及反向传播过程中使用的伪梯度方法。每个量化层都需要一个 input_quantizer 和一个 kernel_quantizer，分别描述对输入激活值和权重进行量化的方式。如果 input_quantizer 和 kernel_quantizer 均为 None，则该层等同于一个全精度层。

您可以使用 直通估计量 定义一个简单的二值化全连接 Keras 模型，如下所示：

model = tf.keras.models.Sequential(
    [
        tf.keras.layers.Flatten(),
        larq.layers.QuantDense(
            512, kernel_quantizer="ste_sign", kernel_constraint="weight_clip"
        ),
        larq.layers.QuantDense(
            10,
            input_quantizer="ste_sign",
            kernel_quantizer="ste_sign",
            kernel_constraint="weight_clip",
            activation="softmax",
        ),
    ]
)

此层可以用于 Keras 模型 中，也可以与 自定义训练循环 结合使用。

示例

请参阅我们的示例，了解如何仅用几行代码即可训练一个二值化神经网络：

• 使用 Larq 入门 BNN
• BinaryNet 在 CIFAR10 上的实现

安装

在安装 Larq 之前，请先安装以下内容：

• Python 版本 3.7、3.8、3.9 或 3.10
• TensorFlow 版本 1.14、1.15、2.0、2.1、2.2、2.3、2.4、2.5、2.6、2.7、2.8、2.9 或 2.10：

  pip install tensorflow  # 或 tensorflow-gpu
  

您可以使用 Python 的 pip 包管理器安装 Larq：

pip install larq

关于我们

Larq 由 Plumerai 的深度学习研究人员和工程师团队开发，旨在加速我们自身的研究工作，并推动二值化神经网络的广泛应用。

Larq 快速上手指南

Larq 是一个开源深度学习库，专为训练具有极低精度权重和激活值的神经网络而设计，例如二值神经网络（BNNs）。它基于 tf.keras 接口，旨在提供一种简单、可组合的方式来训练 BNN（1 bit）及其他量化神经网络（QNNs）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.7, 3.8, 3.9 或 3.10
• TensorFlow 版本：支持 1.14 - 1.15 或 2.0 - 2.10

提示：国内用户建议使用清华源或阿里源加速 Python 包和 TensorFlow 的下载。

安装步骤

1. 安装 TensorFlow

首先安装兼容版本的 TensorFlow（如需 GPU 支持可安装 tensorflow-gpu）：

pip install tensorflow
# 或使用国内镜像源加速
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 Larq

使用 pip 安装 Larq：

pip install larq
# 或使用国内镜像源加速
pip install larq -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Larq 的核心概念是量化层（Quantized Layers）和量化器（Quantizers）。

• Quantizer：定义如何将全精度输入转换为量化输出，并指定反向传播使用的伪梯度方法。
• Quantized Layer：需要指定 input_quantizer（量化输入激活值）和 kernel_quantizer（量化权重）。若两者均为 None，则该层等同于普通全精度层。

以下是一个使用 Straight-Through Estimator (STE) 构建简单二值化全连接模型的示例：

import tensorflow as tf
import larq

model = tf.keras.models.Sequential(
    [
        tf.keras.layers.Flatten(),
        larq.layers.QuantDense(
            512, kernel_quantizer="ste_sign", kernel_constraint="weight_clip"
        ),
        larq.layers.QuantDense(
            10,
            input_quantizer="ste_sign",
            kernel_quantizer="ste_sign",
            kernel_constraint="weight_clip",
            activation="softmax",
        ),
    ]
)

# 编译模型（与普通 Keras 模型用法一致）
model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])

该模型可以直接用于标准的 Keras 训练流程 或自定义训练循环中。

注意：训练完成的 BNN 若要实现高效推理，通常需要配合优化的推理引擎（如 Larq Compute Engine）在移动端或边缘设备上部署。