XNNPACK

XNNPACK 是一个针对 ARM、x86、WebAssembly 和 RISC-V 平台的神经网络推理高度优化解决方案。XNNPACK 并非供深度学习从业者和研究人员直接使用；相反，它提供了低层性能原语，用于加速高级机器学习框架，例如 TensorFlow Lite、TensorFlow.js、PyTorch、ONNX Runtime、ExecuTorch 和 MediaPipe。

支持的架构

• Android、iOS、macOS、Linux 和 Windows 上的 ARM64
• Android 上的 ARMv7（带 NEON）
• Linux 上的 ARMv6（带 VFPv2）
• Windows、Linux、macOS、Android 和 iOS 模拟器上的 x86 和 x86-64（最高支持 AVX512）
• WebAssembly MVP
• WebAssembly SIMD
• WebAssembly Relaxed SIMD（实验性）
• RISC-V（RV32GC 和 RV64GC）
• Hexagon（带 HVX）

算子覆盖

XNNPACK 实现了以下神经网络算子：

• 2D 卷积（包括分组卷积和深度可分离卷积）
• 2D 反卷积（又称转置卷积）
• 2D 平均池化
• 2D 最大池化
• 2D ArgMax 池化（最大池化 + 索引）
• 2D 解池化
• 2D 双线性插值
• 2D 深度转空间（又称像素洗牌）
• 加法（包括广播，仅适用于两个输入）
• 减法（包括广播）
• 除法（包括广播）
• 最大值（包括广播）
• 最小值（包括广播）
• 乘法（包括广播）
• 平方差（包括广播）
• 全局平均池化
• 通道混洗
• 全连接
• 绝对值
• 银行家舍入（四舍六入五成双）
• 向上取整
• 截断（包括 ReLU 和 ReLU6）
• 类型转换（包括定点数和半精度量化与反量化）
• 复制
• ELU
• 向下取整
• HardSwish
• Leaky ReLU
• 取负
• Sigmoid
• Softmax
• 平方
• Tanh
• 转置
• 向零取整
• PReLU

XNNPACK 中的所有算子都支持 NHWC 布局，同时还允许在 Channel 维度上自定义步幅。因此，算子可以只消费输入张量中的部分通道，并生成输出张量中的部分通道，从而实现零开销的通道拆分和通道拼接操作。

性能

手机

下表展示了 XNNPACK 库在三代 MobileNet 模型和三代 Pixel 手机上的 单线程 性能。

模型	Pixel, ms	Pixel 2, ms	Pixel 3a, ms
FP32 MobileNet v1 1.0X	82	86	88
FP32 MobileNet v2 1.0X	49	53	55
FP32 MobileNet v3 Large	39	42	44
FP32 MobileNet v3 Small	12	14	14

下表展示了 XNNPACK 库在三代 MobileNet 模型和三代 Pixel 手机上的 多线程 性能（使用与大核数量相同的线程）。

模型	Pixel, ms	Pixel 2, ms	Pixel 3a, ms
FP32 MobileNet v1 1.0X	43	27	46
FP32 MobileNet v2 1.0X	26	18	28
FP32 MobileNet v3 Large	22	16	24
FP32 MobileNet v3 Small	7	6	8

基准测试于 2020 年 3月27日进行，使用 end2end_bench --benchmark_min_time=5 命令，在搭载 Android NDK r21 的 Android/ARM64 构建版本上执行（bazel build -c opt --config android_arm64 :end2end_bench），并采用随机权重和输入的神经网络模型。

Raspberry Pi

下表展示了 XNNPACK 库在三代 MobileNet 模型和三代 Raspberry Pi 板上的 多线程 性能。

模型	RPi Zero W (BCM2835), ms	RPi 2 (BCM2836), ms	RPi 3+ (BCM2837B0), ms	RPi 4 (BCM2711), ms	RPi 4 (BCM2711, ARM64), ms
FP32 MobileNet v1 1.0X	3919	302	114	72	77
FP32 MobileNet v2 1.0X	1987	191	79	41	46
FP32 MobileNet v3 Large	1658	161	67	38	40
FP32 MobileNet v3 Small	474	50	22	13	15
INT8 MobileNet v1 1.0X	2589	128	46	29	24
INT8 MobileNet v2 1.0X	1495	82	30	20	17

基准测试于 2022 年 2月8日进行，使用 end2end-bench --benchmark_min_time=5 命令，在搭载 CMake 的 Raspbian Buster 构建版本上执行（./scripts/build-local.sh），并采用随机权重和输入的神经网络模型。INT8 推理是在逐通道量化方案下评估的。

最低构建要求

• C11
• C++17
• Python 3

出版物

• Marat Dukhan “间接卷积算法”。该论文发表于 2019 年高效深度学习计算视觉研讨会 (ECV)（幻灯片，ArXiv 论文）。
• Erich Elsen、Marat Dukhan、Trevor Gale、Karen Simonyan “快速稀疏卷积神经网络”。ArXiv 论文，预训练的稀疏模型。
• Marat Dukhan、Artsiom Ablavatski “两步 Softmax 算法”。ArXiv 论文。
• Yury Pisarchyk、Juhyun Lee “深度神经网络推理中的高效内存管理”。ArXiv 论文。

生态系统

机器学习框架

• TensorFlow Lite。
• TensorFlow.js WebAssembly 后端。
• PyTorch Mobile。
• ONNX Runtime Mobile
• 适用于 Web 的 MediaPipe。
• 阿里巴巴 HALO（异构感知降级与优化）
• 三星 ONE（设备端神经引擎）

致谢

XNNPACK 基于 QNNPACK 库。随着时间的推移，其代码库发生了较大变化，XNNPACK 的 API 已不再与 QNNPACK 兼容。

XNNPACK 快速上手指南

XNNPACK 是一个专为 ARM、x86、WebAssembly 和 RISC-V 平台设计的高性能神经网络推理库。注意：该库主要面向框架开发者，提供底层算子加速原语，通常不直接供深度学习从业者调用，而是作为 TensorFlow Lite、PyTorch Mobile、ONNX Runtime 等高层框架的后端加速引擎。

环境准备

系统要求

• 操作系统：Linux, macOS, Windows, Android, iOS
• 架构支持：
  • ARM64 / ARMv7 (NEON) / ARMv6 (VFPv2)
  • x86 / x86-64 (最高支持 AVX512)
  • WebAssembly (MVP, SIMD, Relaxed SIMD)
  • RISC-V (RV32GC, RV64GC)
  • Hexagon (HVX)

前置依赖

构建 XNNPACK 需要以下基础工具链：

• 编译器：支持 C11 和 C++17 标准的编译器（如 GCC, Clang, MSVC）
• 构建工具：CMake (推荐) 或 Bazel
• 语言环境：Python 3
• 版本控制：Git

安装步骤

推荐使用 CMake 进行本地构建。以下步骤以 Linux/macOS 环境为例：

1. 克隆仓库

git clone https://github.com/google/XNNPACK.git
cd XNNPACK

国内加速提示：如果访问 GitHub 较慢，可使用国内镜像源（如 Gitee 上的同步镜像）或配置 Git 代理。

2. 初始化子模块

XNNPACK 依赖多个子模块，需递归初始化：

git submodule update --init --recursive

3. 创建构建目录并配置

mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release

注：若需针对特定架构优化（如 Android ARM64），可添加 -DCMAKE_TOOLCHAIN_FILE 参数指定工具链文件。

4. 编译库

cmake --build . --config Release -j$(nproc)

编译完成后，静态库 (libXNNPACK.a) 和头文件将生成在 build 目录中。

基本使用

由于 XNNPACK 是底层库，最简单的使用方式是通过支持它的上层框架（如 TensorFlow Lite）间接调用。若需直接在 C++ 代码中集成，流程如下：

1. 初始化库

在使用任何算子前，必须调用初始化函数（通常只需调用一次）：

#include <xnnpack.h>

if (!xnn_initialize(nullptr)) {
  // 处理初始化失败
}

2. 定义算子与执行

以下示例展示如何创建一个简单的加法算子（Add Operator）：

#include <xnnpack.h>

// 假设已分配好输入输出内存指针：input1, input2, output
// 以及维度信息：batch_size, channels

xnn_operator_t add_op = nullptr;

// 创建加法算子
xnn_status status = xnn_create_add_nd_f32(
  /*flags=*/0,
  /*input1_min=*/-std::numeric_limits<float>::infinity(),
  /*input1_max=*/std::numeric_limits<float>::infinity(),
  /*input2_min=*/-std::numeric_limits<float>::infinity(),
  /*input2_max=*/std::numeric_limits<float>::infinity(),
  /*num_dims=*/2,
  /*dims=*/{batch_size, channels},
  /*input1_stride=*/channels,
  /*input2_stride=*/channels,
  /*output_stride=*/channels,
  /*output_min=*/-std::numeric_limits<float>::infinity(),
  /*output_max=*/std::numeric_limits<float>::infinity(),
  &add_op
);

if (status == xnn_status_success && add_op != nullptr) {
  // 设置输入输出指针
  xnn_reshape_add_nd_f32(add_op, batch_size, channels, input1, input2, output, nullptr);
  
  // 执行算子
  xnn_run_operator(add_op, nullptr);
  
  // 销毁算子
  xnn_delete_operator(add_op);
}

3. 在高层框架中启用

对于大多数开发者，无需编写上述 C++ 代码，只需在框架配置中开启 XNNPACK 委托即可：

• TensorFlow Lite (Android/C++):

  TfLiteXNNPackDelegateOptions options = TfLiteXNNPackDelegateOptionsDefault();
  TfLiteDelegate* delegate = TfLiteXNNPackDelegateCreate(&options);
  interpreter->ModifyGraphWithDelegate(delegate);
  

• ONNX Runtime: 在 SessionOptions 中注册 XnnpackExecutionProvider。

XNNPACK 默认支持 NHWC 数据布局，并允许自定义通道步幅（Channel Stride），从而零成本实现通道分割与拼接操作。