NNPACK

NNPACK 是一个用于神经网络计算的加速库。它的目标是在多核 CPU 上提供高性能的卷积层实现。

NNPACK 并不直接面向机器学习研究人员使用；相反，它提供了底层的性能原语，被主流深度学习框架所利用，例如 PyTorch、Caffe2、MXNet、 tiny-dnn、Caffe、Torch 以及 Darknet 等。

平台与要求

环境	架构	CPU 要求
Linux	x86-64	AVX2 和三级缓存层次结构
Linux	ARM	NEON
Linux	ARM64
macOS	x86-64	AVX2 和三级缓存层次结构
Android	ARM	NEON
Android	ARM64
Android	x86
Android	x86-64
iOS	ARM
iOS	ARM64
Emscripten	Asm.js
Emscripten	WebAssembly

特性

• 卷积层的多种算法：
  • 基于傅里叶变换的快速卷积（适用于无步幅、最大 16x16 的卷积核）
  • 基于 Winograd 变换的快速卷积（适用于无步幅的 3x3 卷积核）
  • 隐式矩阵乘法算法（无限制）
  • 直接卷积算法（适用于无步幅的 1x1 卷积核）
• 多线程且支持 SIMD 的神经网络层实现
• 使用 C99 和 Python 实现，无外部依赖
• 全面的单元测试覆盖

层

• 卷积层
  • 推理优化的前向传播 (nnp_convolution_inference)
  • 训练优化的前向传播 (nnp_convolution_output)
  • 训练优化的输入梯度更新 (nnp_convolution_input_gradient)
  • 训练优化的卷积核梯度更新 (nnp_convolution_kernel_gradient)
• 全连接层
  • 推理优化的前向传播 (nnp_fully_connected_inference 和针对 FP16 权重的 nnp_fully_connected_inference_f16f32 版本)
  • 训练优化的前向传播 (nnp_fully_connected_output)
• 最大池化层
  • 前向传播，适用于训练和推理 (nnp_max_pooling_output)
• ReLU 层（带参数化负斜率）
  • 前向传播，适用于训练和推理，可选原地操作 (nnp_relu_output)
  • 输入梯度更新 (nnp_relu_input_gradient)
• Softmax 层
  • 前向传播，适用于训练和推理，可选原地操作 (nnp_softmax_output)

构建

对于大多数用户来说，推荐使用 CMake 构建 NNPACK：

mkdir build
cd build
cmake -G Ninja ..
ninja

注意：如果您的系统上没有 ninja，请不要使用 -G Ninja 参数进行配置，并改用 make 代替 ninja。

使用 vcpkg 构建 NNPACK

您可以通过 vcpkg 依赖管理器下载并安装 NNPACK：

git clone https://github.com/Microsoft/vcpkg.git
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg integrate install
./vcpkg install NNPACK

vcpkg 中的 NNPACK 包由 Microsoft 团队成员和社区贡献者维护，保持最新状态。如果版本过时，请在 vcpkg 仓库中 提交问题或拉取请求。

针对 Android 的交叉编译

要为 Android 进行交叉编译，需在 cmake 中添加额外的配置选项：-DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake（其中 $ANDROID_NDK 是 Android NDK 目录的路径，例如 /opt/android-ndk-r15c）并且还需添加下表中的参数：

ABI	额外的 cmake 参数	限制
armeabi	-DANDROID_ABI=armeabi -DANDROID_TOOLCHAIN=gcc	需要支持 ARM NEON 的 CPU
armeabi-v7a	-DANDROID_ABI=armeabi-v7a -DANDROID_TOOLCHAIN=gcc	需要支持 ARM NEON 的 CPU
arm64-v8a	-DANDROID_ABI=arm64-v8a -DANDROID_TOOLCHAIN=clang	需要 clang 工具链
x86	-DANDROID_ABI=x86
x86_64	-DANDROID_ABI=x86_64

注意事项：

• 在 armeabi 和 armeabi-v7a 上，如果移动设备的 CPU 不支持 ARM NEON，nnp_initialize 将会以 nnp_status_unsupported_hardware 错误失败。请勿为 NNPACK 编译设置 -DANDROID_ARM_NEON=1，因为这可能导致在不支持 ARM NEON 的 CPU 上 nnp_initialize 崩溃。
• 如果使用 clang 工具链，针对 armeabi 和 armeabi-v7a 的 NNPACK 构建速度可能会慢至原来的两倍。
• mips 和 mips64 不受支持，目前也没有计划添加它们（不过欢迎提交相关 Pull Request）。
• x86_64 构建将使用通用的 128 位（SSE2）微内核，而不是原生构建中的 AVX2 微内核。

生态系统

深度学习框架

• PyTorch 在移动端支持 NNPACK，用于卷积层的推理。
• TVM 支持 NNPACK，用于卷积层的推理。请参阅这些说明，以在 TVM 中启用 NNPACK。
• MXNet 支持 NNPACK，用于卷积层、全连接层和最大池化层的推理。配置说明和性能基准测试可参见 MXNet Wiki。
• Caffe2 支持 NNPACK，用于卷积层的推理。
• darknet-nnpack —— 基于 Darknet 框架的分支，添加了 NNPACK 支持。
• tiny-dnn —— 一个基于 C++11 的仅头文件深度学习框架，原生支持 NNPACK。
• Maratyszcza/caffe —— 基于 ajtulloch/caffe 分支，将 NNPACK（卷积层、全连接层、最大池化层和 ReLU 层）最新集成到 Caffe 中。
• Maratyszcza/caffe-nnpack —— 较旧且已不再维护的 Caffe NNPACK 集成版本，仅支持卷积层。
• szagoruyko/nnpack.torch —— 通过 ffi 将 NNPACK 集成到 Lua Torch 中。
• 更多讨论请参见 Issue #1。

编程语言与运行环境

• nnpack-windows —— 非官方的 Windows 移植版本。
• node-nnpack —— Node.js 绑定。
• peterhj/libnnpack —— Rust 绑定。

用户

• Facebook 在生产环境中使用 NNPACK。
• Prisma 在其移动应用中使用 NNPACK。

致谢

该库由佐治亚理工学院的 Marat Dukhan 开发，并得到了 Facebook 人工智能研究团队的 Nicolas Vasilache 和 Soumith Chintala 的大量建议。Facebook 人工智能研究团队的 Andrew Tulloch 贡献了 Caffe 的集成工作。我们感谢 Andrew Lavin 在基于 Winograd 变换的实现方面进行的富有成效的讨论。NNPACK 是佐治亚理工学院计算机学院计算科学与工程学院 Richard Vuduc 的 HPC Garage 实验室的一个研究项目。

本材料基于美国国家科学基金会 (NSF) 资助项目（资助编号：1339745）的支持。文中所表达的观点、发现、结论或建议均属作者个人意见，不一定代表 NSF 的立场。

NNPACK 快速上手指南

NNPACK 是一个专为多核 CPU 设计的高性能神经网络计算加速库。它主要作为底层原语被 PyTorch、Caffe2、MXNet 等主流深度学习框架调用，通常不直接由算法研究人员使用，而是集成在框架中以加速卷积层等运算。

环境准备

系统要求

NNPACK 支持多种平台和架构，具体要求如下：

操作系统	架构	CPU 要求
Linux	x86-64	需支持 AVX2 指令集及三级缓存层次结构
Linux	ARM / ARM64	ARM 需支持 NEON 指令集
macOS	x86-64	需支持 AVX2 指令集及三级缓存层次结构
Android	ARM / ARM64 / x86 / x86-64	ARM 需支持 NEON
iOS	ARM / ARM64	-
Emscripten	Asm.js / WebAssembly	-

注意：在 armeabi 和 armeabi-v7a 架构下，如果移动设备 CPU 不支持 ARM NEON，初始化将失败。

前置依赖

• 构建工具：CMake (推荐版本 3.5+)
• 编译器：支持 C99 标准的编译器 (GCC, Clang 等)
• 构建系统：推荐使用 Ninja (可选，若无则使用 make)
• 语言依赖：无外部依赖（纯 C99 和 Python 实现）

安装步骤

方法一：源码编译（推荐）

这是最通用的安装方式，适用于 Linux、macOS 及嵌入式开发环境。

1. 克隆仓库并进入目录：

git clone https://github.com/Maratyszcza/NNPACK.git
cd NNPACK

2. 创建构建目录并配置 CMake：

mkdir build
cd build
cmake -G Ninja ..

注：如果系统中未安装 ninja，请省略 -G Ninja 参数，后续使用 make 代替 ninja。

3. 执行编译：

ninja

若未使用 Ninja，则运行：

make

方法二：使用 vcpkg 包管理器

如果你习惯使用 vcpkg 管理依赖，可以快速安装：

git clone https://github.com/Microsoft/vcpkg.git
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg integrate install
./vcpkg install NNPACK

交叉编译（Android 示例）

针对 Android 平台，需指定 NDK 工具链文件及 ABI 参数。假设 $ANDROID_NDK 为 NDK 路径：

cmake -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \
      -DANDROID_ABI=arm64-v8a \
      -DANDROID_TOOLCHAIN=clang \
      ..
ninja

常见 ABI 配置参考：

• armeabi-v7a: -DANDROID_ABI=armeabi-v7a -DANDROID_TOOLCHAIN=gcc (需 NEON)
• arm64-v8a: -DANDROID_ABI=arm64-v8a -DANDROID_TOOLCHAIN=clang
• x86_64: -DANDROID_ABI=x86_64 (将使用 SSE2 微内核而非 AVX2)

基本使用

NNPACK 设计为底层库，通常通过深度学习框架间接调用。若需在 C 项目中直接集成，需链接编译生成的库文件并调用相应的 API。

1. 初始化库

在使用任何功能前，必须调用初始化函数检测硬件支持情况：

#include <nnpack.h>

int main() {
    // 初始化 NNPACK
    enum nnp_status status = nnp_initialize();
    
    if (status != nnp_status_success) {
        // 处理错误，例如 nnp_status_unsupported_hardware 表示 CPU 不支持所需指令集
        return -1;
    }

    // ... 执行神经网络计算 ...

    // 程序结束前反初始化
    nnp_deinitialize();
    return 0;
}

2. 调用卷积层（示例）

以下是一个简化的推理用卷积层调用示例：

// 假设已定义输入、权重、偏置、输出指针及维度参数
// input_pointer, kernel_pointer, bias_pointer, output_pointer
// input_channels, output_channels, kernel_size, input_size, batch_size

struct nnp_convolution_inference_parameters params = {
    .algorithm = nnp_convolution_algorithm_ft16x16, // 或其他可用算法
    // 其他参数设置...
};

status = nnp_convolution_inference(
    nnp_convolution_algorithm_ft16x16,
    batch_size,
    input_channels,
    output_channels,
    kernel_height,
    kernel_width,
    padding_height,
    padding_width,
    stride_height,
    stride_width,
    dilation_height,
    dilation_width,
    groups,
    input_pointer,
    kernel_pointer,
    bias_pointer,
    output_pointer,
    NULL, // thread pool
    &params
);

3. 在框架中使用

对于大多数开发者，无需直接编写上述代码，只需在支持的框架中启用 NNPACK 后端即可：

• PyTorch (Mobile): 在移动端推理时自动或手动开启 NNPACK 支持。
• MXNet: 设置环境变量 MXNET_CPU_WORKER_NTHREADS 并在构建时启用 NNPACK。
• TVM: 参考 TVM 文档中的 NNPACK 启用指令。

编译完成后，库文件位于 build/lib 目录下，头文件位于 include 目录，将其链接至你的项目即可使用。