dabnn

在移动端享受二值神经网络的便利！

Gitter: dabnn/dabnn, QQ群（中文）：1021964010，答案：nndab

[英文] [中文]

我们的ACM MM论文：https://arxiv.org/abs/1908.05858

简介

二值神经网络（BNN）在边缘设备上具有巨大潜力，因为它们用高效的位运算替代了浮点运算。然而，为了充分发挥位运算的效率，需要对卷积层及其他层进行重新实现。

据我们所知，dabnn是首个针对移动平台的高度优化的二值神经网络推理框架。我们使用ARM汇编实现了二值卷积。在Google Pixel 1上，我们的dabnn在单个二值卷积上的速度比BMXNet（据我们所知，除dabnn外唯一开源的BNN推理框架）快800%~2400%，而在二值化ResNet-18上的速度则快约700%。

构建

我们提供了预构建的onnx2bnn和dabnn Android软件包。然而，如果您希望在非Android的ARM设备上部署BNN，则需要自行构建。

我们使用CMake构建系统，与大多数C++项目相同。详细说明请参阅docs/build.md。

转换ONNX模型

我们提供了一个名为onnx2bnn的转换工具，用于将ONNX模型转换为dabnn模型。我们在GitHub Releases中为所有平台提供了onnx2bnn的预构建二进制文件。对于Linux用户，onnx2bnn的预构建二进制文件采用AppImage格式，详情请参阅https://appimage.org。

注意：二值卷积是一个自定义算子，因此ONNX模型是否与dabnn兼容，很大程度上取决于训练代码中二值卷积的实现方式。请仔细阅读关于模型转换的文档。

转换完成后，生成的dabnn模型可以部署到ARM设备上（例如手机和嵌入式设备）。对于Android开发者，我们提供了Android AAR包，并已发布到jcenter，使用方法请参阅示例项目。

预训练模型

我们基于Bi-Real Net在ImageNet上发布了两个预训练的二值神经网络模型。未来还将发布更多预训练模型。

• Bi-Real Net 18，ImageNet上top-1准确率为56.4%，在Google Pixel 1上每张图片耗时61.3ms（单线程）。[dabnn] [ONNX]

• 带Stem模块的Bi-Real Net 18，ImageNet上top-1准确率为56.4%，在Google Pixel 1上每张图片耗时43.2ms（单线程）。详细的网络结构在我们的论文中有描述。[dabnn] [ONNX]

实现细节

• 二值卷积的实现：docs/bconv.md

• 模型转换：docs/onnx2bnn.md

更多细节请参阅我们的ACM MM论文。

示例项目

Android应用演示：https://github.com/JDAI-CV/dabnn-example

使用dabnn的相关工作

以下两篇论文使用dabnn在真实设备上测量了其二值网络的延迟：

• IR-Net：用于高精度二值神经网络的前向与后向信息保留

• 带有门控残差的平衡二值神经网络

许可证与引用

BSD 3条款

如果dabnn对您的研究有所帮助，请在您的出版物中引用它：

@misc{zhang2019dabnn,
  Author = {Jianhao Zhang and Yingwei Pan and Ting Yao and He Zhao and Tao Mei},
  Title = {daBNN：一种在ARM设备上超快速的二值神经网络推理框架},
  Year = {2019},
  Eprint = {arXiv:1908.05858},
}

dabnn 快速上手指南

dabnn 是一个专为 ARM 设备（如安卓手机、嵌入式开发板）高度优化的二值神经网络（BNN）推理框架。它通过 ARM 汇编实现二值卷积，相比传统浮点运算大幅提升推理速度。

环境准备

系统要求

• 目标运行平台：ARM 架构设备（Android 手机、Linux ARM 开发板等）。
• 构建平台：Linux, macOS 或 Windows（需安装 CMake 和 C++ 编译器）。
• 模型来源：需拥有训练好的 ONNX 格式二值神经网络模型。

前置依赖

• CMake：3.10 及以上版本。
• C++ 编译器：支持 C++14 标准（如 GCC, Clang, MSVC）。
• Python：用于模型转换工具 onnx2bnn（通常预编译包无需额外配置，若自行构建需确保环境）。
• Android 开发（仅针对安卓应用）：Android Studio, Gradle。

安装步骤

方案一：直接使用预编译包（推荐）

1. 获取模型转换工具 (onnx2bnn)

访问 GitHub Releases 下载对应平台的 onnx2bnn 预编译二进制文件。

• Linux 用户：下载 AppImage 格式文件，赋予执行权限即可运行：

  chmod +x onnx2bnn-*.AppImage
  

2. 集成到 Android 项目

在项目的 build.gradle 文件中添加 jcenter 依赖（注意：jcenter 已停止更新，若无法下载建议参考下方“自行构建”或直接引用 AAR）：

dependencies {
    implementation 'com.daquexian:dabnn:<latest_version>'
}

注：若 jcenter 不可用，可前往发布页下载最新的 .aar 文件手动放入 libs 目录。

方案二：自行构建（适用于非 Android ARM 设备或定制需求）

若需在非安卓 ARM 设备部署或修改源码，请克隆仓库并编译：

git clone https://github.com/JDAI-CV/dabnn.git
cd dabnn
mkdir build && cd build
cmake ..
make -j4

详细构建参数请参考项目内 docs/build.md。

基本使用

第一步：转换模型

dabnn 不直接支持原始 ONNX 模型，必须使用 onnx2bnn 工具将其转换为专用的 .bnn 格式。

注意：二值卷积是自定义算子，ONNX 模型必须包含特定的二值卷积实现才能成功转换。请务必先阅读 模型转换文档 确认您的训练代码生成的 ONNX 是否兼容。

执行转换命令：

./onnx2bnn input_model.onnx output_model.bnn

第二步：加载与推理

Android 端示例

在 Android 项目中，通过 Java/Kotlin 调用 dabnn API 加载转换后的模型并进行推理。参考官方示例项目 dabnn-example 的核心逻辑如下：

// 初始化网络
Net net = new Net(context, "output_model.bnn");

// 准备输入数据 (Bitmap 或 byte 数组)
Bitmap inputBitmap = ...; 
float[] inputData = preprocess(inputBitmap);

// 执行推理
float[] outputData = net.forward(inputData);

// 处理结果
processResult(outputData);

C++ 端示例 (通用 ARM Linux)

若在嵌入式 Linux 上使用 C++ 调用：

#include "net.h"

// 加载模型
dabnn::Net net("output_model.bnn");

// 准备输入数据
std::vector<float> input_data = ...; 

// 执行推理
std::vector<float> output_data = net.forward(input_data);

预训练模型测试

您可以下载官方提供的基于 ImageNet 训练的 Bi-Real Net 模型进行快速测试：

• Bi-Real Net 18: 下载 .bnn | 下载 .onnx
• Bi-Real Net 18 (Stem Module): 下载 .bnn | 下载 .onnx

将下载的 .bnn 文件部署到设备即可体验毫秒级推理速度。