微控制器上的神经网络（NNoM）

NNoM 是一个专为微控制器设计的高级推理神经网络库。

[英文手册] [中文简介]

亮点

• 一行代码即可将 Keras 模型部署到 NNoM 模型。
• 支持复杂结构；Inception、ResNet、DenseNet、八度卷积等。
• 友好的用户接口。
• 高性能后端选择。
• 内置预编译——运行时无解释器性能损失。
• 内置评估工具；运行时分析、Top-k、混淆矩阵等。

NNoM 的结构如下所示：

更多详细信息请参阅 开发指南。

欢迎通过 issues 进行讨论。也欢迎提交 Pull 请求。QQ/TIM 群：763089399。

最新更新 - v0.4.x

循环层（RNN）（0.4.1）

在 0.4.1 版本中实现了循环层 （简单 RNN、GRU、LSTM），支持 statful 和 return_sequence 选项。

新的结构化接口（0.4.0）

NNoM 提供了一种名为 “结构化接口” 的新层接口，所有接口均以 _s 后缀标记。该接口旨在使用一个 C 结构体来提供层的所有配置。与对人类友好的层 API 不同，这种结构化 API 更适合机器处理。

通道级量化（0.4.0）

新的结构化接口支持 卷积层 的通道级量化（按轴量化）和膨胀操作。

新脚本（0.4.0）

从 0.4.0 版本开始，NNoM 将默认切换到结构化接口来生成模型头文件 weights.h。对应于结构化接口的脚本是 nnom.py，而对应于层接口的脚本则是 nnom_utils.py。

许可证

自 nnom-V0.2.0 起，NNoM 采用 Apache License 2.0 发布。 许可证和版权信息可在代码中找到。

为什么选择 NNoM？

NNoM 的目标是为快速部署到 MCU 提供轻量级、用户友好且灵活的接口。

如今，神经网络变得越来越 宽、深 和 密。

[1] Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., ... & Rabinovich, A. (2015). 更深层次的卷积。载于 IEEE 计算机视觉与模式识别会议论文集（第 1–9 页）。

[2] He, K., Zhang, X., Ren, S., & Sun, J. (2016). 图像识别中的深度残差学习。载于 IEEE 计算机视觉与模式识别会议论文集（第 770–778 页）。

[3] Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). 密集连接的卷积网络。载于 IEEE 计算机视觉与模式识别会议论文集（第 4700–4708 页）。

2014 年之后，神经网络的发展更加注重结构优化，以提高效率和性能，这对于 MCU 等小尺寸平台尤为重要。 然而，目前可用于 MCU 的神经网络库大多过于底层，导致在这些复杂结构上使用起来非常困难。

因此，我们开发了 NNoM，旨在帮助嵌入式开发者更快速、更简便地将神经网络模型直接部署到 MCU 上。

NNoM 将为开发者管理结构、内存及其他一切事宜。您只需输入新的测量数据并获取结果即可。

安装

NNoM 可以作为 Python 包安装：

pip install git+https://github.com/majianjia/nnom@master

NNoM 需要 TensorFlow 版本 <= 2.14。 安装方法有多种，请参阅 TensorFlow 文档。

例如：

pip install 'tensorflow-cpu<=2.14.1'

注意：TensorFlow 2.14 最高支持 Python 3.11。 但 不支持 Python 3.12。

访问 C 文件

NNoM 中的 C 头文件和源代码分布在 nnom_core Python 包中。 您可以通过运行以下命令找到其位置：

python -c "import nnom_core; print(nnom_core.__path__[0])"

在您的构建系统中，将 inc/ 和 port/ 目录添加为包含目录， 并编译 src/*.c 文件。

文档

指南

5 分钟入门 NNoM 指南

临时指南

移植与优化指南

RT-Thread 指南（中文）

RT-Thread-MNIST 示例（中文）

性能

有许多文章将 NNoM 与其他著名的 MCU AI 工具进行了比较，如 TensorFlow Lite、STM32Cube.AI 等。

苏黎世应用科学大学的 Raphael Zingg 等人 在他们的论文《微控制器上的人工智能》中将 NNoM 与 TFLite、Cube 和 e-AI 进行了比较。博客：https://blog.zhaw.ch/high-performance/2020/05/14/artificial-intelligence-on-microcontrollers/

都灵理工大学的 Butt Usman Ali 在其论文《低成本嵌入式系统中人工神经网络（ANN）的部署》中进行了如下比较：

两篇文章都表明，NNoM 不仅可以与其他流行的神经网络框架相媲美，而且具有更快的推理速度和有时更低的内存占用。

注： 这些图表和表格的版权归其作者所有。有关详细信息及版权问题，请参阅原始论文。

示例

已记录的示例

请查看 示例，并选择一个开始尝试。

可用操作

[API 手册]

注：NNoM 现在同时支持 HWC 和 CHW 格式。目前部分操作可能尚未完全支持这两种格式，请查看表格以了解当前状态。

核心层

层	结构化 API	层 API	备注
卷积	conv2d_s()	Conv2D()	支持 1D/2D，支持空洞卷积（新！）
转置卷积（新！）	conv2d_trans_s()	Conv2DTrans()	开发中
深度可分离卷积	dwconv2d_s()	DW_Conv2D()	支持 1D/2D
全连接	dense_s()	Dense()
Lambda	lambda_s()	Lambda()	单输入/单输出的匿名操作
批量归一化	无	无	此层已被脚本合并到前一个卷积层中
展平	flatten_s()	Flatten()
重塑（新！）	reshape_s()	无
SoftMax	softmax_s()	SoftMax()	Softmax 仅提供层 API
激活函数	无	Activation()	用于激活的层实例
输入/输出	input_s()/output_s()	Input()/Output()
上采样	upsample_s()	UpSample()
零填充	zeropadding_s()	ZeroPadding()
裁剪	cropping_s()	Cropping()

RNN 层

层	状态	结构化 API	备注
循环神经网络层（新！）	Alpha	rnn_s()	RNN 的层封装
简单细胞（新！）	Alpha	simple_cell_s()
GRU 单元（新！）	Alpha	gru_cell_s()	门控循环网络
LSTM 单元（新！）	Alpha	lstm_s()	长短期记忆

激活函数

激活函数可以单独作为一层使用，也可以作为“actail”附加到前一层，以减少内存开销（详见 NNoM 临时指南）。

目前没有针对激活函数的结构化 API，因为激活通常不作为独立的层来使用。

激活函数	结构化 API	层 API	激活 API	备注
ReLU	无	ReLU()	act_relu()
Leaky ReLU（新！）	无	LeakyReLU()	act_leaky_relu()
Adv ReLU（新！）	无	无	act_adv_relu()	高级 ReLU，包含斜率、最大值、阈值等参数
TanH	无	TanH()	act_tanh()
Hard TanH（新！）	无	TanH()		仅后端实现
Sigmoid	无	Sigmoid()	act_sigmoid()
Hard Sigmoid（新！）	无	无	无	仅后端实现

池化层

池化	结构化 API	层 API	备注
最大池化	maxpool_s()	MaxPool()
平均池化	avgpool_s()	AvgPool()
求和池化	sumpool_s()	SumPool()
全局最大池化	global_maxpool_s()	GlobalMaxPool()
全局平均池化	global_avgpool_s()	GlobalAvgPool()
全局求和池化	global_sumpool_s()	GlobalSumPool()	动态输出位移

矩阵运算层

矩阵	结构化 API	层 API	备注
拼接	concat_s()	Concat()	沿任意轴拼接
乘法	mult_s()	Mult()
加法	add_s()	Add()
减法	sub_s()	Sub()

依赖项

NNoM 目前默认使用本地纯 C 后端实现。因此，无需额外的特殊依赖。

不过，您需要启用 libc 以使用动态内存分配函数 malloc()、free() 和 memset()。或者，您可以移植到您系统中等效的内存管理方法。

优化

CMSIS-NN/DSP 是针对 ARM-Cortex-M4/7/33/35P 的优化后端。选择该后端时，性能可比默认 C 后端提升高达 5 倍。当条件满足时，NNoM 会自动使用 CMSIS-NN 中的等效方法。

详细信息请参阅 移植与优化指南。

已知问题

转换器不支持隐式定义的激活函数

当前脚本不支持隐式激活：

x = Dense(32, activation="relu")(x)

请改用显式激活：

x = Dense(32)(x)
x = Relu()(x)

小贴士 - 提高精度

• 在每个卷积层后添加批量归一化可以限制激活范围，从而有助于量化。在 NNoM 中，BN 不会增加额外的计算量。
• 不要训练过多的轮次。过大的轮次会导致激活值出现极端值，从而降低量化精度。
• 为瓶颈层保留足够的数据——不要在模型输出之前过度压缩数据，否则信息会在量化过程中丢失。

联系方式

Jianjia Ma majianjia@live.com

如有现场支持需求，也欢迎联系我。

发表论文时需引用

如遇任何问题，请通过上述联系方式与我联系。

示例：

@software{jianjia_ma_2020_4158710,
  author       = {Jianjia Ma},
  title        = {{微控制器上的高级神经网络库 (NNoM)}},
  month        = oct,
  year         = 2020,
  publisher    = {Zenodo},
  version      = {v0.4.2},
  doi          = {10.5281/zenodo.4158710},
  url          = {https://doi.org/10.5281/zenodo.4158710}
}

NNoM 快速上手指南

NNoM (Neural Network on Microcontroller) 是一个专为微控制器（MCU）设计的高层神经网络推理库。它支持将 Keras 模型一键部署到 MCU，并提供了高性能的后端优化选项。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows。
• Python 版本：推荐 Python 3.8 - 3.11。
  • ⚠️ 注意：暂不支持 Python 3.12。
• TensorFlow 版本：必须安装 tensorflow 或 tensorflow-cpu，版本需 <= 2.14。
• C 编译环境：用于 MCU 端的编译（如 GCC, ARMCC, IAR 等），需支持标准 C 库 (malloc, free, memset)。

国内加速建议

由于 TensorFlow 和 PyPI 源在国外访问较慢，建议使用国内镜像源进行安装。

2. 安装步骤

第一步：安装 TensorFlow

首先安装兼容版本的 TensorFlow。推荐使用清华或阿里镜像源。

pip install 'tensorflow-cpu<=2.14.1' -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：安装 NNoM Python 包

安装 NNoM 工具包，该包包含模型转换脚本和核心 C 代码。

pip install git+https://github.com/majianjia/nnom@master -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：获取 C 源代码

NNoM 的 C 头文件和源码分布在 nnom_core 包中。运行以下命令找到其安装路径：

python -c "import nnom_core; print(nnom_core.__path__[0])"

在您的 MCU 工程构建系统中：

1. 将上述路径下的 inc/ 和 port/ 目录添加为包含目录 (Include Directories)。
2. 将 src/*.c 下的所有文件添加到编译源文件列表中。

3. 基本使用

NNoM 的工作流分为两步：PC 端模型转换 和 MCU 端推理。

步骤 A：PC 端训练与转换

假设您已经有一个训练好的 Keras 模型。请使用 nnom.py 脚本将其转换为 NNoM 可用的 C 头文件 (weights.h)。

注意：NNoM 转换器目前不支持隐式激活函数（如 Dense(32, activation='relu')），请使用显式层（先 Dense 后 ReLU）。

创建一个转换脚本 convert_model.py：

import tensorflow as tf
from nnom import *

# 1. 加载或构建你的 Keras 模型 (示例)
# 请替换为你自己的模型加载代码
model = tf.keras.models.load_model('my_model.h5') 

# 2. 创建 NNoM 模型实例
# 输入数据形状需与模型一致，这里以 (1, 28, 28, 1) 为例
input_data = tf.random.normal((1, 28, 28, 1))
nnom_model = create_model(model, input_data=input_data)

# 3. 导出为 C 头文件
# 生成的 weights.h 包含了网络结构和量化权重
nnom_model.save("weights.h")

运行脚本生成文件：

python convert_model.py

执行成功后，当前目录下将生成 weights.h。

步骤 B：MCU 端集成与推理

将生成的 weights.h 复制到您的 MCU 项目中，并编写推理代码。

#include "nnom.h"
#include "weights.h" // 引入由脚本生成的模型文件

// 定义输入输出缓冲区 (根据模型实际大小调整)
uint8_t input_data[28 * 28 * 1];
uint8_t output_data[10];

// 1. 创建模型实例
nnom_model_t *model = nnom_model_create();

if (model == NULL) {
    // 处理创建失败
    while(1);
}

// 2. 填充输入数据 (例如从传感器读取)
// memcpy(input_data, sensor_buffer, sizeof(input_data));

// 3. 运行推理
nnom_status_t result = nnom_run(model, input_data, output_data);

if (result == NNOM_SUCCESS) {
    // 推理成功，output_data 中包含结果
    // 对于分类任务，通常需要使用 softmax 后处理或直接取最大值索引
}

// 4. 释放资源 (可选，若不再使用)
nnom_model_delete(model);

性能优化提示

• 后端选择：默认使用纯 C 后端。如果您的芯片是 ARM Cortex-M4/M7/M33/M35P，建议在 nnom_port.h 中启用 CMSIS-NN 后端，可获得高达 5 倍的性能提升。
• 量化精度：在训练时，建议在每个卷积层后添加 BatchNormalization 层，这有助于限制激活范围从而提高量化精度，且在 NNoM 推理时不会增加额外计算量。