• 快速入门指南
• 预编译二进制文件
• 软件概述
• 参与贡献
• 贡献
• 免责声明
• 许可证
• 包容性语言承诺
• 第三方
• 构建标志

Arm NN

Arm NN 现已成为一个遗留项目，不再由 Arm 积极维护。因此，预计不会再有任何更新，包括安全补丁和功能改进；用户应意识到，该项目可能无法抵御不受信任的输入或恶意环境。相应地，强烈建议仅在可信环境中使用 Arm NN。

Arm NN 是适用于 Android 和 Linux 的 性能最优 的机器学习（ML）推理引擎，可在 Arm Cortex-A CPU 和 Arm Mali GPU 上加速 ML 推理。该 ML 推理引擎是一个开源 SDK，旨在弥合现有神经网络框架与高效能 Arm IP 之间的鸿沟。

Arm NN 凭借 针对 Arm 架构的优化（例如 SVE2），通过利用 Arm 计算库 (ACL)，其性能优于通用 ML 库。为了支持 Arm Ethos-N NPU，Arm NN 使用了 Ethos-N NPU 驱动程序。对于 Arm Cortex-M 的加速，请参阅 CMSIS-NN。

Arm NN 使用可移植的 C++17 编写，并采用 CMake 进行构建，从而能够在多种主机环境中为广泛的目标平台进行构建。Python 开发人员可以通过我们的 Arm NN TF Lite 委托 与 Arm NN 进行交互。

快速入门指南

Arm NN TF Lite 委托提供了 Arm NN 中最广泛的 ML 操作符支持，是加速 ML 模型的简便方法。要开始使用 TF Lite 委托，首先请下载最新版本 Arm NN 的 预编译二进制文件。然后，使用 Python 解释器将您的 TF Lite 模型加载到 Arm NN TF Lite 委托中，并运行加速推理。有关如何使用 Arm NN TF Lite 委托加速 TF Lite 模型的信息，请参阅 GitHub 上的 快速入门指南，或更全面的 Arm 开发者指南。

我们为 Arm NN 提供 Debian 软件包，这是一种快速开始使用 Arm NN 和 TF Lite 解析器的方式（尽管其 ML 操作符支持不如 TF Lite 委托广泛）。此处提供了一份安装指南 here，其中介绍了如何为 Ubuntu 20.04 安装 Arm NN 核心组件和 TF Lite 解析器。

若要从头开始构建 Arm NN，我们提供了 Arm NN 构建工具。该工具由 参数化 Bash 脚本 和一个用于构建 Arm NN 及其依赖项（包括 Arm 计算库 (ACL)）的 Dockerfile 组成。作为一种用户友好的构建方式，该工具取代了现有的大多数 Arm NN 构建指南。从头构建 Arm NN 的主要优势在于，您可以 精确选择要构建的组件，以满足您的 ML 项目需求。

预编译二进制文件

操作系统	架构特定发布归档（下载）
Android 11 “R/红丝绒蛋糕”（API 级别 30）
Android 12 “S/雪糕筒”（API 级别 31）
Android 13 “T/提拉米苏”（API 级别 33）
Android 14 “U/倒扣蛋糕”（API 级别 34）

Arm NN 还为 Android 提供了预编译的多 ISA 二进制文件。v8a 二进制文件支持从基础 v8a 架构及其以上版本。 v8.2a 二进制文件则支持从 v8.2a 及其以上版本。这些二进制文件包含了对 SVE、SVE2、FP16 以及部分点积内核的支持。 这些内核需要相应的硬件才能正常运行。

多 ISA 架构	发布归档（下载）
Linux Arm v8a
Linux Arm v8.2a
Android 31 v8a
Android 31 v8.2a

软件概述

Arm NN SDK 支持 TensorFlow Lite (TF Lite) 和 ONNX 格式的机器学习模型。

Arm NN 的 TF Lite Delegate 通过 Python 或 C++ API 加速 TF Lite 模型。支持的 TF Lite 运算符由 Arm NN 加速，而不支持的运算符则会委托（回退）到参考的 TF Lite 运行时——从而确保对大多数机器学习运算符的支持。使用 Arm NN 的推荐方式是将您的模型转换为 TF Lite 格式，并使用 TF Lite Delegate。有关如何使用 TF Lite Delegate 的更多信息，请参阅快速入门指南。

Arm NN 还提供了 TF Lite 和 ONNX 解析器，它们是用于将 TF Lite 或 ONNX 模型集成到您的机器学习应用程序中的 C++ 库。请注意，与 Arm NN 的 TF Lite Delegate 相比，这些解析器并不提供广泛的机器学习运算符支持。

Android 平台的机器学习应用开发者有多种方式可以使用 Arm NN：

• 下载并使用我们为 Android 平台提供的预编译二进制文件
• 使用此 GitHub 指南 通过 Android NDK 从头构建 Arm NN

Arm 还提供了一个 Android-NN-Driver，它实现了 Android NNAPI 的硬件抽象层 (HAL)。当 Android NN Driver 集成到 Android 设备上时，Android 应用程序中使用的机器学习模型将自动由 Arm NN 加速。

有关 Arm NN 组件的更多信息，请参阅我们的文档。

有关常见问题解答和故障排除建议，请参阅FAQ，或查看之前的GitHub 问题。

参与贡献

参与的最佳方式就是使用我们的软件。如果您需要帮助或遇到问题，请在 GitHub 上提交一个问题。您也可以随意浏览我们现有的任何问题。我们也欢迎对文档提出反馈意见。

没有志愿者愿意实现的功能请求会被关闭，但会打上“寻求帮助”的标签，这些请求可以在这里找到。一旦您找到合适的问题，可以重新打开它并添加评论，以便 Arm NN 的工程师知道您正在处理该问题，并能为您提供帮助。

功能实现后，“寻求帮助”标签将会被移除。

贡献

Arm NN 项目欢迎各方贡献。有关如何为 Arm NN 做出贡献的详细信息，请参阅贡献者指南。

特别是如果您希望在我们的 CPU、GPU 和 NPU 后端之外实现自己的后端，我们提供了后端开发指南：后端开发指南 和 动态后端开发指南。

免责声明

armnn/tests 目录包含 Arm NN 开发过程中使用的测试。其中许多测试依赖于第三方 IP、模型 protobuf 文件以及未随 Arm NN 一起分发的图像文件。部分测试的依赖项可在互联网上免费获取，供有兴趣进行实验的人使用，但这些测试无法直接运行。

许可证

Arm NN 采用 MIT 许可证进行授权。更多相关信息请参阅 LICENSE。本项目的贡献也接受相同的许可证。

个别文件中并未包含完整的许可证文本，而是使用以下标签：

SPDX-License-Identifier: MIT

这使得可以根据此处提供的 SPDX 许可证标识符对许可证信息进行机器处理：http://spdx.org/licenses/

包容性语言承诺

Arm NN 遵循 Arm 的包容性语言政策，据我们所知，不包含任何不包容性的语言。

如果您发现任何令您担忧的内容，请发送电子邮件至 terms@arm.com

第三方工具

Arm NN 使用的第三方工具如下：

工具	许可证 (SPDX ID)	描述	版本	来源
cxxopts	MIT	一个轻量级的 C++ 选项解析库	3.1.1	https://github.com/jarro2783/cxxopts
doctest	MIT	一个仅包含头文件的 C++ 测试框架	2.4.6	https://github.com/onqtam/doctest
fmt	MIT	{fmt} 是一个开源格式化库，为 C stdio 和 C++ iostreams 提供了一种快速且安全的替代方案。	8.30	https://github.com/fmtlib/fmt
ghc	MIT	一个仅包含头文件、兼容 std::filesystem 的辅助库	1.3.2	https://github.com/gulrak/filesystem
half	MIT	符合 IEEE 754 标准的 16 位半精度浮点数库	1.12.0	http://half.sourceforge.net
mapbox/variant	BSD	一个仅包含头文件的 'boost::variant' 替代品	1.1.3	https://github.com/mapbox/variant
stb	MIT	图像加载、缩放和写入工具	2.16	https://github.com/nothings/stb

构建标志

Arm NN 在其代码中使用了以下与安全性相关的构建标志：

构建标志
-Wall
-Wextra
-Wold-style-cast
-Wno-missing-braces
-Wconversion
-Wsign-conversion
-Werror

Arm NN 快速上手指南

⚠️ 重要提示：Arm NN 目前已被标记为遗留项目（Legacy Project），Arm 官方不再对其进行主动维护（包括安全补丁和功能更新）。建议仅在受信任的环境中使用，生产环境请谨慎评估安全风险。

Arm NN 是专为 Android 和 Linux 设计的高性能机器学习推理引擎，通过利用 Arm Cortex-A CPU、Mali GPU 及 Ethos-N NPU 的架构特性（如 SVE2），加速 TensorFlow Lite (TF Lite) 和 ONNX 模型的推理。

1. 环境准备

系统要求

• 操作系统：
  • Linux (推荐 Ubuntu 20.04)
  • Android (API Level 30+, 即 Android 11+)
• 硬件架构：Arm64 (AArch64)，支持 v8a, v8.2a, v8.6a 等架构。
• 编译工具链（如需源码编译）：
  • CMake
  • GCC / Clang (支持 C++17)
  • Python 3 (用于使用 TF Lite Delegate)

前置依赖

若选择源码编译，需确保已安装以下基础依赖：

sudo apt-get update
sudo apt-get install -y build-essential cmake git python3 python3-pip libboost-all-dev libprotobuf-dev protobuf-compiler

2. 安装步骤

根据您的需求，可选择以下三种方式之一：

方案 A：使用预编译二进制包（推荐，最快）

适用于快速验证或集成到现有项目。

1. 下载二进制包： 访问 GitHub Releases 下载对应平台和架构的压缩包。

   • Linux 示例 (v8.2a):

     wget https://github.com/ARM-software/armnn/releases/download/v26.01/MULTI_ISA-GCC11-ArmNN+ACL-linux-armv8.2-a.tar.gz
     tar -xzf MULTI_ISA-GCC11-ArmNN+ACL-linux-armv8.2-a.tar.gz
     

   • Android: 下载对应的 .tar.gz 文件并解压至项目 jniLibs 目录。

2. 配置环境变量（可选）：

   export LD_LIBRARY_PATH=$PWD/lib:$LD_LIBRARY_PATH
   

方案 B：通过 APT 仓库安装 (仅限 Ubuntu 20.04)

适用于 Linux 桌面或服务器环境，可快速安装核心库和 TF Lite Parser。

# 添加 Arm NN 仓库源（参考官方安装指南）
# 注意：由于是遗留项目，官方源可能不再更新，请确认源可用性
sudo add-apt-repository ppa:armnn-team/ppa 
sudo apt-get update
sudo apt-get install armnn armnn-tflite-parser

方案 C：源码编译（高度定制）

适用于需要特定算子支持或针对特定硬件优化的场景。推荐使用官方提供的 Arm NN Build Tool。

1. 获取构建工具：

   git clone https://github.com/ARM-software/armnn.git
   cd armnn/build-tool
   

2. 执行构建脚本： 该工具包含参数化的 Bash 脚本和 Dockerfile，可自动构建 Arm NN 及其依赖（如 Arm Compute Library）。

   # 示例：构建针对 Linux aarch64 的版本
   ./build_tool.sh --target linux-aarch64 --build-type Release
   

   构建完成后，产物位于 build 目录下。

3. 基本使用

Arm NN 最推荐的使用方式是通过 Arm NN TF Lite Delegate 加速现有的 TensorFlow Lite 模型。这种方式支持最广泛的算子，且不支持的算子会自动回退到原生 TF Lite 运行时。

Python 使用示例

确保已安装 tflite-runtime 或 tensorflow，并将 Arm NN 的动态库路径加入 LD_LIBRARY_PATH。

import tensorflow as tf
import numpy as np

# 1. 加载 TFLite 模型
interpreter = tf.lite.Interpreter(
    model_path="your_model.tflite",
    # 2. 加载 Arm NN Delegate
    experimental_delegates=[
        tf.lite.load_delegate("libarmnnDelegate.so") 
        # Linux 下通常为 libarmnnDelegate.so
        # Android 下通常为 libarmnnDelegate.so (在 jniLibs 中)
    ]
)

interpreter.allocate_tensors()

# 3. 获取输入输出细节
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 4. 准备测试数据
input_data = np.array(np.random.random_sample(input_details[0]['shape']), dtype=np.float32)

# 5. 设置输入并运行推理
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()

# 6. 获取结果
output_data = interpreter.get_tensor(output_details[0]['index'])
print("Inference output shape:", output_data.shape)

C++ 使用简述

若使用 C++，需链接 armnn 和 armnnTfLiteParser 库，通过 ITfLiteParser 加载模型并创建网络进行推理。具体代码结构请参考官方 samples 目录下的示例。

---

注：本指南基于 Arm NN v26.01 版本整理。由于项目已停止维护，如遇兼容性问题，建议检查底层依赖（如 ACL）的版本匹配情况。