简体中文 | English

Tengine

简介

Tengine 由 OPEN AI LAB 主导开发，该项目实现了深度学习神经网络模型在嵌入式设备上的快速、高效部署需求。为实现在众多 AIoT 应用中的跨平台部署，本项目使用 C 语言进行核心模块开发，针对嵌入式设备资源有限的特点进行了深度框架裁剪。同时采用了完全分离的前后端设计，有利于 CPU、GPU、NPU 等异构计算单元的快速移植和部署，降低评估、迁移成本。

Tengine 核心代码由 4 个模块组成：

• device：NN Operators 后端模块，已提供 CPU、GPU、NPU 参考代码；
• scheduler：框架核心部件，包括 NNIR、计算图、硬件资源、模型解析器的调度和执行模块；
• operator：NN Operators 前端模块，实现 NN Operators 注册、初始化；
• serializer：模型解析器，实现 tmfile 格式的网络模型参数解析。

架构简析

快速上手

编译

• 快速编译 基于 cmake 实现简单的跨平台编译。

示例

• examples 提供基础的分类、检测算法用例，根据 issue 需求持续更新。
• 源安装 提供ubuntu系统的apt-get命令行安装和试用，目前支持x86/A311D硬件。

模型仓库

• 百度网盘 （提取码：7ke5）

• Google Drive

转换工具

• 预编译版本 ：提供 Ubuntu 18.04 系统上预编译好的模型转换工具；
• 在线转换版本 ：基于 WebAssembly 实现（浏览器本地转换，模型不会上传；
• 源码编译 ：建议在服务器或者PC上编译，指令如下：

  mkdir build && cd build
  cmake -DTENGINE_BUILD_CONVERT_TOOL=ON ..
  make -j`nproc`
  

量化工具

• 源码编译：已开源量化工具源码，已支持 uint8/int8。

速度评估

• Benchmark 基础网络速度评估工具，欢迎大家更新。

NPU Plugin

• TIM-VX VeriSilicon NPU 使用指南。

AutoKernel Plugin

• AutoKernel 是一个简单易用，低门槛的自动算子优化工具，AutoKernel Plugin实现了自动优化算子一键部署到 Tengine 中。

Container

• SuperEdge 借助 SuperEdge 边缘计算的开源容器管理系统，提供更便捷的业务管理方案；
• How to use Tengine with SuperEdge 容器使用指南；
• Video Capture user manual Demo 依赖文件生成指南。

Roadmap

• Road map

致谢

Tengine Lite 参考和借鉴了下列项目：

• Caffe
• Tensorflow
• MegEngine
• ONNX
• ncnn
• FeatherCNN
• MNN
• Paddle Lite
• ACL
• stb
• convertmodel
• TIM-VX
• SuperEdge

License

• Apache 2.0

澄清说明

• [在线上报功能] 在线上报功能主要目的是了解Tengine的使用信息，信息用于优化和迭代Tengine，不会影响任何正常功能。该功能默认开启，如需关闭，可修改如下配置关闭：(主目录 CMakeLists.txt ) OPTION (TENGINE_ONLINE_REPORT "online report" OFF)

FAQ

• FAQ 常见问题

技术讨论

• Github issues
• QQ 群: 829565581
• Email: Support@openailab.com

Tengine 快速上手指南

Tengine 是由 OPEN AI LAB 主导开发的轻量级深度学习推理框架，专为嵌入式设备和 AIoT 场景设计。它支持 CPU、GPU、NPU 等异构计算单元，具备高性能、低资源占用的特点。

1. 环境准备

系统要求

• 操作系统：Linux (推荐 Ubuntu 18.04/20.04), Android, macOS
• 架构支持：x86_64, ARM (ARMv7, ARMv8), RISC-V
• 编译器：GCC 5.4+ 或 Clang
• 构建工具：CMake 3.10+

前置依赖

在编译前，请确保安装以下基础依赖库：

# Ubuntu/Debian 系统
sudo apt-get update
sudo apt-get install -y build-essential cmake git libprotobuf-dev protobuf-compiler

提示：若需使用特定后端（如 Vulkan, TIM-VX 等），请参考对应插件文档安装额外依赖。

2. 安装步骤

Tengine 推荐使用源码编译方式安装，以便根据目标硬件进行定制优化。

步骤一：克隆代码

建议使用 Gitee 镜像加速下载（国内开发者推荐）：

git clone https://gitee.com/OAID/Tengine.git
# 或使用 GitHub 源
# git clone https://github.com/OAID/Tengine.git
cd Tengine

步骤二：创建构建目录并配置

mkdir build && cd build
cmake .. 
# 如需开启模型转换工具，添加参数：-DTENGINE_BUILD_CONVERT_TOOL=ON
# 如需关闭在线上报功能，添加参数：-DTENGINE_ONLINE_REPORT=OFF

步骤三：编译与安装

make -j$(nproc)
sudo make install

编译完成后，头文件通常位于 /usr/local/include/tengine，库文件位于 /usr/local/lib。

替代方案：Ubuntu x86 或 A311D 用户可直接通过 apt 安装试用版：

sudo apt-get install tengine-lite

3. 基本使用

以下是一个最简单的 C++ 示例，展示如何加载模型并进行推理。

3.1 准备模型

Tengine 原生支持 .tmfile 格式。如果您拥有 Caffe、ONNX、TensorFlow 等模型，需先使用转换工具转为 tmfile。

转换示例（将 ONNX 转为 tmfile）：

./convert_tool -f onnx -m your_model.onnx -o your_model.tmfile

注：预编译转换工具可从 Release 页面下载，或使用在线转换网站 convertmodel.com。

3.2 代码示例

创建一个 test_tengine.cpp 文件：

#include "tengine/c_api.h"
#include <stdio.h>

int main() {
    // 1. 初始化 Tengine
    if (init_tengine() != 0) {
        fprintf(stderr, "Init Tengine failed\n");
        return -1;
    }

    // 2. 创建图
    graph_t graph = create_graph(nullptr, "tengine", nullptr);
    if (graph == nullptr) {
        fprintf(stderr, "Create graph failed\n");
        return -1;
    }

    // 3. 加载模型 (请替换为您的实际模型路径)
    const char* model_file = "./mobilenet.tmfile";
    if (load_graph(graph, model_file) < 0) {
        fprintf(stderr, "Load graph failed\n");
        return -1;
    }

    // 4. 运行推理
    if (run_graph(graph, 1) < 0) {
        fprintf(stderr, "Run graph failed\n");
        return -1;
    }

    printf("Inference successful!\n");

    // 5. 释放资源
    release_graph_tensor(graph);
    destroy_graph(graph);
    release_tengine();

    return 0;
}

3.3 编译并运行示例

# 编译
g++ test_tengine.cpp -o test_tengine -ltengine

# 运行
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
./test_tengine

3.4 运行官方 Benchmark

Tengine 内置了性能评估工具，可用于测试主流网络在您当前设备上的推理速度：

cd build/benchmark
./benchmarks/bench_mobilenet