适用于乐鑫芯片组的 TensorFlow Lite Micro

• 根据 TFLite Micro 对厂商支持的相关指南，本仓库包含 esp-tflite-micro 组件以及在乐鑫芯片组（例如 ESP32-P4）上使用 ESP-IDF 平台运行 TensorFlow Lite Micro 所需的示例。
• 本项目所基于的基础仓库可在此处找到：TensorFlow Lite Micro 仓库。

构建状态

构建类型	状态
示例构建

安装方法

ESP-IDF 支持政策

我们遵循 ESP-IDF 的支持周期政策，详情请参阅 这里。

目前，本项目支持 ESP-IDF 版本 release/v4.4 及以上版本。

安装 ESP-IDF

请按照 ESP-IDF 入门指南 中的说明，设置工具链和 ESP-IDF 环境。

以下步骤假定您已成功完成安装，并且已正确设置 IDF 环境变量。具体来说：

• 已设置 IDF_PATH 环境变量
• idf.py 和 Xtensa-esp32 工具（例如 xtensa-esp32-elf-gcc）已在 $PATH 中

使用该组件

在您的 ESP-IDF 项目中运行以下命令以安装此组件：

idf.py add-dependency "esp-tflite-micro"

构建示例

要获取示例，请运行以下命令：

idf.py create-project-from-example "esp-tflite-micro:<example_name>"

注意：

• 如果您已克隆了本仓库，示例将作为克隆的一部分提供。只需进入相应的示例目录 (examples/<example_name>) 并构建即可。

可用示例包括：

• hello_world
• micro_speech
• person_detection

设置 IDF_TARGET：

idf.py set-target esp32p4

构建示例：

idf.py build

加载并运行示例

烧录固件（请将 /dev/ttyUSB0 替换为设备的串口）：

idf.py --port /dev/ttyUSB0 flash

监控串口输出：

idf.py --port /dev/ttyUSB0 monitor

使用 Ctrl+] 退出。

上述两条命令可以合并执行：

idf.py --port /dev/ttyUSB0 flash monitor

• 更多详细信息请参考各示例的 README 文件。

ESP-NN 集成

ESP-NN 包含针对 TFLite Micro 中使用的内核的优化实现。该库已集成到本仓库中，并作为每个示例的一部分进行编译。更多相关信息及性能数据请参阅 这里。

性能对比

以下是 ESP-NN 在不同芯片组上的优化效果简要总结：

目标平台	TFLite Micro 示例	无 ESP-NN	有 ESP-NN	CPU 频率
ESP32-P4	人体检测	1395ms	73ms	360MHz
ESP32-S3	人体检测	2300ms	54ms	240MHz
ESP32	人体检测	4084ms	380ms	240MHz
ESP32-C3	人体检测	3355ms	426ms	160MHz

注意：

• 上述时间为 invoke() 调用的执行时间
• 涉及内部内存使用情况
• ESP32-P4 的优化仍在进行中
• “无 ESP-NN” 的情况是指通过移除 CMakeLists.txt 中的以下标志来完全禁用 esp-nn：

    # 启用乐鑫的 ESP-NN 优化
    target_compile_options(${COMPONENT_LIB} PRIVATE -DESP_NN)
  

详细的内核级性能数据请参阅 这里。

同步至最新的 TFLite Micro 上游版本

根据上游仓库的政策，tflite-lib 会被复制到本仓库的 components 目录中。我们会不时更新至最新的上游版本。如果您希望在本地更新，可以运行 scripts/sync_from_tflite_micro.sh 脚本。

贡献

• 如果您在这些示例中发现任何问题，或希望提交功能改进请求，请使用 GitHub 上的 Issues 部分。
• 对于与 ESP-IDF 相关的问题，请使用 esp-idf 仓库。
• 关于 TensorFlow 的相关信息，请使用 tflite-micro 仓库。

许可证

本组件及示例均采用 Apache 2.0 许可证提供，详细信息请参阅 LICENSE 文件。

TensorFlow 库代码和第三方代码各自拥有其独立的许可证，具体请参阅相应的 仓库。

esp-tflite-micro 快速上手指南

本指南帮助中国开发者在乐鑫（Espressif）芯片（如 ESP32-P4、ESP32-S3 等）上快速部署 TensorFlow Lite Micro。

环境准备

系统要求

• 操作系统：Linux, macOS 或 Windows (WSL)
• ESP-IDF 版本：release/v4.4 及以上版本（推荐最新稳定版）

前置依赖

1. 安装 ESP-IDF 请参照官方文档完成工具链和环境变量的配置： ESP-IDF 入门指南

   国内加速建议：国内用户建议使用乐鑫提供的国内镜像站下载工具链和组件，或在 idf.py 配置中设置代理，以避免下载超时。

2. 验证环境 确保以下环境变量已生效：

   • IDF_PATH 已设置
   • idf.py 和交叉编译工具（如 xtensa-esp32-elf-gcc）已加入 $PATH

安装步骤

方法一：作为组件安装（推荐）

在现有的 ESP-IDF 项目根目录下运行以下命令，自动添加依赖：

idf.py add-dependency "esp-tflite-micro"

方法二：克隆示例项目

如果你想直接运行官方示例，可以使用以下命令创建新项目：

idf.py create-project-from-example "esp-tflite-micro:<example_name>"

将 <example_name> 替换为以下任一示例：hello_world, micro_speech, person_detection。

如果你已经克隆了该仓库，可直接进入 examples/<example_name> 目录进行操作。

基本使用

以下以运行 Person Detection（人员检测）示例在 ESP32-P4 上为例：

1. 设置目标芯片

根据你使用的开发板设置目标架构（例如 ESP32-P4）：

idf.py set-target esp32p4

注：其他常见型号如 esp32s3, esp32c3, esp32 等请相应替换。

2. 编译项目

执行编译命令，系统将自动集成 ESP-NN 优化库以提升推理速度：

idf.py build

3. 烧录与监控

连接开发板后，将 /dev/ttyUSB0 替换为你的实际串口设备名（Windows 下通常为 COMx），执行烧录并打开串口监视器：

idf.py --port /dev/ttyUSB0 flash monitor

提示：按 Ctrl+] 可退出监视器。

性能说明

本项目默认集成了 ESP-NN 加速库。相比未优化版本，在 ESP32-S3 和 ESP32-P4 等芯片上，推理速度可提升数十倍（例如人员检测从秒级降低至毫秒级）。无需额外配置即可享受加速效果。