令人惊叹的 TensorFlow Lite

TensorFlow Lite 是一套工具，可帮助将 TensorFlow 模型转换并优化，以便在移动设备和边缘设备上运行。目前已有超过 40 亿台设备在使用它！借助 TensorFlow 2.x，你可以用 tf.Keras 训练模型，轻松将其转换为 .tflite 格式并部署；或者直接从模型库中下载预训练的 TensorFlow Lite 模型。

这是一个包含 TensorFlow Lite 模型、示例应用、实用工具和学习资源的精选列表——

• 展示社区利用 TensorFlow Lite 所构建的各种成果
• 将所有示例并排展示，方便参考
• 分享知识与学习资源

如果你希望贡献内容，请提交 PR，并遵循此处的指南。

目录

• 过往公告：
• 附带示例的模型
  • 计算机视觉
    • 分类
    • 检测
    • 分割
    • 风格迁移
    • 生成式
    • 后处理估计
    • 其他
  • 文本
  • 语音
  • 推荐
  • 游戏
• 模型库
  • TensorFlow Lite 模型
  • TensorFlow 模型
• 创意与灵感
• ML Kit 示例
• 插件与 SDK
• 实用链接
• 学习资源
  • 博客文章
  • 书籍
  • 视频
  • 播客
  • 慕课

过往公告：

以下是 TensorFlow Lite 的一些重要功能发布信息：

• 新转换器发布公告 — 基于 MLIR 的新转换器，支持转换 Mask R-CNN 和 Mobile BERT 等新型模型，同时增强了对函数式控制流的支持以及转换过程中的错误处理能力。该功能已在 nightly 版本中默认启用。
• Android 支持库 — 让移动端开发更加便捷（参见 Android 示例代码）。
• 模型生成器 — 仅需几行代码即可轻松创建自定义的图像和文本分类模型。下方提供了由社区制作的图标分类器教程。
• 设备端训练 — 终于来了！目前仅限于图像分类任务上的迁移学习，但已是一个良好的开端。请参阅官方的 Android 示例代码，以及另一份来自社区的实现（博客 | Android）。
• Hexagon 委托 — 如何使用 Hexagon 委托加速移动和边缘设备上的模型推理。另请参阅博文 在高通 Hexagon DSP 上加速 TensorFlow Lite。
• 模型元数据 — 提供了一套标准化的模型描述格式，同时还支持 代码生成和 Android Studio ML 模型绑定。

附带示例的模型

以下列出了带有应用程序或设备实现的 TensorFlow Lite 模型及其相关参考资料。 注意：其中包含了来自 MediaPipe 的预训练 TensorFlow Lite 模型，你既可以结合 MediaPipe 使用，也可以独立实现。

计算机视觉

分类

任务	模型	应用 | 参考	来源
分类	MobileNetV1 (下载)	Android | iOS | 树莓派 | 概览	tensorflow.org
分类	MobileNetV2	在 Android 上识别花卉 Codelab | Android	TensorFlow 团队
分类	MobileNetV2	皮肤病变检测 Android	社区
分类	MobileNetV2	美国手语识别 | Colab 笔记本 | Android	社区
分类	CNN + 量化感知训练	石头剪刀布识别 Colab 笔记本 | Flutter	社区
分类	EfficientNet-Lite0 (下载)	图标分类器 Colab & Android | 教程 1 | 教程 2	社区

检测

任务	模型	应用 | 参考	来源
目标检测	量化后的 COCO SSD MobileNet v1（下载）	Android | iOS | 概述	tensorflow.org
目标检测	YOLO	Flutter | 论文	社区
目标检测	YOLOv5	Yolov5 推理	社区
目标检测	MobileNetV2 SSD（下载)	参考	MediaPipe
目标检测	MobileDet（论文）	博客文章（包含 TFLite 转换过程）	MobileDet 来自威斯康星大学麦迪逊分校和谷歌，博客文章由社区发布
车牌识别	SSD MobileNet (下载)	Flutter	社区
人脸检测	BlazeFace（下载)	论文	MediaPipe
人脸识别认证	FaceNet	Flutter	社区
手部检测与跟踪	掌部检测与手部关键点（下载)	博客文章 | 模型卡片 | Android	MediaPipe & 社区

分割

任务	模型	应用 | 参考	来源
分割	DeepLab V3 (下载)	Android & iOS | 概述 | Flutter 图像 | 实时 | 论文	tf.org & 社区
分割	DeepLab V3 模型的不同变体	TF Hub上的模型，附带Colab笔记本	社区
分割	DeepLab V3 模型	Android | 教程	社区
头发分割	下载	论文	MediaPipe

风格迁移

任务	模型	应用 | 参考	来源
风格迁移	任意图像风格化	概览 | Android | Flutter	tf.org & 社区
风格迁移	更高质量的 .tflite 格式风格迁移模型	TF Hub 上的模型，附 Colab 笔记本	社区
视频风格迁移	下载： 动态范围模型)	Android | 教程	社区
分割与风格迁移	DeepLabV3 和风格迁移 模型	项目仓库 | Android | 教程	社区

生成模型

任务	模型	应用 | 参考	来源
GANs	U-GAT-IT (自拍转动漫)	项目仓库 | Android | 教程	社区
GANs	白盒卡通化GAN (下载)	项目仓库 | Android | 教程	社区
GANs - 图像外推	Boundless 在 TF Hub 上	Colab 笔记本 | 原始论文	社区

姿态估计后处理

任务	模型	应用 | 参考	来源
姿态估计	Posenet (下载)	Android | iOS | 概览	tensorflow.org
基于姿态分类的视频游戏控制	MoveNet Lightning (下载)	项目仓库	社区

其他

任务	模型	应用 | 参考	来源
低光图像增强	TF Hub 上的模型	项目仓库 | 原始论文 | Flutter
OCR	TF Hub 上的模型	项目仓库	社区

文本

任务	模型	示例应用	来源
问答	DistilBERT	Android	Hugging Face
文本生成	GPT-2 / DistilGPT2	Android	Hugging Face
文本分类	下载	Android |iOS | Flutter	tf.org & 社区
文本检测	CRAFT 文本检测器 (论文)	下载 | 项目仓库 | 博客1-TFLite转换 | 博客2-EAST vs CRAFT | TF Hub上的模型 | Android（即将推出）	社区
文本检测	EAST 文本检测器 (论文)	TF Hub上的模型 | 转换与推理笔记本	社区

语音

任务	模型	应用 | 参考	来源
语音识别	DeepSpeech	参考	Mozilla
语音识别	CONFORMER	推理 Android	社区
语音合成	Tacotron-2、FastSpeech2、MB-Melgan	Android	TensorSpeech
语音合成(TTS)	Tacotron2、FastSpeech2、MelGAN、MB-MelGAN、HiFi-GAN、Parallel WaveGAN	推理笔记本 | 项目仓库	社区

推荐

任务	模型	应用 | 参考	来源
设备端推荐	双编码器	Android | iOS | 参考	tf.org & 社区

游戏

任务	模型	应用 | 参考	来源
游戏智能体	强化学习	Flutter | 教程	社区

模型库

TensorFlow Lite 模型

这些是可以在应用和设备中实现的 TensorFlow Lite 模型：

• MobileNet - 预训练的 MobileNet v2 和 v3 模型。
• TensorFlow Lite 模型
  • TensorFlow Lite 模型 - 包含官方的 Android 和 iOS 示例。
  • 预训练模型 - 量化和浮点版本。
  • TensorFlow Hub - 设置“模型格式 = TFLite”即可找到 TensorFlow Lite 模型。

TensorFlow 模型

这些是可转换为 .tflite 格式并在应用和设备中实现的 TensorFlow 模型：

• TensorFlow 模型 - 官方 TensorFlow 模型。
• TensorFlow 检测模型库 - 在 COCO、KITTI、AVA v2.1、iNaturalist 物种等数据集上预训练。

思路与灵感

• E2E TFLite 教程 - 查看此仓库，获取示例应用创意，并在你的教程项目中寻求帮助。一旦项目完成，相关的 TensorFlow Lite 模型链接、示例代码和教程将被添加到这个精彩的列表中。

ML Kit 示例

ML Kit 是一款移动 SDK，它将 Google 的机器学习专长带给移动开发者。

• 2019-10-01 ML Kit 翻译演示 - 一个采用 Material Design 的教程，包含 Android（Kotlin）示例代码 - 使用 Firebase 的 ML Kit 实时从摄像头中识别、检测语言并翻译文本。
• 2019-03-13 使用 ML Kit 进行计算机视觉 - Flutter 聚焦。
• 2019-02-09 Flutter + MLKit：名片邮件提取器 - 一篇带有 Flutter 示例代码的博客文章。
• 2019-02-08 从 TensorFlow 到 ML Kit：用机器学习为你的 Android 应用赋能 - 一场包含 Android（Kotlin）示例代码的演讲。
• 2018-08-07 在 Android 上使用 TensorFlow Lite 构建自定义机器学习模型。
• 2018-07-20 Flutter 中的 ML Kit 和人脸检测。
• 2018-07-27 Android 上的 ML Kit 4：地标检测。
• 2018-07-28 Android 上的 ML Kit 3：条形码扫描。
• 2018-05-31 Android 上的 ML Kit 2：人脸检测。
• 2018-05-22 Android 上的 ML Kit 1：简介。

插件和 SDK

• Edge Impulse - 由 @EdgeImpulse 创建，帮助你在云端为嵌入式设备训练 TensorFlow Lite 模型。
• MediaPipe - Google AI 推出的跨平台（移动、桌面及 Edge TPU）AI 流水线。（PM Ming Yong) | MediaPipe 示例。
• Coral Edge TPU - Google 提供的边缘硬件。Coral Edge TPU 示例。
• TensorFlow Lite Flutter 插件 - 提供与 TensorFlow Lite Java API 类似的 Dart API，用于在 Flutter 应用中访问 TensorFlow Lite 解释器并执行推理。tflite_flutter 在 pub.dev 上。

有用链接

• Netron - 一个用于可视化模型的工具。
• AI 基准测试 - 一个用于在智能手机上对计算机视觉模型进行基准测试的网站。
• 性能测量 - 如何在 Android 和 iOS 上测量模型性能。
• ML 的 Material Design 指南 - 如何设计基于机器学习的功能。一个很好的例子：ML Kit 展示应用。
• 人与 AI 指南手册 - 学习如何设计以人为本的 AI 产品。
• TensorFlow Lite 冒险之旅 - 一个仓库，展示了非平凡的转换过程以及在 TensorFlow Lite 中的一般探索。
• TFProfiler - 一款基于 Android 的应用，用于剖析 TensorFlow Lite 模型并在智能手机上测量其性能。
• 适用于微控制器的 TensorFlow Lite
• TensorFlow Lite 示例 - Android - 一个仓库，重构并重写了 TensorFlow 官方网站中包含的所有 TensorFlow Lite Android 示例。
• TensorFlow Lite Kotlin 示例 - 一系列用 Kotlin 编写的 TensorFlow Lite Android 示例应用，展示了不同类型的 Kotlin 实现方式，参考了 示例应用。

学习资源

感兴趣但不知道从哪里开始？以下是一些学习资源，无论你是初学者还是已经在该领域工作了一段时间的从业者，都能帮助你。

博客文章

• 2021年11月9日 TensorFlow Lite 中的设备端训练
• 2021年9月27日 使用 TensorFlow Lite 进行光学字符识别：一款新的示例应用
• 2021年6月16日 https://blog.tensorflow.org/2021/06/easier-object-detection-on-mobile-with-tf-lite.html
• 2020年12月29日 YOLOv3 到 TensorFlow Lite 的转换 - 作者：Nitin Tiwari。
• 2020年4月20日 TensorFlow Lite 的新特性 - 作者：Khanh LeViet。
• 2020年4月17日 使用 TFLite 优化风格迁移以在移动设备上运行 - 作者：Khanh LeViet 和 Luiz Gustavo Martins。
• 2020年4月14日 TensorFlow Lite 如何帮助您从原型开发到产品落地 - 作者：Khanh LeViet。
• 2019年11月8日 使用 TensorFlow 在微控制器上开始机器学习 - 作者：Brandon Satrom。
• 2019年8月5日 TensorFlow 模型优化工具包 — float16 量化使模型大小减半 - 由 TensorFlow 团队撰写。
• 2018年7月13日 使用 Cloud TPU 在 30 分钟内训练并部署实时移动目标检测器 - 作者：Sara Robinson、Aakanksha Chowdhery 和 Jonathan Huang。
• 2018年6月11日 为什么机器学习的未来是微型化的 - 作者：Pete Warden。
• 2018年3月30日 在 Android 上使用 TensorFlow Lite - 作者：Laurence Moroney。

图书

• 2021年12月1日 设备端 AI 和机器学习开发（抢先体验） - 作者：Laurence Moroney (@lmoroney)。
• 2020年10月1日 面向程序员的 AI 和机器学习 - 作者：Laurence Moroney (@lmoroney)。
• 2020年4月6日 使用 TensorFlow Lite、ML Kit 和 Flutter 进行移动深度学习：构建可扩展的真实世界项目，以在 Android 和 iOS 上实现端到端神经网络（GitHub） - 作者：Anubhav Singh (@xprilion) 和 Rimjhim Bhadani (@Rimjhim28)。
• 2020年3月1日 [用于计算机视觉的 Raspberry Pi]（完整套装 | 目录) - 由 PyImageSearch 团队撰写：Adrian Rosebrock (@PyImageSearch)、David Hoffman、Asbhishek Thanki、Sayak Paul (@RisingSayak) 和 David Mcduffee。
• 2019年12月1日 TinyML - 作者：Pete Warden (@petewarden) 和 Daniel Situnayake (@dansitu)。
• 2019年10月1日 云端、移动和边缘设备上的实用深度学习 - 作者：Anirudh Koul (@AnirudhKoul)、Siddha Ganju (@SiddhaGanju) 和 Meher Kasam (@MeherKasam)。

视频

• 2021年10月6日 与 Sunit Roy 一起为 TensorFlow Lite 做贡献（Hacktoberfest 2021）
• 2020年7月25日 Hoi Lam 主讲的 Android 机器学习（GDG Kolkata 聚会）。
• 2020年4月1日 轻松实现从原型到生产的设备端机器学习（TF 开发者峰会 2020）。
• 2020年3月11日 TensorFlow Lite：面向移动和 IoT 设备的机器学习（TF 开发者峰会 2020）。
• 2019年10月31日 主题演讲 — TensorFlow Lite：面向移动和 IoT 设备的机器学习。
• 2019年10月31日 TensorFlow Lite：在设备上运行机器学习的解决方案。
• 2019年10月31日 TensorFlow 模型优化：量化与剪枝。
• 2019年10月29日 TensorFlow 内幕：TensorFlow Lite。
• 2018年4月18日 Android 上的 TensorFlow Lite（编码 TensorFlow）。

播客

• 2020年8月8日 与 Hoi Lam 谈论机器学习。

MOOC 课程

• TensorFlow Lite 入门 - Udacity 课程，由 Daniel Situnayake (@dansitu)、Paige Bailey (@DynamicWebPaige) 和 Juan Delgado 讲授。
• 基于设备的模型与 TensorFlow Lite - Coursera 课程，由 Laurence Moroney (@lmoroney) 讲授。
• ML 的未来是微型而光明的 - 由哈佛大学与 Google 合作创建的一系列 edX 课程。讲师：Vijay Janapa Reddi、Laurence Moroney 和 Pete Warden。

Awesome TensorFlow Lite 快速上手指南

awesome-tensorflow-lite 并非一个可直接安装的软件包或库，而是一个精选的资源列表，汇集了适用于移动端和边缘设备的 TensorFlow Lite (TFLite) 模型、示例应用、工具及学习资源。本指南将帮助你利用该列表中的资源，快速在项目中集成 TFLite 模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Windows, macOS, 或 Linux。
• Python 环境: 推荐 Python 3.8+（用于模型转换和脚本运行）。
• 核心依赖:
  • TensorFlow 2.x (用于训练和模型转换)
  • TensorFlow Lite Support (可选，简化移动端开发)
• 移动开发环境 (如需运行示例 App):
  • Android: Android Studio (最新版), JDK 11+
  • iOS: Xcode (最新版), CocoaPods
  • Raspberry Pi: Raspbian OS, Python 环境

安装前置依赖：

pip install tensorflow tensorflow-lite-support

提示：国内开发者可使用清华源加速安装：

pip install tensorflow tensorflow-lite-support -i https://pypi.tuna.tsinghua.edu.cn/simple

获取资源与示例

由于这是一个资源列表，"安装"步骤实际上是克隆相关示例仓库或下载预训练模型。

1. 浏览资源列表： 访问 awesome-tensorflow-lite GitHub 页面 查找你需要的任务类型（如图像分类、物体检测、文本处理等）。

2. 克隆官方示例仓库 (以图像分类为例)： 大多数高质量示例托管在 tensorflow/examples 仓库中。

   git clone https://github.com/tensorflow/examples.git
   cd examples/lite/examples/image_classification
   

   加速提示：如果 GitHub 克隆速度慢，可使用国内镜像：

   git clone https://gitee.com/mirrors/tensorflow-examples.git
   

3. 下载预训练模型： 根据 README 中的表格，下载对应的 .tflite 模型文件。例如 MobileNetV1：

   • 链接：https://storage.googleapis.com/download.tensorflow.org/models/tflite/mobilenet_v1_1.0_224_quant_and_labels.zip
   • 解压后将 .tflite 文件和标签文件放入示例项目的 assets 目录中。

基本使用

以下展示如何在 Python 环境中加载并运行一个下载的 TFLite 模型（以图像分类为例）。这是最通用的集成方式，逻辑同样适用于 Android (Java/Kotlin) 和 iOS (Swift/Objective-C)。

1. 准备输入数据

确保输入图像经过预处理（调整大小、归一化），符合模型要求。

2. 运行推理代码

import numpy as np
import tensorflow as tf

# 1. 加载 TFLite 模型
interpreter = tf.lite.Interpreter(model_path="mobilenet_v1_1.0_224_quant.tflite")
interpreter.allocate_tensors()

# 2. 获取输入输出细节
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 3. 准备输入数据 (此处假设已有一个预处理好的 numpy 数组 input_data)
# input_data 形状应为 [1, 224, 224, 3]，数据类型需与 input_details 匹配
input_data = np.random.rand(1, 224, 224, 3).astype(np.float32) 

# 4. 设置输入张量
interpreter.set_tensor(input_details[0]['index'], input_data)

# 5. 运行推理
interpreter.invoke()

# 6. 获取输出结果
output_data = interpreter.get_tensor(output_details[0]['index'])

# 7. 后处理 (例如获取概率最高的类别索引)
predicted_class = np.argmax(output_data[0])
print(f"Predicted class index: {predicted_class}")

移动端集成简述

• Android: 将 .tflite 文件放入 app/src/main/assets，参考 examples/lite/examples/image_classification/android 中的 Java/Kotlin 代码调用 Interpreter API。
• iOS: 将 .tflite 文件拖入 Xcode 项目，参考 examples/lite/examples/image_classification/ios 中的 Swift 代码使用 TensorFlowLiteSwift 库。

通过查阅 awesome-tensorflow-lite 列表中的具体条目，你可以找到针对特定任务（如姿态估计、风格迁移）的完整工程代码和更详细的教程链接。