Android TensorFlow 机器学习示例

关于 Android TensorFlow 机器学习示例

• 这是一个将 TensorFlow 集成到 Android 应用程序中的示例项目。
• 如何构建 TensorFlow 项目以供 Android 项目使用。
• 如何构建 TensorFlow 库（.so 文件和 jar 文件）以供 Android 应用程序使用。
• 本项目包含一个使用 TensorFlow 库对相机拍摄的图像进行目标检测的示例。

为机器学习面试做准备：机器学习面试题

查看 Android TensorFlow Lite 机器学习示例。

觉得这个项目有用吗？ :heart:

• 请通过点击本页面右上角的 :star: 按钮来支持它。 :v:

致谢

• 分类器示例取自 Google TensorFlow 示例。

许可证

   版权所有 © 2022 阿米特·谢卡尔

   根据 Apache 许可证第 2.0 版（“许可证”）授权；
   除遵守本许可证外，您不得使用本文件。
   您可以在以下网址获取许可证副本：

       http://www.apache.org/licenses/LICENSE-2.0

   除非适用法律要求或经书面同意，否则软件按“原样”分发，
   不提供任何形式的保证或条件，无论是明示还是默示。
   有关权限和限制的具体规定，请参阅本许可证。

参与 Android TensorFlow 机器学习示例的贡献

只需提交拉取请求即可。欢迎加入！

Android TensorFlow Machine Learning Example 快速上手指南

本指南旨在帮助开发者快速在 Android 应用中集成 TensorFlow，实现基于摄像头的实时物体检测功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Windows, macOS 或 Linux
• JDK: Java Development Kit 8 或更高版本
• Android Studio: 最新稳定版（推荐 Arctic Fox 或更新版本）
• Android SDK:
  • SDK Platform (API Level 21 及以上)
  • Build-Tools
  • CMake 和 LLDB (用于构建原生库)
• Git: 用于克隆项目代码
• Bazel (可选): 如果您需要从头编译 TensorFlow 源码，通常需要 Bazel 构建工具（本项目主要演示如何使用已构建的库，但了解此依赖有助于深入定制）。

国内加速建议：

• Android SDK: 建议使用国内镜像源（如清华大学、阿里云镜像）配置 SDK Manager。
• Gradle 依赖: 在项目的 build.gradle 或全局 settings.gradle 中配置阿里云 Maven 镜像，以加快依赖下载速度：

maven { url 'https://maven.aliyun.com/repository/google' }
maven { url 'https://maven.aliyun.com/repository/public' }

安装步骤

1. 克隆项目

使用终端或命令行工具克隆仓库到本地：

git clone https://github.com/amitshekhariitbhu/AndroidTensorFlowMachineLearningExample.git
cd AndroidTensorFlowMachineLearningExample

2. 导入项目

1. 打开 Android Studio。
2. 选择 File -> Open，选中刚才克隆的 AndroidTensorFlowMachineLearningExample 文件夹。
3. 等待 Gradle 同步完成。如果网络较慢，请确保已配置上述国内镜像源。

3. 构建 TensorFlow 库 (如需自定义)

本项目通常已包含预编译的 .so 文件和 jar 包位于 libs 目录。如果您需要针对特定架构重新构建 TensorFlow 库：

• 参考官方 TensorFlow 文档使用 Bazel 构建 Android 版本的 .so 和 jar。
• 将生成的 libtensorflow_inference.so 和 tensorflow_inference.jar 替换到项目的 app/libs 和 app/src/main/jniLibs 对应目录中。

(注：对于快速上手，直接使用项目自带的库文件即可运行)

基本使用

本项目最核心的功能是调用摄像头进行实时物体检测。以下是运行示例的最简步骤：

1. 连接设备

将您的 Android 真机通过 USB 连接到电脑，并开启USB 调试模式。

注意：由于涉及摄像头调用，模拟器可能无法完美支持所有硬件加速特性，建议使用真机测试。

2. 运行应用

在 Android Studio 中点击 Run 按钮 (或使用快捷键 Shift + F10)，选择您的设备作为目标。

3. 功能体验

应用启动后，您将看到摄像头预览界面。尝试将以下物体置于镜头前，系统将实时框选并识别物体名称：

• 键盘 (Keyboard)
• 钢笔 (Pen)
• 钱包 (Wallet)

4. 核心代码逻辑

物体检测的核心逻辑位于 Activity 中，主要流程如下：

1. 初始化 TensorFlow 解释器 (TensorFlowInferenceInterface)。
2. 从摄像头获取帧数据 (Bitmap 或 byte[])。
3. 预处理图像（调整大小、归一化）。
4. 调用 tfSession.run() 执行推理。
5. 解析输出结果并在画布上绘制边界框。

关键代码片段示例（参考项目源码）：

// 初始化推理接口
inferenceInterface = new TensorFlowInferenceInterface(assetManager, MODEL_FILE);

// 执行推理
inferenceInterface.feed(INPUT_NODE, floatValues, 1, INPUT_SIZE, INPUT_SIZE, 3);
inferenceInterface.run(new String[]{OUTPUT_NODE});
inferenceInterface.fetch(OUTPUT_NODE, outputs);

// 处理结果并绘制
recognizeImage(outputs);

现在，您已经成功运行了第一个基于 TensorFlow 的 Android 物体检测应用！您可以在此基础上修改模型文件 (.pb) 以识别特定的自定义物体。