本 Demo 是为了在 Android 上运行 TensorFlow 模型而制作的，
方便那些想将 TensorFlow 官网上的 Demo 集成到自己项目中却无从下手的人使用。

正所谓前人栽树，后人乘凉。

https://github.com/tensorflow/tensorflow

https://github.com/ildoonet/tf-pose-estimation

基于 Denis Tome、Chris Russell 和 Lourdes Agapito 提出的论文《Convolutional 3D Pose Estimation from a Single Image》（基于单张图像的卷积三维姿态估计）。

在此特别感谢上述作者，喜欢原作的朋友可以去使用原项目。同时也欢迎大家下载体验本项目，如果在使用过程中遇到任何问题，欢迎反馈。

如果需要自动打标功能，请使用：https://github.com/yuxitong/AutoMarKingTensorFlowPython

另外特别感谢：

[zyxcambridge](https://github.com/zyxcambridge) 童鞋  
[manoshape](https://github.com/manoshape) 童鞋  
[seriouslyhao](https://github.com/seriouslyhao) 童鞋  

本项目所用模型由 zyxcambridge、manoshape、seriouslyhao 提供。

本项目使用的是 Camera2 API。

过段时间我还会陆续公布一些更好玩的模型。

如果想要体验本项目，请直接下载 APK：点击下载

目前本 Demo 模型能够识别以下动作：抽烟、打电话、闭眼、睁眼。

TensorFlowObjectDetectionAPIModel 用于检测并绘制规则框。

TensorFlowImageClassifier2 用于车道检测后的不规则绘制（因时间仓促，尚未进行绘图优化）。
识别道路的测试方法可自行百度，使用图片或视频均可。

TensorFlowImageClassifier3 用于识别人体骨架。该模型有特定输入和特定输出，需经过三层转换才能使用。
接下来准备上线道路障碍物识别……
最新版骨架识别目前已支持区分各个身体部位，具体情况请参见代码注释。

Camera2BasicFragment4
这是一个通过检测来识别车道线和前方车辆的模块。
其中增加了部分逻辑用于判断是否发生车道偏离或前车距离过近：

• 如果检测出车道线，则计算斜率 k = (y2 - y1) / (x2 - x1)，再设定一个固定斜率阈值来判断是否车道偏离；
• 如果检测到前方车辆的中心点位于横屏宽度的 2/8 到 6/8 范围内，则进一步判断：
  • 若中心点纵向位置靠上且距离超过一定阈值，则判定为前车过近；
  • 或者若车辆高度超过某一阈值，也判定为前车过近。

另外：有人私下问我，本项目在他们的手机上运行卡顿严重。
这是算力问题——目前 TensorFlow 在移动设备上似乎不支持 GPU，而 CPU 的浮点运算速度较慢所致。
推荐使用华为 P10 或搭载骁龙 845、635 等处理器的设备尝试运行。
一般情况下，在 P10 上：

• 模型 1 约 1 秒 4 帧，
• 模型 2 约 1 秒 8 帧，
• 模型 3 约 1 秒 1 帧，
• 模型 4 约 1 秒 6 帧。
  以上数据仅供参考。

目前人体骨架识别已有新突破：具体算法已经完成，但暂时没时间实现，过段时间会上线。（目标是将所有关键点连接成完整的人体）

具体算法如下：

W×H×19 中每一层的含义：

         Nose = 0          // 鼻子
         Neck = 1          // 脖子
         RShoulder = 2     // 右肩
         RElbow = 3        // 右肘
         RWrist = 4        // 右腕
         LShoulder = 5     // 左肩
         LElbow = 6        // 左肘
         LWrist = 7        // 左腕
         RHip = 8          // 右髋
         RKnee = 9         // 右膝
         RAnkle = 10       // 右踝
         LHip = 11         // 左髋
         LKnee = 12        // 左膝
         LAnkle = 13       // 左踝
         REye = 14         // 右眼
         LEye = 15         // 左眼
         REar = 16         // 右耳
         LEar = 17         // 左耳
         Background = 18   // 背景

需要连线的身体部位，共 19 条连线：

    CocoPairs = [
        (1, 2), (1, 5), (2, 3), (3, 4), (5, 6), (6, 7), (1, 8), (8, 9), (9, 10), (1, 11),
        (11, 12), (12, 13), (1, 0), (0, 14), (14, 16), (0, 15), (15, 17), (2, 16), (5, 17)
    ]   # = 19

对应每条连线，在 W×H×38 的输出中找到对应的两层，从中提取两组各 10 个点：

        CocoPairsNetwork = [
            (12, 13), (20, 21), (14, 15), (16, 17), (22, 23), (24, 25), (0, 1), (2, 3), (4, 5),
            (6, 7), (8, 9), (10, 11), (28, 29), (30, 31), (34, 35), (32, 33), (36, 37), (18, 19), (26, 27)
         ]  # = 19

从头开始按顺序连接：从鼻子到脖子，再到右臂等。

    计算 Dx = x1 - x2  
        Dy = y1 - y2

两点间距离公式：

    k = √(Dx² + Dy²)  // 注：原文为“Dx平方-Dy平方”，应为笔误，实际应为加号

如果两点间距离小于 0.0001，则该连线分数为 0，有效点数也为 0。

计算单位方向向量：

    Vx = Dx / k  
    Vy = Dy / k

连线过程中，每条线均分为 10 个点，生成两个数组：X 数组和 Y 数组，每个数组包含 10 个数值。
均分公式如下：

    for(i = x1; i <= x2; i += dx/10)
            x[n] = i;
    Y 同理

计算每条连线的分数：

• CocoPairs 与 CocoPairsNetwork 一一对应；
• 对于每一对连线（如 1 和 2），可在 CocoPairsNetwork 对应的两层（如第 12 层和第 13 层）中分别取出 10 个均分点；
• 将这些点存入两个新数组：Px[10] 和 Py[10]；

建立一个分数数组，其每个元素为：Px[i] * Vx + Py[i] * Vy

    分数 > 0.2 的点数 ×（所有 >0.2 的分数之和）= 最终分数  
    并记录有多少个点的分数 > 0.2  
    （若两点距离 < 0.0001，则分数为 0，点数也为 0）

如果有效点数 < 5 或最终分数 ≤ 0，则舍弃该连线。

从分数最高的连线开始，遍历所有有效连线，加入最终连线集合（若某连线的任意端点已存在于集合中，则直接舍弃该连线）。

重复上述过程，直到无可连接的点。

最后，将所有保留的连线按相同端点进行连接，即可形成人体骨架。

TensorFlowAndroidDemo 快速上手指南

环境准备

• 操作系统：Windows / macOS / Linux（开发机）
• Android 设备要求：
  • Android 5.0（API Level 21）及以上
  • 推荐使用高性能设备（如华为 P10、搭载骁龙 845 / 635 的机型），因模型推理依赖 CPU 浮点运算，低端设备可能出现卡顿
• 开发依赖：
  • Android Studio（最新稳定版）
  • JDK 8 或以上
  • Gradle 构建工具

⚠️ 注意：当前 TensorFlow Mobile 在 Android 上暂不支持 GPU 加速，推理速度受限于 CPU 性能。

安装步骤

1. 克隆项目源码：

   git clone https://github.com/yuxitong/TensorFlowAndroidDemo.git
   

2. 使用 Android Studio 打开项目目录：

   • 启动 Android Studio
   • 选择 Open an existing Android Studio project
   • 导航至 TensorFlowAndroidDemo 文件夹并打开

3. 同步 Gradle 依赖（Android Studio 会自动提示，点击 Sync Now）

4. （可选）如需国内加速，可在 gradle.properties 中添加阿里云镜像：

   systemProp.http.proxyHost=mirrors.aliyun.com
   systemProp.https.proxyHost=mirrors.aliyun.com
   

基本使用

方式一：直接安装 APK 体验

下载预编译 APK 快速体验功能：

• 点击下载 app-debug.apk
• 安装后可体验以下功能：
  • 抽烟、打电话、闭眼、睁眼行为识别
  • 车道线与前车检测（Camera2BasicFragment4）
  • 人体骨架关键点识别（19 个部位）

方式二：集成到自己的项目

1. 将本项目中的 tensorflow/ 模块或相关 Java/Kotlin 类复制到你的工程
2. 确保 build.gradle 中包含 TensorFlow Lite 依赖（示例）：

   implementation 'org.tensorflow:tensorflow-lite:2.12.0'
   

3. 参考以下核心类实现推理逻辑：
   • TensorFlowImageClassifier2：车道检测
   • TensorFlowImageClassifier3：人体姿态估计（输入尺寸和输出解析需严格匹配模型要求）
   • Camera2BasicFragment4：结合摄像头实现实时车道偏离与前车距离预警

💡 提示：人体骨架识别输出为 W×H×19 的热力图，需按文档中 CocoPairs 规则进行后处理连线。详细坐标映射与分数计算逻辑请参考 README 中的算法说明。