此仓库已从@motlabs组织迁移而来。感谢@jwkanggist，他是motlabs社区的领导者。

适用于 iOS 的优秀机器学习 DEMO

我们通过 Core ML 和 ML Kit（TensorFlow Lite）来解决在 iOS 上使用机器学习模型的挑战。

韩语 README

目录

• iOS 机器学习框架
  • 使用 Core ML 时的模型流程
  • 使用 Create ML 时的模型流程
• 基准项目
  • 图像分类
  • 目标检测与识别
  • 图像估计
  • 语义分割
• 应用项目
  • 标注工具
• Create ML 项目
• 性能
  • 📏测量模块
  • 实现
• 相关资源

iOS 机器学习框架

• Core ML
• TensorFlow Lite
• Pytorch Mobile
• fritz
• 等等。Tensorflow Mobile已弃用

使用 Core ML 时的模型流程

总体流程在大多数机器学习框架中都非常相似。每个框架都有其兼容的模型格式。我们需要将 TensorFlow 中创建的模型，转换为适合各个移动端机器学习框架的格式。

一旦准备好了兼容的模型，就可以使用相应的机器学习框架进行推理。需要注意的是，你必须手动执行预处理和后处理。

如果你想了解更多说明，请查看这张幻灯片（韩语）。

使用 Create ML 时的模型流程

基准项目

已完成

• 使用 Core ML 内置模型
• 使用 ML Kit 内置设备端模型
• 使用自定义模型进行视觉任务（Core ML 和 ML Kit）
• 使用 Core ML 进行目标检测

待完成

• 使用 ML Kit 进行目标检测
• 使用 ML Kit 内置云端模型
  • 地标识别
• 使用 Core ML 和 ML Kit 进行自然语言处理的自定义模型
• 使用 Core ML 和 ML Kit 进行音频处理的自定义模型
  • 音频识别
  • 语音识别
  • TTS

图像分类

名称	演示	备注
ImageClassification-CoreML		-
MobileNet-MLKit		-

定位检测与识别

名称	演示	备注
ObjectDetection-CoreML		-
TextDetection-CoreML		-
TextRecognition-MLKit		-
FaceDetection-MLKit		-

姿态估计

名称	演示	备注
PoseEstimation-CoreML		-
PoseEstimation-TFLiteSwift		-
PoseEstimation-MLKit		-
FingertipEstimation-CoreML		-

深度预测

DepthPrediction-CoreML		-

语义分割

名称	演示	备注
SemanticSegmentation-CoreML		-

应用项目

名称	演示	备注
dont-be-turtle-ios		-
WordRecognition-CoreML-MLKit(准备中...)		检测字符，找到我指向的单词，然后使用 Core ML 和 ML Kit 识别该单词。

标注工具

名称	演示	备注
KeypointAnnotation		用于自定义估计数据集的标注工具

Create ML 项目

名称	Create ML 演示	Core ML 演示	备注
SimpleClassification-CreateML-CoreML			使用 Create ML 和 Core ML 的简单分类

性能

执行时间：推理时间 + 后处理时间

(使用 iPhone X)	推理时间(ms)	执行时间(ms)	FPS
ImageClassification-CoreML	40	40	23
MobileNet-MLKit	120	130	6
ObjectDetection-CoreML	100 ~ 120	110 ~ 130	5
TextDetection-CoreML	12	13	30(最大)
TextRecognition-MLKit	35~200	40~200	5~20
PoseEstimation-CoreML	51	65	14
PoseEstimation-MLKit	200	217	3
DepthPrediction-CoreML	624	640	1
SemanticSegmentation-CoreML	178	509	1
WordRecognition-CoreML-MLKit	23	30	14
FaceDetection-MLKit	-	-	-

📏测量模块

您可以在屏幕顶部看到推理或执行的测量延迟时间以及 FPS。

如果您有更优雅的性能测量方法，请在 issue 中提出建议！

实现情况

	测量📏	单元测试	集成测试
ImageClassification-CoreML	O	X	X
MobileNet-MLKit	O	X	X
ObjectDetection-CoreML	O	O	X
TextDetection-CoreML	O	X	X
TextRecognition-MLKit	O	X	X
PoseEstimation-CoreML	O	O	X
PoseEstimation-MLKit	O	X	X
DepthPrediction-CoreML	O	X	X
SemanticSegmentation-CoreML	O	X	X

参见

• Core ML | 苹果开发者文档
• 机器学习 - 苹果开发者
• ML Kit - Firebase
• 苹果的 Core ML 2 对比谷歌的 ML Kit：有什么区别？
• iOS 中的机器学习幻灯片资料
• MoT Labs 博客

WWDC

Core ML

• WWDC2020

  • WWDC2020 10152 会话 - 使用 Core ML 进行模型部署和安全
  • WWDC2020 10153 会话 - 使用 Core ML 转换器将模型部署到设备上
  • Vision
    • WWDC2020 10673 会话 - 探索计算机视觉 API
    • WWDC2020 10099 会话 - 探索 Action & Vision 应用
    • WWDC2020 10653 会话 - 使用 Vision 检测身体和手部姿态
    • TECH-TALKS 206 会话 - iOS 11 上的 QR 码识别
  • NLP
    • WWDC2020 10657 会话 - 使用自然语言使应用更智能

• WWDC2019

  • WWDC2019 256 会话 - 语音识别的进展
  • WWDC2019 704 会话 - Core ML 3 框架
  • WWDC2019 228 会话 - 使用 Core ML 和 ARKit 打造优秀应用
  • WWDC2019 232 会话 - 自然语言框架的进展
  • WWDC2019 222 会话 - 理解 Vision 框架中的图像
  • WWDC2019 234 会话 - Vision 框架中的文本识别

• WWDC2018

  • WWDC2018 708 会话 - Core ML 新功能，第一部分
  • WWDC2018 716 会话 - Vision 中的对象跟踪
  • WWDC2018 717 会话 - 使用 Core ML 的 Vision
  • WWDC2018 709 会话 - Core ML 新功能，第二部分
  • WWDC2018 713 会话 - 引入自然语言框架

• WWDC2017

  • WWDC2017 710 会话 - 深入了解 Core ML
  • WWDC2017 208 会话 - 自然语言处理与你的应用
  • WWDC2017 510 会话 - Core Image 的进展：滤镜、Metal、Vision 等
  • WWDC2017 506 会话 - Vision 框架：基于 Core ML 构建
  • WWDC2017 703 会话 - 引入 Core ML

Create ML 和 Turi Create

• WWDC2020

  • WWDC2020 10642 会话 - 在 Create ML 中构建图像和视频风格迁移模型
  • WWDC2020 10156 会话 - 使用 Swift 在 Create ML 中控制训练
  • WWDC2020 10043 会话 - 使用 Create ML 构建动作分类器

• WWDC2019

  • WWDC2019 424 会话 - 在 Create ML 中训练目标检测模型
  • WWDC2019 426 会话 - 在 Create ML 中构建活动分类模型
  • WWDC2019 420 会话 - Turi Create 中的绘画分类和单样本目标检测
  • WWDC2019 425 会话 - 在 Create ML 中训练声音分类模型
  • WWDC2019 428 会话 - 在 Create ML 中训练文本分类器
  • WWDC2019 427 会话 - 在 Create ML 中训练推荐模型
  • WWDC2019 430 会话 - 引入 Create ML 应用

• WWDC2018

  • WWDC2018 712 会话 - Turi Create 使用指南
  • WWDC2018 703 会话 - 引入 Create ML

Common ML

• WWDC2020

  • WWDC2020 10677 会话 - 使用 Metal Performance Shaders Graph 构建自定义 ML 模型

• WWDC2019

  • WWDC2019 803 会话 - 设计出色的 ML 体验
  • WWDC2019 614 会话 - Metal 用于机器学习
  • WWDC2019 209 会话 - 机器学习的新进展

• WWDC2018

  • WWDC2018 609 会话 - Metal 用于加速机器学习

• WWDC2016

  • WWDC2016 715 会话 - 神经网络与 Accelerate
  • WWDC2016 605 会话 - Metal 新功能，第二部分

Metal

• WWDC2020
  • WWDC2020 10632 讲座 - 为 Apple Silicon Macs 优化 Metal 性能
  • WWDC2020 10603 讲座 - 使用 GPU 计数器优化 Metal 应用和游戏
  • TECH-TALKS 606 讲座 - A11 上的 Metal 2 - Imageblock 样本覆盖率控制
  • TECH-TALKS 603 讲座 - A11 上的 Metal 2 - Imageblocks
  • TECH-TALKS 602 讲座 - A11 上的 Metal 2 - 概述
  • TECH-TALKS 605 讲座 - A11 上的 Metal 2 - 光栅化顺序组
  • TECH-TALKS 604 讲座 - A11 上的 Metal 2 - 图块着色
  • TECH-TALKS 608 讲座 - 针对 A13 仿生芯片的 Metal 增强功能
  • WWDC2020 10631 讲座 - 将您的 Metal 应用带到 Apple Silicon Macs
  • WWDC2020 10197 讲座 - 通过 Siri 事件建议扩大您的覆盖范围
  • WWDC2020 10615 讲座 - 使用 Metal 构建 GPU 二进制文件
  • WWDC2020 10021 讲座 - 使用 Xcode 构建基于 Metal 的 Core Image 内核
  • WWDC2020 10616 讲座 - 调试 Metal 中的 GPU 端错误
  • WWDC2020 10012 讲座 - 使用 Metal 探索光线追踪
  • WWDC2020 10013 讲座 - 了解 Metal 函数指针
  • WWDC2020 10605 讲座 - 使用 Xcode 12 深入了解您的 Metal 应用
  • WWDC2020 10602 讲座 - 使用 Metal 充分利用 Apple GPU

AR

• WWDC2020
  • TECH-TALKS 609 讲座 - AR 中的高级场景理解
  • TECH-TALKS 601 讲座 - 使用 ARKit 进行面部跟踪
  • WWDC2020 10611 讲座 - 探索 ARKit 4
  • WWDC2020 10604 讲座 - 使用 AR Quick Look 在线购物
  • WWDC2020 10601 讲座 - 艺术家的 AR 工具包
  • WWDC2020 10613 讲座 - USD 的新变化

示例

• 训练
  • Keras 示例：https://keras.io/examples/
  • PyTorch 示例：https://github.com/pytorch/examples
• 推理
  • TFLite 示例：https://github.com/tensorflow/examples/tree/master/lite
  • PyTorch Mobile iOS 示例：https://github.com/pytorch/ios-demo-app
  • FritzLabs 示例：https://github.com/fritzlabs/fritz-examples
• 模型
  • TensorFlow 和 TFLite 模型：https://tfhub.dev/
  • PyTorch 模型：https://pytorch.org/hub/
  • CoreML 官方模型：https://developer.apple.com/machine-learning/models/

awesome-ml-demos-with-ios 快速上手指南

本指南旨在帮助开发者快速在 iOS 设备上运行机器学习模型演示，涵盖 Core ML、ML Kit (TensorFlow Lite) 等主流框架。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: macOS (推荐最新稳定版)
• 开发工具: Xcode 12.0 或更高版本
• 设备要求: iPhone X 或更新机型（部分高性能模型如深度预测、语义分割需要较强的算力）
• 前置知识: 熟悉 Swift 编程语言及 iOS 应用开发基础
• 依赖框架:
  • Apple Core ML (Xcode 内置)
  • Google ML Kit / TensorFlow Lite (通过 Swift Package Manager 或 CocoaPods 集成)

安装步骤

该项目是一个集合了多个独立 Demo 的仓库，每个功能模块通常对应一个独立的 GitHub 子项目。以下是获取和运行任意一个 Demo（以图像分类为例）的通用步骤：

1. 克隆项目 打开终端，选择您感兴趣的具体 Demo 仓库进行克隆。例如，运行基于 Core ML 的图像分类演示：

   git clone https://github.com/tucan9389/ImageClassification-CoreML.git
   

   或者运行基于 ML Kit 的演示：

   git clone https://github.com/tucan9389/MobileNet-MLKit.git
   

2. 打开项目 进入项目目录并打开 Xcode 工程文件：

   cd ImageClassification-CoreML
   open ImageClassification-CoreML.xcodeproj
   

   (注：如果项目使用 .xcworkspace，请使用 open *.xcworkspace)

3. 配置签名与依赖

   • 在 Xcode 中，选择左侧项目导航栏中的 Project Target。
   • 在 "Signing & Capabilities" 标签页中，将 Team 设置为您的 Apple ID 或开发团队，以自动处理代码签名。
   • 如果项目提示缺少依赖，Xcode 通常会自动通过 Swift Package Manager 下载。若使用 CocoaPods，请在终端执行 pod install 后打开 .xcworkspace 文件。

4. 构建并运行 连接您的 iOS 真机（推荐）或启动模拟器，点击 Xcode 顶部的运行按钮（▶️）或使用快捷键 Cmd + R。

基本使用

大多数 Demo 项目在启动后会自动调用摄像头或加载预设图片进行推理。以下以 ImageClassification-CoreML 为例说明基本交互流程：

1. 启动应用: 应用启动后会请求相机权限，请点击“允许”。
2. 实时推理: 将摄像头对准物体，屏幕上方会实时显示识别结果（类别名称）和置信度。
   • 界面顶部通常包含性能监控模块（Measure module），显示 Inference Time (推理耗时)、Execution Time (总耗时) 和 FPS。
3. 切换模型/模式: 部分高级 Demo（如姿态估计或物体检测）可能在界面上提供按钮来切换不同的模型（例如从 MobileNetV1 切换到 MobileNetV2）或开启/关闭后处理可视化。
4. 查看代码逻辑:
   • 模型加载: 查看 ViewController.swift 或专门的 ModelHandler 类，寻找 MLModel(contentsOfURL:) 或 Interpreter 初始化代码。
   • 预处理: 注意观察图像如何被调整为模型输入的尺寸（如 224x224）并进行归一化处理。
   • 后处理: 查看如何将模型输出的数组转换为可读的标签和边界框坐标。

示例代码片段 (Core ML 推理核心逻辑):

// 加载模型
let model = try? MobileNet(configuration: config)

// 准备输入 (UIImage 转 MLFeatureProvider)
guard let input = try? MLFeatureProvider(image: image, size: CGSize(width: 224, height: 224)) else { return }

// 执行推理
guard let output = try? model?.prediction(input: input) else { return }

// 获取结果
let label = output.classLabel
let confidence = output.confidence[label] ?? 0

您可以参考仓库中其他子项目（如 ObjectDetection-CoreML, PoseEstimation-TFLiteSwift）来探索物体检测、关键点识别、语义分割等更复杂的场景。