令人惊叹的机器学习

❤️ 支持我的应用 ❤️

• Push Hero - 纯 Swift 原生 macOS 应用，用于测试推送通知
• PastePal - 剪贴板、笔记和快捷方式管理器
• Quick Check - 智能待办事项管理器
• Alias - 应用和文件快捷方式管理器
• 我的其他应用

❤️❤️😇😍🤘❤️❤️

我喜欢探索机器学习，但不想为了理解某些框架或 TensorFlow 而深入到 Python 或 JavaScript 等其他平台。幸运的是，在 WWDC 2017 上，苹果推出了 Core ML、Vision 和 ARKit，这让使用机器学习变得容易得多。借助所有预训练模型，我们可以构建出很棒的应用。先感受成果，再尝试探索更高级的主题和底层机制，这感觉真好 🤖

本项目主要整理与 Core ML 和 Swift 相关的内容。如果你需要参考其他平台的相关资料，这里也有涉及。

目录

• Core ML
• TensorFlow
• Keras
• Turi Create
• 机器学习
• 杂项

Core ML

模型 :rocket:

• Awesome-CoreML-Models 最大的 Core ML 模型列表（适用于 iOS 11 及以上版本）
• caffe Caffe：一个快速的开源深度学习框架。http://caffe.berkeleyvision.org/
• deep-learning-models Keras 中用于流行深度学习模型的代码和权重文件。
• tensorflow models 使用 TensorFlow 构建的模型
• libSVM 支持向量机库
• scikit-learn Python 中的机器学习工具
• xgboost 一个可扩展、可移植且分布式的梯度提升库（GBDT、GBRT 或 GBM），支持 Python、R、Java、Scala、C++ 等语言。可在单机、Hadoop、Spark、Flink 和 DataFlow 等环境中运行。
• Keras-Classification-Models 用于分类任务的 Keras 模型集合
• MobileNet-Caffe Google MobileNets 的 Caffe 实现
• ModelZoo 一个用于共享 Core ML 模型的中央 GitHub 仓库
• StyleArt Style Art 库利用一组预训练的机器学习模型处理图像，并将其转换为艺术风格
• models 使用 TensorFlow 构建的模型和示例
• Core ML Store

工具

• coremltools 一个用于创建、检查和测试 .mlmodel 格式模型的 Python 包
• torch2coreml 此工具可帮助将 Torch7 模型转换为 Apple CoreML 格式
• turicreate Turi Create 简化了自定义机器学习模型的开发过程。
• Netron 神经网络和机器学习模型查看器
• onnx-coreml ONNX 到 CoreML 转换器
• tf-coreml TensorFlow 到 CoreML 转换器
• tensorwatch 用于机器学习和数据科学的调试与可视化工具

文章

• Swift 教程：iOS 11 中的原生机器学习与机器视觉
• 如何为 CoreML 训练自己的模型
• 使用 CoreML 和 TensorFlow 在 iOS 11 中实现智能手势识别
• 用 CoreML 打造 DIY Prisma 应用 :rocket:
• 使用 scikit-learn 和 CoreML 构建音乐推荐引擎
• 用 Turi Create 和 Core ML 一 afternoon 搭建“不是热狗”应用
• 利用 TensorFlow 对象检测 API、ML Engine 和 Swift 构建泰勒·斯威夫特识别器
• 在 iOS 中利用机器学习提升无障碍体验
• IBM Watson 服务与 CoreML 教程
• 从 Keras 和 CoreML 开始机器学习
• 使用 CoreML 和 IBM Watson 服务检测威士忌品牌
• 在你的 iOS 应用中使用 IBM Watson 和 CoreML 检测复仇者联盟超级英雄
• 机器学习 使用机器学习打造更智能的应用。
• 苹果机器学习期刊
• CoreML 介绍
• 深入解析 CoreML
• CoreML 和 Vision：iOS 11 中的机器学习教程
• iOS 11：让每个人都能享受机器学习
• Swift 开发者想知道的关于机器学习的一切
• 将机器学习引入你的 iOS 应用
• iOS 机器学习 API 的优缺点 :rocket:
• CoreML：面向 iOS 的机器学习 :rocket:
• 机器学习训练流程的快速启动
• 使用 Create ML 在 iOS 应用中检测肺炎
• 如何在 Keras 中微调 ResNet，并通过 CoreML 在 iOS 应用中使用
• 机器学习中常见的五大数据质量问题及快速检测方法

仓库

• Core-ML-Sample 使用 CoreML 框架的演示
• UnsplashExplorer-CoreML 结合 Unsplash API 的 CoreML 演示应用
• MNIST_DRAW 这是一个示例项目，展示了如何使用 Keras（TensorFlow）训练 MNIST 手写数字识别模型，并在 iOS 11 上通过 CoreML 进行推理。
• CocoaAI Cocoa 人工智能实验室 :rocket:
• complex-gestures-demo 展示如何在 iOS 应用中使用机器学习识别 13 种复杂手势
• Core-ML-Car-Recognition 面向 CoreML 的汽车识别框架
• CoreML-in-ARKit 简单项目，用于在 AR 中检测物体并在其上方显示 3D 标签。这是一个使用 CoreML 的 ARKit 项目的基础模板
• trainer-mac 训练一个模型，然后生成一个完整的 Xcode 项目来使用该模型——无需编写任何代码
• GestureAI-CoreML-iOS 使用 CoreML 在 iOS 应用中实现手势识别
• visual-recognition-coreml 使用 Watson Visual Recognition 和 CoreML 离线分类图像

TensorFlow

文章

• 开源 TensorFlow 模型（Google I/O '17）
• Swift for TensorFlow
• 开始使用 TensorFlow 高级 API（Google I/O '18）
• 在 iOS 上开始使用 TensorFlow
• 介绍 TensorFlow.js：JavaScript 中的机器学习
• TensorFlow for JavaScript（Google I/O '18）
• Colab Colaboratory 是谷歌的一个研究项目，旨在促进机器学习教育和研究的传播
• 使用 TensorFlow 和 BNNS 将机器学习添加到你的 Mac 或 iOS 应用中

仓库

• workshops 几个练习，可用于 Google IO 2018 的活动中

课程

• 使用 TensorFlow API 的机器学习速成课程
• 弗朗索瓦·肖莱的《用 Python 学习深度学习》
• 向谷歌的机器学习专家学习

Keras

文章

• 在 iOS 上使用 CoreML 运行 Keras 模型
• Keras 与卷积神经网络 (CNN)
• Keras 教程：使用预训练模型进行迁移学习https://www.learnopencv.com/keras-tutorial-transfer-learning-using-pre-trained-models/

Turi Create

文章

• 用 Turi Create 和 Core ML 在一个下午构建“不是热狗”应用
• 使用 Turi Create 在 iOS 上进行自然语言处理
• iOS 中的机器学习：Turi Create 和 CoreML
• Turi Create 使用指南

机器学习

入门

• 致 Towards Data Science 的感谢信
• 这就是为什么任何人都可以学习机器学习

文章

• 机器学习的可视化入门
• 机器学习真有趣！
• 用简单英语解释的 10 个机器学习术语
• 一年学会机器学习
• 机器学习自学资源
• 如何学习机器学习
• 机器学习入门
• 面向非技术人员的机器学习与人工智能指南
• 机器学习深度指南：概述、目标、学习类型和算法
• 机器学习算法概览
• 黑客的机器学习
• 面向开发人员的机器学习：适合绝对新手和五年级学生
• 深入机器学习：使用 Python Jupyter Notebook 和 scikit-learn 深入学习机器学习
• 使用 scikit-learn 学习机器学习的入门教程
• 使用极少数据构建强大的图像分类模型
• HBO《硅谷》如何用移动 TensorFlow、Keras 和 React Native 构建“不是热狗”
• Hello World - 机器学习食谱 #1
• 卷积神经网络的直观解释 :rocket:
• 神经网络快速入门
• 使用神经网络和遗传算法实现 Flappy Bird 的机器学习算法
• 通过原型设计理解机器如何学习 :rocket:
• 设备端训练
• iOS 中的机器学习
• 神经网络的“Hello World” 👶
• EmojiIntelligence：使用 Swift 在 Apple Playground 中构建的神经网络 👶
• 机器学习：端到端分类
• 机器学习从零到英雄（Google I/O'19） :rocket:

卷积神经网络

• CS231n 2016 冬季第 7 讲：卷积神经网络
• 如何用 Python 从头开始构建自己的神经网络 :star:
• 卷积神经网络的工作原理 :star:

杂项

博客

• Fritz Heartbeat :star:

Create ML

• Create ML 入门：如何在 Xcode 10 中训练你自己的机器学习模型

ML Kit

• 推出 ML Kit

Vision

• Vision：应用高性能图像分析和计算机视觉技术，以识别面部、检测特征并分类图像和视频中的场景。
• Vision 入门博客
• Swift World：iOS 11 新功能——Vision

自然語言處理

• NSLinguisticTagger 分析自然語言，標記詞性與詞類、識別專有名詞、進行詞形還原，並判斷文本的語言及書寫系統（正字法）。
• 語言標記
• NSLinguisticTagger 在 NSHipster 上
• CoreLinguistics 此倉庫包含一些用於自然語言處理的基本數據結構。
• SwiftVerbalExpressions VerbalExpressions 的 Swift 版本

Metal

• Metal
• MPSCNNHelloWorld：簡單的數字檢測卷積神經網絡 (CNN)
• MetalImageRecognition：執行圖像識別
• Apple 的深度學習框架：BNNS 對比 Metal CNN
• Forge 一個用於 Metal 的神經網絡工具包

GamePlayKit

• GamePlayKit
• 專案 34：四子連線
• GKMinmaxStrategist：打造井字遊戲 AI 需要什麼？
• GameplayKit 教程：人工智能
• GameplayKit 精華
• GameplayKit：超越遊戲

課程

• 6.S191：深度學習入門
• 機器學習
• 導論——Udacity 機器學習入門
• deeplizard 的機器學習與深度學習基礎 :star: :star:

面試

• 41 個必備的機器學習面試問題

其他 ML 框架

• TensorSwift 一個輕量級的 Swift 庫，用於計算張量，其 API 與 TensorFlow 相似。
• Swift-AI Swift 機器學習庫。
• Swift-Brain 用於未來 iOS 開發的人工智能/機器學習數據結構及 Swift 算法。包括貝葉斯定理、神經網絡等 AI 技術。
• Bender 在 iOS 上輕鬆構建快速神經網絡！使用 TensorFlow 模型，底層採用 Metal。
• BrainCore iOS 和 OS X 平台上的神經網絡框架。
• AIToolbox 一個用 Swift 寫成的 AI 模塊工具箱：圖/樹、支持向量機、神經網絡、主成分分析、K-均值聚類、遺傳算法等。
• brain JavaScript 中的神經網絡。
• TensorFlow 一個用於機器智慧的開源軟體庫。
• incubator-predictionio PredictionIO 是一款面向開發者和機器學習工程師的機器學習伺服器，基於 Apache Spark、HBase 和 Spray 構建。
• Caffe BAIR 發布的深度學習框架。
• Torch 一個用於 LuaJIT 的科學計算框架。
• Theano Theano 是一個 Python 庫，可高效地定義、優化和評估涉及多維陣列的數學表達式。
• CNTK Microsoft Cognitive Toolkit (CNTK)，一個開源深度學習工具包。
• MXNet 輕量級、可移植、靈活的分布式/移動端深度學習框架。

Accelerate

• Accelerate-in-Swift Accelerate.framework 的 Swift 示例代碼。
• Surge 一個使用 Accelerate 框架的 Swift 庫，提供高效的矩陣運算、數位信號處理和圖像操作功能。

統計學

• SigmaSwiftStatistics 一個用 Swift 寫成的統計計算函數集合。

服務

• Watson 使用 IBM Watson 的語言、視覺、語音和數據 API，在您的應用中實現認知計算功能。
• wit.ai 面向開發者的自然語言處理平台。
• Cloud Machine Learning Engine 可在任何規模的數據上進行機器學習。
• Cloud Vision API 利用我們強大的 Cloud Vision API 從圖像中獲取洞見。
• Amazon Machine Learning Amazon Machine Learning 讓開發者能夠輕鬆構建智能應用程序，包括欺詐檢測、需求預測、目標行銷和點擊預測等功能。
• api.ai 為機器人、應用程序、服務和設備構建獨特的品牌化自然語言交互。
• clarifai 使用全球最佳的圖像和視頻識別 API 打造令人驚嘆的應用程序。
• openml 一起探索機器學習。
• Lobe 讓深度學習變得簡單。
• 比較各雲端 ML 服務提供商的機器學習 (ML) 服務

文字識別

• Tesseract OCR 教程
• Tesseract-OCR-iOS Tesseract OCR iOS 是一個適用於 iOS7+ 的框架，同時針對 armv7s 和 arm64 架構編譯。
• tesseract.js 純 JavaScript OCR，支援 62 種語言。

语音识别

• Speech
• 在 iOS 10 中使用语音识别 API
• iOS 语音识别教程
• CeedVocal 适用于 iOS 的语音识别库
• FluidAudio 面向 Apple 平台的本地音频 AI SDK，支持自动语音识别、说话人分离、语音活动检测和文本转语音功能，并针对 Apple 神经引擎进行了优化

语音合成器

• AVSpeechSynthesizer 用于将文本转换为合成语音的对象，并提供用于监控或控制正在进行的语音输出的控件。

人工智能

• 用 Swift 实现的经典 ELIZA 聊天机器人
• 游戏人工智能编程入门

Google Cloud Platform 机器学习服务

• 机器学习
• 通过示例了解机器学习 API（Google I/O 2017）
• 为你的 iOS 应用添加计算机视觉功能

其他

• NotHotdog 分类器 如果我告诉你市面上有一款应用可以判断你拿的是热狗还是非热狗，你会作何感想？
• HBO《硅谷》如何利用移动 TensorFlow、Keras 和 React Native 构建“Not Hotdog”

awesome-machine-learning 快速上手指南

awesome-machine-learning 并非一个单一的可安装软件库，而是一个精选的机器学习资源列表（Awesome List），主要聚焦于 Apple Core ML、Swift 生态以及相关的模型转换工具。本指南将帮助你搭建开发环境，并演示如何利用列表中的核心工具将机器学习模型集成到 iOS/macOS 应用中。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: macOS (推荐最新稳定版)
• 开发工具: Xcode 14.0 或更高版本（包含 Swift 5.7+）
• Python 环境: Python 3.8 - 3.10（用于模型训练与转换）
  • 建议使用 conda 或 venv 创建独立虚拟环境。
• 前置依赖库:
  • coremltools: Apple 官方提供的模型转换与检查工具。
  • tensorflow 或 keras / pytorch: 用于加载预训练模型。
  • scikit-learn: 用于传统机器学习算法。

国内加速建议： 在安装 Python 依赖时，推荐使用清华源或阿里源以提升下载速度：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 安装 Python 依赖

打开终端，创建并激活虚拟环境，然后安装核心工具链：

python3 -m venv ml_env
source ml_env/bin/activate

# 安装 coremltools 及常用深度学习框架
pip install coremltools tensorflow keras scikit-learn

2. 获取资源列表

克隆该仓库以浏览推荐的模型、教程和开源项目代码：

git clone https://github.com/likedan/Awesome-CoreML-Models.git
# 或者主列表
git clone https://github.com/onmyway133/awesome-machine-learning.git

3. 下载预训练模型

你可以直接从列表中推荐的仓库（如 Awesome-CoreML-Models）下载 .mlmodel 文件，或者使用下方示例自行转换。

基本使用

以下示例演示如何使用 coremltools 将一个简单的 Keras 模型转换为 Apple Core ML 格式 (.mlmodel)，以便在 iOS 应用中使用。

1. 构建并转换模型 (Python)

创建一个名为 convert_model.py 的文件：

import coremltools as ct
from tensorflow import keras
from tensorflow.keras import layers

# 1. 定义一个简单的 Keras 模型 (例如用于 MNIST 手写数字识别)
model = keras.Sequential([
    layers.Flatten(input_shape=(28, 28)),
    layers.Dense(128, activation='relu'),
    layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 注意：实际使用中需先 model.fit() 进行训练，此处仅为演示结构
# model.fit(x_train, y_train, epochs=5) 

# 2. 转换为 Core ML 格式
# input_name: 模型在 iOS 端接收数据的名称
# class_labels: 如果是分类任务，指定类别标签
mlmodel = ct.convert(model, source='tensorflow')

# 3. 保存为 .mlmodel 文件
mlmodel.save('MySimpleModel.mlmodel')

print("转换成功！文件已保存为 MySimpleModel.mlmodel")

运行脚本：

python convert_model.py

2. 在 Xcode 中集成 (Swift)

1. 将生成的 MySimpleModel.mlmodel 文件拖入 Xcode 项目的导航栏。
2. Xcode 会自动编译该模型并生成对应的 Swift 类（类名通常为文件名，如 MySimpleModel）。
3. 在 Swift 代码中调用模型：

import CoreML
import Vision

// 初始化模型
guard let model = try? MySimpleModel(configuration: MLModelConfiguration()) else {
    fatalError("无法加载模型")
}

// 准备输入数据 (假设输入为 28x28 的图像像素数据)
// 这里需要使用 MLMultiArray 处理数据，具体取决于模型输入类型
let input = MySimpleModelInput(imageData: myPixelData) 

do {
    // 进行预测
    let output = try model.prediction(input: input)
    let label = output.classLabel
    print("预测结果: \(label)")
} catch {
    print("预测失败: \(error)")
}

3. 使用现有开源项目

如果你想直接体验完整应用，可以克隆列表中的示例项目，例如手势识别或图像分类 Demo：

# 示例：克隆一个 Core ML 手势识别 Demo
git clone https://github.com/akimach/GestureAI-CoreML-iOS.git
cd GestureAI-CoreML-iOS
open GestureAI.xcodeproj

直接在 Xcode 中运行即可在模拟器或真机上测试效果。