自 iOS 11 以来，苹果发布了 Core ML 框架，以帮助开发者将机器学习模型集成到应用程序中。官方文档

我们整理了目前最大的 Core ML 格式机器学习模型集合，旨在帮助 iOS、macOS、tvOS 和 watchOS 开发者尝试各种机器学习技术。

如果您已经将模型转换为 Core ML 格式，欢迎提交 pull request。

最近，我们还添加了可视化工具。这里有一个 Netron。

模型

图像 - 元数据/文本

• 以图像数据为输入，输出关于图像的有用信息的模型。
• TextDetection - 使用 Vision 内置模型实时检测文本。下载 | 演示 | 参考
• PhotoAssessment - 使用 Core ML 和 Metal 进行照片评估。下载 | 演示 | 参考
• PoseEstimation - 从图片中估计人体姿态，适用于移动端。下载 | 演示 | 参考
• MobileNet - 检测图像中占主导地位的对象。下载 | 演示 | 参考
• Places CNN - 从 205 个类别中检测图像场景，如卧室、森林、海岸等。下载 | 演示 | 参考
• Inception v3 - 检测图像中占主导地位的对象。下载 | 演示 | 参考
• ResNet50 - 检测图像中占主导地位的对象。下载 | 演示 | 参考
• VGG16 - 检测图像中占主导地位的对象。下载 | 演示 | 参考
• Car Recognition - 预测汽车的品牌和型号。下载 | 演示 | 参考
• YOLO - 识别给定图像中的物体及其在图像中的位置。下载 | 演示 | 参考
• AgeNet - 根据肖像预测年龄。下载 | 演示 | 参考
• GenderNet - 根据肖像预测性别。下载 | 演示 | 参考
• MNIST - 根据图像预测手写（绘制）数字。下载 | 演示 | 参考
• EmotionNet - 根据肖像预测情绪。下载 | 演示 | 参考
• SentimentVision - 根据图像预测正面或负面情感。下载 | 演示 | 参考
• Food101 - 根据图像预测食物类型。下载 | 演示 | 参考
• Oxford102 - 根据图像检测花卉类型。下载 | 演示 | 参考
• FlickrStyle - 检测图像的艺术风格。下载 | 演示 | 参考
• RN1015k500 - 预测照片的拍摄地点。下载 | 演示 | 参考
• Nudity - 将图像分类为 NSFW（裸露）或 SFW（非裸露） 下载 | 演示 | 参考
• TextRecognition (ML Kit) - 使用 ML Kit 内置模型实时识别文本。下载 | 演示 | 参考
• ImageSegmentation - 将摄像头画面或图像的像素分割成预定义的类别。下载 | 演示 | 参考
• DepthPrediction - 从单张图像预测深度。下载 | 演示 | 参考

图像 - 图像

用于处理图像的模型

• HED - 从彩色图像中检测嵌套边缘。下载 | 演示 | 参考文献
• AnimeScale2x - 处理双三次缩放的动漫风格艺术作品。下载 | 演示 | 参考文献

文本 - 元数据/文本

用于处理文本数据的模型

• 情感极性 - 预测句子中的正面或负面情感。下载 | 演示 | 参考文献
• 文档分类 - 将新闻文章分类为5个类别之一。下载 | 演示 | 参考文献
• iMessage垃圾信息检测 - 检测消息是否为垃圾信息。下载 | 演示 | 参考文献
• NamesDT - 使用决策树分类器进行性别分类。下载 | 演示 | 参考文献
• 人格检测 - 根据用户文档（句子）预测人格特征。下载 | 演示 | 参考文献
• BERT问答系统 - BERT问答系统的Swift Core ML 3实现。下载 | 演示 | 参考文献
• GPT-2 - OpenAI GPT-2文本生成（Core ML 3）。下载 | 演示 | 参考文献

其他

• Exermote - 当iPhone佩戴在右上臂时，预测正在进行的运动。下载 | 演示 | 参考文献
• GestureAI - 根据给定的位置和音乐类型推荐艺术家。下载 | 演示 | 参考文献
• 艺术家推荐 - 根据给定的位置和音乐类型推荐艺术家。下载 | 演示 | 参考文献
• 和弦建议器 - 根据输入的和弦进行预测最可能的下一个和弦。下载 | 演示 | 参考文献

语音处理

• 流式ASR – 适用于iOS的实时流式语音识别引擎。采用Fast Conformer + CTC架构，完全在设备端运行。
  下载 | 演示 | 参考文献
• 关键词检测（KWS） – 基于轻量级CRNN架构的设备端关键词检测引擎，专为移动设备优化。
  下载 | 演示 | 参考文献

可视化工具

帮助可视化CoreML模型的工具

• Netron

支持的格式

可转换为Core ML的模型格式列表及示例

• Caffe
• Keras
• XGBoost
• Scikit-learn
• MXNet
• LibSVM
• Torch7

黄金

• 可转换为 Core ML 的机器学习模型集合*

• Caffe Model Zoo - 包含大量 Caffe 格式模型的列表。

• TensorFlow Models - TensorFlow 模型集合。

• TensorFlow Slim Models - 另一个 TensorFlow 模型集合。

• MXNet Model Zoo - MXNet 模型集合。

可转换为 Core ML 的单个机器学习模型。我们会根据模型的转换进度不断更新此列表。

• LaMem 用于评估图片的记忆度。
• ILGnet 用于图像美学评价。
• Colorization 使用深度神经网络实现自动上色。
• Illustration2Vec 从给定插图中估计一组标签并提取语义特征向量。
• CTPN 用于自然场景图像中的文本检测。
• Image Analogy 在两张输入图像之间找到语义上有意义的密集对应关系。
• iLID 用于自动语音语言识别。
• Fashion Detection 从图像中检测服装。
• Saliency 传统上，图像显著区域的预测是通过手工设计的特征来实现的。
• Face Detection 用于从图像中检测人脸。
• mtcnn 用于联合人脸检测与对齐。
• deephorizon 用于从单张图像中估计地平线位置。

贡献与许可

• 参阅贡献指南
• 本项目采用 MIT 许可证开源。更多信息请参阅 LICENSE 文件。

Awesome-CoreML-Models 快速上手指南

Awesome-CoreML-Models 是一个精选的 Core ML 格式机器学习模型集合，旨在帮助 iOS、macOS、tvOS 和 watchOS 开发者轻松将机器学习能力集成到应用中。本指南将帮助你快速获取并使用这些预训练模型。

环境准备

在使用这些模型之前，请确保你的开发环境满足以下要求：

• 操作系统：macOS（用于开发和模型转换/测试）。
• 开发工具：Xcode 10 或更高版本（建议最新版以支持最新的 Core ML 特性）。
• 目标平台：
  • iOS 11+
  • macOS 10.13+
  • tvOS 11+
  • watchOS 4+
• 编程语言：Swift 或 Objective-C。
• 可选工具：
  • Netron：用于可视化查看 .mlmodel 文件的结构和输入输出层。
  • Python & coremltools：如果你需要自行转换模型，需安装 Apple 的 coremltools 库。

安装步骤

由于这是一个模型资源列表而非单一的代码库，"安装"主要指获取模型文件并将其集成到你的 Xcode 项目中。

1. 获取模型文件

浏览 Awesome-CoreML-Models GitHub 仓库，根据需求选择模型类别（如图像分类、文本分析等），点击对应模型的 Download 链接下载 .mlmodel 或 .mlpackage 文件。

提示：部分模型托管在 Google Drive 或 AWS S3，国内开发者可能需要使用网络加速工具才能顺利下载。

2. 集成到 Xcode 项目

1. 打开你的 Xcode 项目。
2. 将下载好的 .mlmodel 文件直接拖入 Xcode 的项目导航栏（Project Navigator）中。
3. 在弹出的对话框中，确保勾选你的应用 Target，并点击 Finish。
4. Xcode 会自动编译该模型，并在项目导航栏中生成一个对应的 Swift 类（例如 Resnet50.swift），该类包含了模型的输入输出接口定义。

基本使用

以下以使用 MobileNet（图像物体识别）为例，展示如何在 Swift 代码中加载模型并进行预测。

1. 导入模型类

Xcode 自动生成模型类后，你无需额外 import 特殊库，只需确保在文件中导入 CoreML 框架（通常默认已包含）：

import CoreML
import Vision // 如果使用 Vision 框架辅助处理图像

2. 加载模型并执行预测

假设你已经将 MobileNet.mlmodel 加入项目，Xcode 生成了 MobileNet 类。

import UIKit
import CoreML

class ViewController: UIViewController {

    override func viewDidLoad() {
        super.viewDidLoad()
        runPrediction()
    }

    func runPrediction() {
        // 1. 初始化模型
        guard let model = try? MobileNet(configuration: MLModelConfiguration()) else {
            print("无法加载模型")
            return
        }

        // 2. 准备输入数据
        // 注意：不同模型对输入图像的大小和格式要求不同，请参考模型文档或 Netron 查看输入层要求
        // 这里假设我们有一个 UIImage 需要转换
        guard let image = UIImage(named: "test_image.jpg"),
              let pixelBuffer = image.pixelBuffer(width: 224, height: 224) else {
            print("图像处理失败")
            return
        }

        // 3. 创建模型输入对象
        let input = MobileNetInput(image: pixelBuffer)

        // 4. 执行预测
        do {
            let output = try model.prediction(input: input)
            
            // 5. 处理结果
            // MobileNet 输出通常包含概率最高的类别标签和置信度
            if let topLabel = output.classLabelProbs.keys.max(by: { output.classLabelProbs[$0]! < output.classLabelProbs[$1]! }) {
                let confidence = output.classLabelProbs[topLabel]!
                print("识别结果: \(topLabel), 置信度: \(confidence)")
            }
        } catch {
            print("预测出错: \(error.localizedDescription)")
        }
    }
}

// 辅助扩展：将 UIImage 转换为 CVPixelBuffer
extension UIImage {
    func pixelBuffer(width: Int, height: Int) -> CVPixelBuffer? {
        let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue,
                     kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary
        var pixelBuffer: CVPixelBuffer?
        let status = CVPixelBufferCreate(kCFAllocatorDefault, width, height,
                                         kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)
        guard status == kCVReturnSuccess, let buffer = pixelBuffer else { return nil }
        
        CVPixelBufferLockBaseAddress(buffer, [])
        let pixelData = CVPixelBufferGetBaseAddress(buffer)
        
        let rgbColorSpace = CGColorSpaceCreateDeviceRGB()
        guard let context = CGContext(data: pixelData, width: width, height: height,
                                      bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(buffer),
                                      space: rgbColorSpace, bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue) else { return nil }
        
        context.translateBy(x: 0, y: CGFloat(height))
        context.scaleBy(x: 1.0, y: -1.0)
        
        UIGraphicsPushContext(context)
        self.draw(in: CGRect(x: 0, y: 0, width: width, height: height))
        UIGraphicsPopContext()
        CVPixelBufferUnlockBaseAddress(buffer, [])
        
        return buffer
    }
}

3. 使用 Vision 框架（推荐）

对于图像类模型，Apple 推荐结合 Vision 框架使用，它可以自动处理图像预处理、旋转和缩放。

import Vision

func performVisionRequest(on image: UIImage) {
    guard let model = try? VNCoreMLModel(for: MobileNet().model) else { return }
    
    let request = VNCoreMLRequest(model: model) { (request, error) in
        if let results = request.results as? [VNClassificationObservation],
           let topResult = results.first {
            print("Vision 识别结果: \(topResult.identifier), 置信度: \(topResult.confidence)")
        }
    }
    
    guard let ciImage = CIImage(image: image) else { return }
    let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
    
    DispatchQueue.global(qos: .userInitiated).async {
        try? handler.perform([request])
    }
}

通过以上步骤，你可以快速将 Awesome-CoreML-Models 中的任何模型集成到你的应用中。对于文本或其他非图像模型，请直接使用生成的 Swift 类进行数据输入和结果读取，无需经过 Vision 框架。