Mochi Diffusion

在 Mac 上原生运行 Stable Diffusion 和 FLUX.2 Klein

英语, 한국어, 中文

功能特性

• 基于 Apple 的 Core ML Stable Diffusion 实现（GitHub 仓库），可在搭载 Apple Silicon 芯片的 Mac 上获得极致性能与速度，同时降低内存占用。
• 极其快速且内存高效（使用 Neural Engine 时仅约 150MB）。
• 充分利用 Neural Engine，在所有 Apple Silicon Mac 上流畅运行。
• 完全离线、本地生成图像。
• 支持基于现有图像生成新图像（即 Image2Image）。
• 支持使用 ControlNet 进行图像生成。
• 生成的图像会将提示词信息保存至 EXIF 元数据中，可在 Finder 的“获取信息”窗口中查看。
• 内置图库，支持导入、保存和同步功能。
• 可使用自定义的 Stable Diffusion Core ML 模型。
• 无需担心模型被封存的问题。
• 原生 macOS 应用，采用 SwiftUI 开发。
• 支持 Iris FLUX.2 (Klein) 流水线。

下载

最新版本

社区模型

ControlNet 模型

带有 ControlNet 的 Stable Diffusion 1.5

FLUX.2-klein-4B（蒸馏版）

FLUX.2-klein-9B（蒸馏版）

首次使用某个模型时，Neural Engine 可能需要最多 2 分钟来编译并缓存版本。之后的生成过程将会显著加快。

计算单元选择

• CPU & Neural Engine：在速度与低内存占用之间取得良好平衡。
• CPU & GPU：在 M1 Max、Ultra 及更新型号上可能更快，但会消耗更多内存。

根据所选选项，您需要使用相应的模型版本（详情请参阅“模型”部分）。

模型

要使用 Mochi Diffusion，您需要 Core ML 格式的 Stable Diffusion 或 FLUX.2 Klein 模型。

Core ML Stable Diffusion

1. 将 Stable Diffusion 模型转换为 Core ML 格式，或直接下载 Core ML 模型：
   • split_einsum 版本兼容所有计算单元选项，包括 Neural Engine。
   • original 版本仅兼容 CPU & GPU 选项。
2. 默认情况下，应用的模型文件夹会创建在您的主目录下。您可以在设置中自定义该路径。
3. 在模型文件夹中，创建一个以您希望在应用中显示的名称命名的新文件夹，并将转换后的模型移入或解压至此。
4. 您的目录结构应如下所示：

<主目录>/
└── MochiDiffusion/
    └── models/
        ├── stable-diffusion-2-1_split-einsum_compiled/
        │   ├── merges.txt
        │   ├── TextEncoder.mlmodelc
        │   ├── Unet.mlmodelc
        │   ├── VAEDecoder.mlmodelc
        │   ├── VAEEncoder.mlmodelc
        │   └── vocab.json
        ├── ...
        └── ...

FLUX.2 Klein

FLUX.2 Klein 模型无需转换。

1. 从上述“下载”链接中下载 FLUX.2 Klein 模型所需的 text_encoder、tokenizer、transformer 和 vae 文件（或使用 download_model.sh 脚本）。
2. 将这些文件放入 MochiDiffusion 的模型文件夹中。
3. 您的目录结构应如下所示：

<主目录>/
└── MochiDiffusion/
    └── models/
        ├── flux-klein-4b/
        │   ├── text_encoder/
        │   ├── tokenizer/
        │   ├── transformer/
        │   └── vae/
        ├── ...
        └── ...        

（有关 flux-klein-4b 的具体指导，请参阅 iris.c 问题 #12）

兼容性

• Apple Silicon（M1 及以上）
• macOS 15.6 及更高版本
• Xcode 26.0 或更高版本（用于构建）

隐私

所有生成过程均在本地完成，绝不会将任何数据发送到云端。

贡献

Mochi Diffusion 随时欢迎各类贡献，无论是漏洞报告、代码编写还是新增翻译。

• 如果您发现了 bug，或者希望提出新功能或改进建议，请先尝试 搜索相关问题，以避免重复提交。如果未找到相关问题，您可以随时 创建新问题。请勿就个人疑问创建问题，此类问题仅用于报告 bug 和请求功能。

• 如果您希望贡献代码，欢迎随时 打开 Pull Request。建议安装 swift-format，以便及时发现并修复代码中的潜在问题。

• 如果您希望将 Mochi Diffusion 翻译成您的语言，请访问 Crowdin 项目页面。您可以免费注册账号，开始翻译和/或审核工作。

致谢

• Apple 的 Core ML Stable Diffusion 实现
• iris.c
• Hugging Face 的 Swift UI 示例实现
• 应用图标由 Zabriskije 设计

MochiDiffusion 快速上手指南

MochiDiffusion 是一款专为 Apple Silicon Mac 设计的原生应用，利用 Core ML 和神经网络引擎（Neural Engine）在本地离线运行 Stable Diffusion 和 FLUX.2 Klein 模型，具有极高的速度和内存效率。

环境准备

在开始之前，请确保您的设备满足以下要求：

• 硬件：Apple Silicon 芯片 Mac（M1、M2、M3 系列及后续版本）。
• 操作系统：macOS 15.6 或更高版本。
• 网络：首次下载模型需要网络连接，生成过程完全离线。
• 构建依赖（仅源码编译时需要）：Xcode 26.0 或更高版本。

注意：普通用户建议直接下载预编译的应用程序，无需安装 Xcode 或配置 Python 环境。

安装步骤

方式一：下载预编译应用（推荐）

1. 访问 GitHub Releases 页面 下载最新版本的 .dmg 文件。
2. 打开下载的 .dmg 文件，将 Mochi Diffusion 图标拖入 Applications 文件夹。
3. 在启动台或应用程序文件夹中打开应用。
   • 若出现“无法打开”提示，请在“系统设置” > “隐私与安全性”中点击“仍要打开”。

方式二：源码编译（开发者）

如果您需要自定义构建，请使用以下命令：

git clone https://github.com/MochiDiffusion/MochiDiffusion.git
cd MochiDiffusion
# 使用 Xcode 打开项目并构建
open MochiDiffusion.xcodeproj

基本使用

1. 准备模型

MochiDiffusion 不支持原始的 PyTorch (.ckpt / .safetensors) 模型，必须使用 Core ML 格式或特定的 FLUX.2 Klein 结构。

方案 A：使用 Stable Diffusion (Core ML)

您可以从社区下载已转换好的模型，或自行转换。

• 下载链接：Hugging Face Core ML Community Models
• 目录结构示例： 在您的用户主目录下创建文件夹，结构如下：

  ~/MochiDiffusion/models/stable-diffusion-2-1_split-einsum_compiled/
  ├── merges.txt
  ├── TextEncoder.mlmodelc
  ├── Unet.mlmodelc
  ├── VAEDecoder.mlmodelc
  ├── VAEEncoder.mlmodelc
  └── vocab.json
  

  提示：请选择文件名包含 split_einsum 的模型版本，以兼容“CPU & Neural Engine"模式，获得最佳性能。

方案 B：使用 FLUX.2 Klein

FLUX.2 模型无需转换，但需按特定目录存放。

• 下载链接：
  • FLUX.2-klein-4B
  • FLUX.2-klein-9B
• 目录结构示例：

  ~/MochiDiffusion/models/flux-klein-4b/
  ├── text_encoder/
  ├── tokenizer/
  ├── transformer/
  └── vae/
  

  注：可通过运行 download_model.sh 脚本自动下载并整理文件。

2. 配置计算单元

启动应用后，根据您的需求选择计算模式（在设置或生成界面选择）：

• CPU & Neural Engine：推荐选项。速度与内存占用平衡最佳，适用于所有 Apple Silicon 机型。
• CPU & GPU：在 M1 Max/Ultra 等高端机型上可能更快，但内存占用较高。需配合 original 版本的 Core ML 模型使用。

3. 生成图像

1. 打开 Mochi Diffusion 应用。
2. 在模型列表中选择您刚才放入 ~/MochiDiffusion/models/ 目录下的模型文件夹。
3. 在提示词框（Prompt）中输入英文描述（例如：a cyberpunk cat in neon city）。
4. 点击生成按钮。
   • 首次运行提示：第一次使用某模型时，神经网络引擎可能需要长达 2 分钟进行缓存编译，请耐心等待。后续生成将非常迅速。
5. 生成的图片将自动保存至内置画廊，且提示词信息已嵌入 EXIF 元数据中（可在 Finder“显示简介”中查看）。

4. 进阶功能

• 图生图 (Image2Image)：导入现有图片作为底图进行重绘。
• ControlNet：加载对应的 ControlNet Core ML 模型以实现姿态、边缘等控制。
• 自定义模型路径：可在应用设置中修改默认的模型存储目录。