Cake 是一个用 Rust 编写的 多模态 AI 推理服务器，既可以作为单节点运行模型，也可以将模型分片部署到由 iOS、Android、macOS、Linux 和 Windows 等异构设备组成的集群中，从而处理单个 GPU 无法承载的工作负载。它有效地利用了 计划性报废 的理念，使 AI 更加普及和民主化。

这是一段正在积极开发且变化非常迅速的实验性代码。

核心特性

• 多模态 — 文本生成、图像生成（Stable Diffusion、FLUX）以及 语音合成（VibeVoice TTS，支持语音克隆）。
• 多模型 — 支持 15 个文本模型家族、6 种图像模型变体和 2 种 TTS 模型。架构可从 HuggingFace 检查点中自动检测。
• 跨平台 — 支持 CUDA、Metal、Vulkan 和 CPU 后端，覆盖 Linux、macOS、Windows、iOS 和 Android。
• 多节点 — 可通过 零配置 mDNS 集群 或手动拓扑将 Transformer 块分片到不同设备上。也可完全在单机上运行。
• OpenAI 兼容 API — 提供支持流式的 REST API，并内置 Web UI 和 TUI 聊天客户端。
• Docker — 提供适用于 Linux/NVIDIA 的 容器构建，并支持使用 docker-compose 进行集群部署。

快速入门

构建

cargo build --release --features cuda        # Linux (NVIDIA)
cargo build --release --features metal       # macOS (Apple Silicon GPU)
cargo build --release --features accelerate  # macOS (Apple Silicon CPU，F32 模型)
cargo build --release --features vulkan      # Linux (AMD/Intel/Steam Deck)
cargo build --release                        # 仅 CPU（便携式）

模型

使用 cake pull 从 HuggingFace 下载模型。模型会存储在标准的 HuggingFace 缓存目录（~/.cache/huggingface/hub/）中，并与其他使用相同缓存的工具（如 transformers、huggingface-cli 等）共享。

cake pull evilsocket/Qwen3-0.6B             # 文本模型（6 亿参数）
cake pull evilsocket/flux1-dev               # 图像模型（FLUX.1-dev FP8）
cake pull evilsocket/VibeVoice-1.5B          # 语音合成模型

cake list                                    # 显示所有本地可用的模型
cake rm evilsocket/Qwen3-0.6B               # 删除已缓存的模型

如果模型尚未缓存，在首次使用时也会自动下载。

单节点

在单台机器上运行任意模型——架构会根据模型的 config.json 自动检测：

# 文本生成
cake run evilsocket/Qwen3-0.6B "用通俗易懂的语言解释量子计算"

# 交互式 TUI 聊天
cake chat Qwen/Qwen3-0.6B

# 启动 API 服务器 + Web UI
cake serve evilsocket/Qwen3-0.6B

# 图像生成（FLUX.1-dev FP8）
cake run evilsocket/flux1-dev --model-type image-model --image-model-arch flux1 \
  "夜晚的赛博朋克城市景观"

# 语音合成与语音克隆
cake run evilsocket/VibeVoice-1.5B --model-type audio-model \
  --voice-prompt voice.wav "你好，世界"

分布式

使用 --cluster-key 将模型分片到多台机器上。工作节点无需模型数据——主节点会自动通过网络传输所需的张量权重（使用 zstd 压缩，并通过 CRC32 校验）。工作节点会将接收到的数据本地缓存，以便后续运行。

# 在任意机器上启动工作节点（无需模型）
cake run --cluster-key mysecret --name gpu-server-1    # 机器 A
cake run --cluster-key mysecret --name macbook          # 机器 B

# 从主节点进行推理（主节点拥有模型）
cake run evilsocket/Qwen3-0.6B "你好" --cluster-key mysecret

# 或者以主节点身份启动 API 服务器
cake serve evilsocket/Qwen3-0.6B --cluster-key mysecret

主节点会通过 mDNS 发现工作节点，根据每台设备的显存和算力按比例分配层，并只推送所需的权重分片。有关手动拓扑文件和高级配置，请参阅 集群文档。

如需完整的使用指南和 API 参考，请查看 项目文档。

星标历史

许可证

根据 FAIR 许可证（免费用于署名和个人权利）v1.0.0 发布。

• 非商业用途（个人、教育、研究、非营利组织）在许可条款下可自由使用。
• 商业用途（SaaS、付费应用、任何盈利行为）需要明确标注项目及其作者。详情请参阅 许可证。
• 企业用途（任何由或代表企业实体进行的使用）需与作者签订商业协议。如有疑问，请联系 evilsocket@gmail.com。

要查看项目依赖项的许可证，请先安装 cargo install cargo-license，然后运行 cargo license。

Cake 快速上手指南

Cake 是一个用 Rust 编写的多模态 AI 推理服务器。它支持在单节点运行，也能将模型分片部署在异构设备集群（iOS、Android、macOS、Linux、Windows）上，从而利用闲置算力运行超出单卡显存限制的大型模型。

注意：本项目处于实验性开发阶段，功能迭代迅速。

环境准备

系统要求

Cake 支持以下平台及后端：

• Linux: CUDA (NVIDIA), Vulkan (AMD/Intel/Steam Deck), CPU
• macOS: Metal (Apple Silicon GPU), Accelerate (Apple Silicon CPU), CPU
• Windows: Vulkan, CPU
• 移动端: iOS, Android

前置依赖

1. Rust 工具链：确保已安装最新稳定的 Rust 和 Cargo。

   curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
   

2. GPU 驱动：根据硬件类型安装对应的驱动程序（如 NVIDIA CUDA Toolkit、Vulkan 驱动等）。
3. Hugging Face 访问：模型下载依赖 Hugging Face Hub。国内用户建议配置镜像加速或代理，以确保 cake pull 能正常下载模型。

安装步骤

使用 Cargo 从源码编译安装。请根据你的硬件平台选择对应的编译特性（features）：

# Linux (NVIDIA GPU)
cargo build --release --features cuda

# macOS (Apple Silicon GPU)
cargo build --release --features metal

# macOS (Apple Silicon CPU, 仅 F32 模型)
cargo build --release --features accelerate

# Linux (AMD/Intel/Steam Deck)
cargo build --release --features vulkan

# 纯 CPU 运行（便携通用）
cargo build --release

编译完成后，可执行文件位于 target/release/cake。建议将其添加到系统 PATH 中以便全局调用。

基本使用

1. 管理模型

Cake 使用标准的 Hugging Face 缓存目录 (~/.cache/huggingface/hub/)。你可以手动预下载模型，或在首次运行时自动下载。

# 下载文本生成模型 (Qwen3-0.6B)
cake pull evilsocket/Qwen3-0.6B

# 下载图像生成模型 (FLUX.1-dev FP8)
cake pull evilsocket/flux1-dev

# 下载语音合成模型 (VibeVoice-1.5B)
cake pull evilsocket/VibeVoice-1.5B

# 查看本地已缓存的模型
cake list

# 删除指定模型
cake rm evilsocket/Qwen3-0.6B

2. 单机运行

文本生成与对话

# 单次推理
cake run evilsocket/Qwen3-0.6B "Explain quantum computing in simple terms"

# 启动交互式 TUI 聊天界面
cake chat Qwen/Qwen3-0.6B

# 启动 API 服务器及 Web UI
cake serve evilsocket/Qwen3-0.6B

图像生成

cake run evilsocket/flux1-dev --model-type image-model --image-model-arch flux1 \
  "a cyberpunk cityscape at night"

语音合成（支持声音克隆）

cake run evilsocket/VibeVoice-1.5B --model-type audio-model \
  --voice-prompt voice.wav "Hello world"

3. 分布式集群运行

Cake 支持通过 mDNS 自动发现局域网内的设备，并将模型层分片到不同机器上运行。主节点负责流式传输权重数据，工作节点无需预先下载模型。

启动工作节点（Worker） 在任意从属机器上运行（无需模型文件）：

# 机器 A
cake run --cluster-key mysecret --name gpu-server-1

# 机器 B
cake run --cluster-key mysecret --name macbook

启动主节点（Master） 在持有模型的主机器上运行推理或服务：

# 执行单次推理
cake run evilsocket/Qwen3-0.6B "Hello" --cluster-key mysecret

# 或启动 API 服务
cake serve evilsocket/Qwen3-0.6B --cluster-key mysecret

主节点会自动根据各设备的显存和算力比例分配计算任务，并通过 zstd 压缩和 CRC32 校验传输必要的权重分片。