[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-evilsocket--cake":3,"tool-evilsocket--cake":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":79,"owner_location":80,"owner_email":79,"owner_twitter":76,"owner_website":81,"owner_url":82,"languages":83,"stars":122,"forks":123,"last_commit_at":124,"license":125,"difficulty_score":126,"env_os":127,"env_gpu":128,"env_ram":129,"env_deps":130,"category_tags":139,"github_topics":79,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":140,"updated_at":141,"faqs":142,"releases":173},2482,"evilsocket\u002Fcake","cake","Distributed inference for mobile, desktop and server.","Cake 是一款基于 Rust 语言开发的多模态 AI 推理服务器，旨在为移动端、桌面端及服务器提供灵活高效的 AI 模型运行环境。它支持文本生成、图像创作（如 Stable Diffusion、FLUX）以及语音合成等多种任务，能够自动识别并兼容 HuggingFace 上的多种主流模型架构。\n\nCake 核心解决的是单一设备算力不足或显存受限的问题。通过其独特的分布式推理技术，用户可以将大型模型拆分并分布运行在由 iOS、Android、macOS、Linux 和 Windows 等设备组成的异构集群中。这种“化整为零”的策略不仅让原本无法在单张显卡上运行的大模型得以流畅执行，还有效利用了闲置或旧设备的计算资源，降低了高性能 AI 应用的使用门槛。\n\n在技术亮点方面，Cake 支持 CUDA、Metal、Vulkan 及 CPU 等多种后端，具备零配置 mDNS 集群发现功能，可轻松实现多设备协同工作。同时，它提供与 OpenAI 兼容的 REST API，内置 Web 界面和终端聊天客户端，并支持 Docker 部署，极大地简化了集成与运维流程。\n\nCake 非常适合开发者、AI","Cake 是一款基于 Rust 语言开发的多模态 AI 推理服务器，旨在为移动端、桌面端及服务器提供灵活高效的 AI 模型运行环境。它支持文本生成、图像创作（如 Stable Diffusion、FLUX）以及语音合成等多种任务，能够自动识别并兼容 HuggingFace 上的多种主流模型架构。\n\nCake 核心解决的是单一设备算力不足或显存受限的问题。通过其独特的分布式推理技术，用户可以将大型模型拆分并分布运行在由 iOS、Android、macOS、Linux 和 Windows 等设备组成的异构集群中。这种“化整为零”的策略不仅让原本无法在单张显卡上运行的大模型得以流畅执行，还有效利用了闲置或旧设备的计算资源，降低了高性能 AI 应用的使用门槛。\n\n在技术亮点方面，Cake 支持 CUDA、Metal、Vulkan 及 CPU 等多种后端，具备零配置 mDNS 集群发现功能，可轻松实现多设备协同工作。同时，它提供与 OpenAI 兼容的 REST API，内置 Web 界面和终端聊天客户端，并支持 Docker 部署，极大地简化了集成与运维流程。\n\nCake 非常适合开发者、AI 研究人员以及拥有多台闲置设备的极客用户。对于希望在不购买昂贵专业显卡的前提下体验或部署大模型的普通技术爱好者而言，Cake 也是一个极具吸引力的选择。需要注意的是，目前 Cake 仍处于积极开发的实验阶段，功能迭代迅速，适合喜欢探索新技术的用户尝试使用。","\u003Cdiv align=\"center\">\n\n# `cake`\n\n[![Documentation](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdocs-blue)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fblob\u002Fmain\u002Fdocs\u002Findex.md)\n[![Release](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fevilsocket\u002Fcake.svg?style=flat-square)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Freleases\u002Flatest)\n[![Rust Report](https:\u002F\u002Frust-reportcard.xuri.me\u002Fbadge\u002Fgithub.com\u002Fevilsocket\u002Fcake)](https:\u002F\u002Frust-reportcard.xuri.me\u002Freport\u002Fgithub.com\u002Fevilsocket\u002Fcake)\n[![CI](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fevilsocket\u002Fcake\u002Fci.yml)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Factions\u002Fworkflows\u002Fci.yml)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-FAIR%20v1.0.0-blue.svg?style=flat-square)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fblob\u002Fmain\u002FLICENSE)\n\n\u003C\u002Fdiv>\n\nCake is a **multimodal AI inference server** written in Rust that can run models as a single node, or shard them across a heterogeneous cluster of devices — iOS, Android, macOS, Linux, Windows — to run workloads that wouldn't fit on a single GPU, effectively leveraging [planned obsolescence](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPlanned_obsolescence) to make AI more accessible and democratic.\n\n\u003Cp align=\"center\">\n  \u003Cstrong>\n  This is experimental code that's being actively developed and changed very quickly.\n  \u003C\u002Fstrong>\n\u003C\u002Fp>\n\n## Key Features\n\n- **Multi Modal** — [Text generation](docs\u002Fmodels.md), [image generation](docs\u002Fimage_generation.md) (Stable Diffusion, FLUX), and [voice synthesis](docs\u002Fvoice_generation.md) (VibeVoice TTS with voice cloning).\n- **Multi Model** — [15 text model families](docs\u002Fmodels.md), 6 image model variants, and 2 TTS models. Architecture auto-detected from HuggingFace checkpoints.\n- **Multi Platform** — CUDA, Metal, Vulkan, and CPU backends across [Linux, macOS, Windows, iOS, and Android](docs\u002Finstall.md).\n- **Multi Node** — Shard transformer blocks across devices with [zero-config mDNS clustering](docs\u002Fclustering.md) or manual topology. Also runs entirely on a single machine.\n- **OpenAI-Compatible API** — REST API with streaming, plus a [built-in web UI and TUI chat client](docs\u002Fusage.md#web-ui).\n- **Docker** — [Container builds](docs\u002Fdocker.md) for Linux\u002FNVIDIA with docker-compose cluster support.\n\n## Quick Start\n\n### Build\n\n```sh\ncargo build --release --features cuda        # Linux (NVIDIA)\ncargo build --release --features metal       # macOS (Apple Silicon GPU)\ncargo build --release --features accelerate  # macOS (Apple Silicon CPU, F32 models)\ncargo build --release --features vulkan      # Linux (AMD\u002FIntel\u002FSteam Deck)\ncargo build --release                        # CPU only (portable)\n```\n\n### Models\n\nDownload models from HuggingFace with `cake pull`. Models are stored in the standard HuggingFace cache directory (`~\u002F.cache\u002Fhuggingface\u002Fhub\u002F`) and are shared with any other tools that use the same cache (transformers, huggingface-cli, etc.).\n\n```sh\ncake pull evilsocket\u002FQwen3-0.6B             # text model (600M params)\ncake pull evilsocket\u002Fflux1-dev               # image model (FLUX.1-dev FP8)\ncake pull evilsocket\u002FVibeVoice-1.5B          # voice synthesis model\n\ncake list                                    # show all locally available models\ncake rm evilsocket\u002FQwen3-0.6B               # delete a cached model\n```\n\nModels are also downloaded automatically on first use if not already cached.\n\n### Single Node\n\nRun any model locally on a single machine — architecture is auto-detected from the model's `config.json`:\n\n```sh\n# Text generation\ncake run evilsocket\u002FQwen3-0.6B \"Explain quantum computing in simple terms\"\n\n# Interactive TUI chat\ncake chat Qwen\u002FQwen3-0.6B\n\n# Start an API server + web UI\ncake serve evilsocket\u002FQwen3-0.6B\n\n# Image generation (FLUX.1-dev FP8)\ncake run evilsocket\u002Fflux1-dev --model-type image-model --image-model-arch flux1 \\\n  \"a cyberpunk cityscape at night\"\n\n# Voice synthesis with voice cloning\ncake run evilsocket\u002FVibeVoice-1.5B --model-type audio-model \\\n  --voice-prompt voice.wav \"Hello world\"\n```\n\n### Distributed\n\nShard a model across multiple machines using `--cluster-key`. Workers don't need the model data — the master automatically streams the required tensor weights over the network (compressed with zstd, verified with CRC32 checksums). Workers cache received data locally for subsequent runs.\n\n```sh\n# Start workers on any machines (no model needed)\ncake run --cluster-key mysecret --name gpu-server-1    # machine A\ncake run --cluster-key mysecret --name macbook          # machine B\n\n# Run inference from the master (has the model)\ncake run evilsocket\u002FQwen3-0.6B \"Hello\" --cluster-key mysecret\n\n# Or start an API server as the master\ncake serve evilsocket\u002FQwen3-0.6B --cluster-key mysecret\n```\n\nThe master discovers workers via mDNS, assigns layers proportionally to each device's VRAM\u002Fcompute, and pushes only the required weight shards. See the [clustering documentation](docs\u002Fclustering.md) for manual topology files and advanced configuration.\n\nFor the full usage guide and API reference, [check the project documentation](docs\u002Findex.md).\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fevilsocket_cake_readme_b3fd7f202974.png)](https:\u002F\u002Fstar-history.com\u002F#evilsocket\u002Fcake&Timeline)\n\n## License\n\nReleased under the [FAIR License (Free for Attribution and Individual Rights) v1.0.0](LICENSE).\n\n- **Non-commercial use** (personal, educational, research, non-profit) is freely permitted under the terms of the license.\n- **Commercial use** (SaaS, paid apps, any monetization) requires visible attribution to the project and its author. See the [license](LICENSE) for details.\n- **Business use** (any use by or on behalf of a business entity) requires a signed commercial agreement with the author. Contact `evilsocket@gmail.com` for inquiries.\n\nTo see the licenses of the project dependencies, install cargo license with `cargo install cargo-license` and then run `cargo license`.","\u003Cdiv align=\"center\">\n\n# `cake`\n\n[![文档](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdocs-blue)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fblob\u002Fmain\u002Fdocs\u002Findex.md)\n[![发布](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frelease\u002Fevilsocket\u002Fcake.svg?style=flat-square)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Freleases\u002Flatest)\n[![Rust 报告](https:\u002F\u002Frust-reportcard.xuri.me\u002Fbadge\u002Fgithub.com\u002Fevilsocket\u002Fcake)](https:\u002F\u002Frust-reportcard.xuri.me\u002Freport\u002Fgithub.com\u002Fevilsocket\u002Fcake)\n[![CI](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fevilsocket\u002Fcake\u002Fci.yml)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Factions\u002Fworkflows\u002Fci.yml)\n[![许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-FAIR%20v1.0.0-blue.svg?style=flat-square)](https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fblob\u002Fmain\u002FLICENSE)\n\n\u003C\u002Fdiv>\n\nCake 是一个用 Rust 编写的 **多模态 AI 推理服务器**，既可以作为单节点运行模型，也可以将模型分片部署到由 iOS、Android、macOS、Linux 和 Windows 等异构设备组成的集群中，从而处理单个 GPU 无法承载的工作负载。它有效地利用了 [计划性报废](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPlanned_obsolescence) 的理念，使 AI 更加普及和民主化。\n\n\u003Cp align=\"center\">\n  \u003Cstrong>\n  这是一段正在积极开发且变化非常迅速的实验性代码。\n  \u003C\u002Fstrong>\n\u003C\u002Fp>\n\n## 核心特性\n\n- **多模态** — [文本生成](docs\u002Fmodels.md)、[图像生成](docs\u002Fimage_generation.md)（Stable Diffusion、FLUX）以及 [语音合成](docs\u002Fvoice_generation.md)（VibeVoice TTS，支持语音克隆）。\n- **多模型** — 支持 [15 个文本模型家族](docs\u002Fmodels.md)、6 种图像模型变体和 2 种 TTS 模型。架构可从 HuggingFace 检查点中自动检测。\n- **跨平台** — 支持 CUDA、Metal、Vulkan 和 CPU 后端，覆盖 [Linux、macOS、Windows、iOS 和 Android](docs\u002Finstall.md)。\n- **多节点** — 可通过 [零配置 mDNS 集群](docs\u002Fclustering.md) 或手动拓扑将 Transformer 块分片到不同设备上。也可完全在单机上运行。\n- **OpenAI 兼容 API** — 提供支持流式的 REST API，并内置 [Web UI 和 TUI 聊天客户端](docs\u002Fusage.md#web-ui)。\n- **Docker** — 提供适用于 Linux\u002FNVIDIA 的 [容器构建](docs\u002Fdocker.md)，并支持使用 docker-compose 进行集群部署。\n\n## 快速入门\n\n### 构建\n\n```sh\ncargo build --release --features cuda        # Linux (NVIDIA)\ncargo build --release --features metal       # macOS (Apple Silicon GPU)\ncargo build --release --features accelerate  # macOS (Apple Silicon CPU，F32 模型)\ncargo build --release --features vulkan      # Linux (AMD\u002FIntel\u002FSteam Deck)\ncargo build --release                        # 仅 CPU（便携式）\n```\n\n### 模型\n\n使用 `cake pull` 从 HuggingFace 下载模型。模型会存储在标准的 HuggingFace 缓存目录（`~\u002F.cache\u002Fhuggingface\u002Fhub\u002F`）中，并与其他使用相同缓存的工具（如 transformers、huggingface-cli 等）共享。\n\n```sh\ncake pull evilsocket\u002FQwen3-0.6B             # 文本模型（6 亿参数）\ncake pull evilsocket\u002Fflux1-dev               # 图像模型（FLUX.1-dev FP8）\ncake pull evilsocket\u002FVibeVoice-1.5B          # 语音合成模型\n\ncake list                                    # 显示所有本地可用的模型\ncake rm evilsocket\u002FQwen3-0.6B               # 删除已缓存的模型\n```\n\n如果模型尚未缓存，在首次使用时也会自动下载。\n\n### 单节点\n\n在单台机器上运行任意模型——架构会根据模型的 `config.json` 自动检测：\n\n```sh\n# 文本生成\ncake run evilsocket\u002FQwen3-0.6B \"用通俗易懂的语言解释量子计算\"\n\n# 交互式 TUI 聊天\ncake chat Qwen\u002FQwen3-0.6B\n\n# 启动 API 服务器 + Web UI\ncake serve evilsocket\u002FQwen3-0.6B\n\n# 图像生成（FLUX.1-dev FP8）\ncake run evilsocket\u002Fflux1-dev --model-type image-model --image-model-arch flux1 \\\n  \"夜晚的赛博朋克城市景观\"\n\n# 语音合成与语音克隆\ncake run evilsocket\u002FVibeVoice-1.5B --model-type audio-model \\\n  --voice-prompt voice.wav \"你好，世界\"\n```\n\n### 分布式\n\n使用 `--cluster-key` 将模型分片到多台机器上。工作节点无需模型数据——主节点会自动通过网络传输所需的张量权重（使用 zstd 压缩，并通过 CRC32 校验）。工作节点会将接收到的数据本地缓存，以便后续运行。\n\n```sh\n# 在任意机器上启动工作节点（无需模型）\ncake run --cluster-key mysecret --name gpu-server-1    # 机器 A\ncake run --cluster-key mysecret --name macbook          # 机器 B\n\n# 从主节点进行推理（主节点拥有模型）\ncake run evilsocket\u002FQwen3-0.6B \"你好\" --cluster-key mysecret\n\n# 或者以主节点身份启动 API 服务器\ncake serve evilsocket\u002FQwen3-0.6B --cluster-key mysecret\n```\n\n主节点会通过 mDNS 发现工作节点，根据每台设备的显存和算力按比例分配层，并只推送所需的权重分片。有关手动拓扑文件和高级配置，请参阅 [集群文档](docs\u002Fclustering.md)。\n\n如需完整的使用指南和 API 参考，请查看 [项目文档](docs\u002Findex.md)。\n\n## 星标历史\n\n[![星标历史图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fevilsocket_cake_readme_b3fd7f202974.png)](https:\u002F\u002Fstar-history.com\u002F#evilsocket\u002Fcake&Timeline)\n\n## 许可证\n\n根据 [FAIR 许可证（免费用于署名和个人权利）v1.0.0](LICENSE) 发布。\n\n- **非商业用途**（个人、教育、研究、非营利组织）在许可条款下可自由使用。\n- **商业用途**（SaaS、付费应用、任何盈利行为）需要明确标注项目及其作者。详情请参阅 [许可证](LICENSE)。\n- **企业用途**（任何由或代表企业实体进行的使用）需与作者签订商业协议。如有疑问，请联系 `evilsocket@gmail.com`。\n\n要查看项目依赖项的许可证，请先安装 `cargo install cargo-license`，然后运行 `cargo license`。","# Cake 快速上手指南\n\nCake 是一个用 Rust 编写的多模态 AI 推理服务器。它支持在单节点运行，也能将模型分片部署在异构设备集群（iOS、Android、macOS、Linux、Windows）上，从而利用闲置算力运行超出单卡显存限制的大型模型。\n\n> **注意**：本项目处于实验性开发阶段，功能迭代迅速。\n\n## 环境准备\n\n### 系统要求\nCake 支持以下平台及后端：\n*   **Linux**: CUDA (NVIDIA), Vulkan (AMD\u002FIntel\u002FSteam Deck), CPU\n*   **macOS**: Metal (Apple Silicon GPU), Accelerate (Apple Silicon CPU), CPU\n*   **Windows**: Vulkan, CPU\n*   **移动端**: iOS, Android\n\n### 前置依赖\n1.  **Rust 工具链**：确保已安装最新稳定的 Rust 和 Cargo。\n    ```sh\n    curl --proto '=https' --tlsv1.2 -sSf https:\u002F\u002Fsh.rustup.rs | sh\n    ```\n2.  **GPU 驱动**：根据硬件类型安装对应的驱动程序（如 NVIDIA CUDA Toolkit、Vulkan 驱动等）。\n3.  **Hugging Face 访问**：模型下载依赖 Hugging Face Hub。国内用户建议配置镜像加速或代理，以确保 `cake pull` 能正常下载模型。\n\n## 安装步骤\n\n使用 Cargo 从源码编译安装。请根据你的硬件平台选择对应的编译特性（features）：\n\n```sh\n# Linux (NVIDIA GPU)\ncargo build --release --features cuda\n\n# macOS (Apple Silicon GPU)\ncargo build --release --features metal\n\n# macOS (Apple Silicon CPU, 仅 F32 模型)\ncargo build --release --features accelerate\n\n# Linux (AMD\u002FIntel\u002FSteam Deck)\ncargo build --release --features vulkan\n\n# 纯 CPU 运行（便携通用）\ncargo build --release\n```\n\n编译完成后，可执行文件位于 `target\u002Frelease\u002Fcake`。建议将其添加到系统 PATH 中以便全局调用。\n\n## 基本使用\n\n### 1. 管理模型\nCake 使用标准的 Hugging Face 缓存目录 (`~\u002F.cache\u002Fhuggingface\u002Fhub\u002F`)。你可以手动预下载模型，或在首次运行时自动下载。\n\n```sh\n# 下载文本生成模型 (Qwen3-0.6B)\ncake pull evilsocket\u002FQwen3-0.6B\n\n# 下载图像生成模型 (FLUX.1-dev FP8)\ncake pull evilsocket\u002Fflux1-dev\n\n# 下载语音合成模型 (VibeVoice-1.5B)\ncake pull evilsocket\u002FVibeVoice-1.5B\n\n# 查看本地已缓存的模型\ncake list\n\n# 删除指定模型\ncake rm evilsocket\u002FQwen3-0.6B\n```\n\n### 2. 单机运行\n\n**文本生成与对话**\n```sh\n# 单次推理\ncake run evilsocket\u002FQwen3-0.6B \"Explain quantum computing in simple terms\"\n\n# 启动交互式 TUI 聊天界面\ncake chat Qwen\u002FQwen3-0.6B\n\n# 启动 API 服务器及 Web UI\ncake serve evilsocket\u002FQwen3-0.6B\n```\n\n**图像生成**\n```sh\ncake run evilsocket\u002Fflux1-dev --model-type image-model --image-model-arch flux1 \\\n  \"a cyberpunk cityscape at night\"\n```\n\n**语音合成（支持声音克隆）**\n```sh\ncake run evilsocket\u002FVibeVoice-1.5B --model-type audio-model \\\n  --voice-prompt voice.wav \"Hello world\"\n```\n\n### 3. 分布式集群运行\nCake 支持通过 mDNS 自动发现局域网内的设备，并将模型层分片到不同机器上运行。主节点负责流式传输权重数据，工作节点无需预先下载模型。\n\n**启动工作节点（Worker）**\n在任意从属机器上运行（无需模型文件）：\n```sh\n# 机器 A\ncake run --cluster-key mysecret --name gpu-server-1\n\n# 机器 B\ncake run --cluster-key mysecret --name macbook\n```\n\n**启动主节点（Master）**\n在持有模型的主机器上运行推理或服务：\n```sh\n# 执行单次推理\ncake run evilsocket\u002FQwen3-0.6B \"Hello\" --cluster-key mysecret\n\n# 或启动 API 服务\ncake serve evilsocket\u002FQwen3-0.6B --cluster-key mysecret\n```\n\n主节点会自动根据各设备的显存和算力比例分配计算任务，并通过 zstd 压缩和 CRC32 校验传输必要的权重分片。","一家独立游戏工作室希望为 NPC 植入本地化的智能对话与语音系统，但团队仅有一台配备 M2芯片的 MacBook Pro 和几台闲置的旧款 Android 测试机，缺乏昂贵的高显存 GPU 服务器。\n\n### 没有 cake 时\n- **硬件门槛极高**：运行高质量的 FLUX 图像生成或大型语言模型需要至少 16GB+ 显存，单台移动设备或旧电脑根本无法加载模型，直接报错内存溢出。\n- **资源严重浪费**：手中的旧手机和平板因性能不足被闲置，而主力开发机在处理多模态任务时负载过重，导致开发环境卡顿，无法并行工作。\n- **部署架构复杂**：若强行实现分布式推理，需自行编写复杂的通信代码来分割模型层并同步数据，开发周期长且极易出现延迟不同步问题。\n- **跨平台兼容性差**：iOS、Android 和 macOS 的底层图形接口（Metal\u002FVulkan\u002FCPU）差异巨大，难以统一调度，通常只能放弃移动端算力，仅依赖云端 API，增加成本且存在隐私风险。\n\n### 使用 cake 后\n- **异构集群算力聚合**：cake 通过零配置 mDNS 自动发现局域网内的 MacBook 和 Android 手机，将大模型的分层计算任务动态 shard（分片）到这些设备上，成功在低显存环境中跑通了原本无法加载的大模型。\n- **变废为宝降低成本**：有效利用了“计划性报废”的旧设备，将闲置的 Android 手机转化为推理节点，无需购买新显卡即可满足中等规模的多模态推理需求。\n- **开箱即用的分布式体验**：无需编写底层通信代码，只需启动 cake 服务，它自动处理节点间的拓扑连接和数据传输，开发者可立即通过 OpenAI 兼容的 API 调用集群算力。\n- **真正的跨平台统一**：无缝协调 Metal（macOS\u002FiOS）、Vulkan（Android\u002FLinux）和 CPU 后端，屏蔽了底层硬件差异，让混合设备集群像单一高性能服务器一样稳定工作。\n\ncake 的核心价值在于打破了单设备显存墙的限制，通过极简的分布式架构让开发者能低成本地利用手头所有异构设备，实现民主化且隐私安全的本地 AI 推理。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fevilsocket_cake_2afaccf5.png","evilsocket","Simone Margaritelli","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fevilsocket_39ffdb1a.jpg",null,"Italy","https:\u002F\u002Fwww.evilsocket.net","https:\u002F\u002Fgithub.com\u002Fevilsocket",[84,88,92,96,100,104,107,111,115,118],{"name":85,"color":86,"percentage":87},"Rust","#dea584",84.6,{"name":89,"color":90,"percentage":91},"HTML","#e34c26",7.4,{"name":93,"color":94,"percentage":95},"Shell","#89e051",4.1,{"name":97,"color":98,"percentage":99},"Cuda","#3A4E3A",1.4,{"name":101,"color":102,"percentage":103},"Kotlin","#A97BFF",1,{"name":105,"color":106,"percentage":103},"WGSL","#1a5e9a",{"name":108,"color":109,"percentage":110},"Python","#3572A5",0.3,{"name":112,"color":113,"percentage":114},"Dockerfile","#384d54",0.1,{"name":116,"color":117,"percentage":114},"Makefile","#427819",{"name":119,"color":120,"percentage":121},"Swift","#F05138",0,3003,184,"2026-04-02T20:45:19","NOASSERTION",4,"Linux, macOS, Windows, iOS, Android","非必需。支持 NVIDIA GPU (CUDA), Apple Silicon GPU (Metal), AMD\u002FIntel\u002FSteam Deck (Vulkan)。也可仅使用 CPU。未说明具体显存大小和 CUDA 版本要求，但支持跨设备分片以利用异构硬件。","未说明",{"notes":131,"python":132,"dependencies":133},"该工具由 Rust 编写，通过 cargo 构建。支持多模态（文本、图像、语音）。核心特性是支持将模型分片到异构集群（包括移动设备）上运行，主节点会自动通过网络流式传输权重给工作节点。模型默认从 HuggingFace 下载并缓存。提供 Docker 支持（仅限 Linux\u002FNVIDIA）。代码处于实验阶段，更新频繁。","无 (基于 Rust 编译，无需 Python 环境)",[134,135,136,137,138],"Rust (cargo)","CUDA (可选, Linux\u002FNVIDIA)","Metal (可选, macOS)","Vulkan (可选, Linux\u002FAMD\u002FIntel)","Accelerate (可选, macOS CPU)",[26,14,55,13,54],"2026-03-27T02:49:30.150509","2026-04-06T08:35:13.711778",[143,148,153,158,163,168],{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},11435,"启动时提示“找不到指定文件 (No such file or directory)”错误，但模型路径正确，该如何解决？","该错误通常是因为程序无法找到 `topology.yml` 拓扑配置文件，而非模型文件本身。请确保在运行命令的当前目录下存在 `topology.yml` 文件，或者使用绝对路径指定该文件。维护者已改进日志记录以帮助调试此类问题，建议检查文件是否存在以及路径是否正确。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F8",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},11436,"Cake 支持量化模型（如 GGUF 格式）吗？","目前 Cake 仅支持 safetensors 格式的模型，不支持 GGUF 格式。虽然未来可能会考虑支持量化模型以节省显存，但维护者表示这是业余时间开发的项目，暂无具体的支持时间表。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F22",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},11437,"分布式部署 Llama 3 时出现“cannot find tensor model.layers.0.model.layers.0...”的双重前缀错误，如何解决？","这是一个已修复的 Bug。错误原因是 Worker 端的 VarBuilder 设置中存在双重前缀问题：代码在将 VarBuilder 传递给 `Transformer::load` 之前已经按层名进行了作用域限定，而加载函数又再次进行了限定，导致路径变为 `model.layers.0.model.layers.0...`。该问题已在 commit f2f1306 中修复，请更新到最新版本。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F34",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},11438,"启用 CUDA 特性编译时失败，报错“Unsupported cuda toolkit version: 12.6”或“__dp4a build error”，如何处理？","这通常涉及两个问题：\n1. CUDA 版本支持：旧版本依赖可能不支持 CUDA 12.6。项目已更新 candle 依赖至 0.9.x 以支持 CUDA 12.6，请确保使用最新代码。\n2. 计算能力不匹配：如果报错涉及 `__dp4a` intrinsic，可能是因为你的 GPU 计算能力低于 6.1（如 Maxwell 架构）。`candle-kernels` 需要计算能力 >= 6.1（Pascal 架构及以上，如 GTX 1060+ 或任何 RTX 卡）。如果你的 GPU 实际支持更高版本但自动检测错误，可以手动设置环境变量 `CUDA_COMPUTE_CAP=61` 或更高进行编译。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F29",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},11439,"第二次调用 REST API 时报错“error in forward batch operation”或“cannot broadcast”，是什么原因？","这是一个已知的 Bug，表现为首次调用正常，后续调用导致 Master 节点和 Worker 节点崩溃。该问题已通过 Pull Request #32 修复。如果遇到此问题，请拉取最新代码并重新编译。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F13",{"id":169,"question_zh":170,"answer_zh":171,"source_url":172},11440,"模型输出乱码或显示为 `\u003Ctoken N>`， tokenizer 有问题怎么办？","这是由于 Tokenizer 在解析特殊 token 时存在问题导致的。该问题与底层依赖 Candle 有关，维护者指出这是一个未完全解决的 Bug，部分修复包含在 PR #32 中，但根本解决可能需要等待 Candle 团队的更新。建议尝试更新到最新版本看是否有所改善，或者关注后续关于 Tokenizer 解析逻辑的修复。","https:\u002F\u002Fgithub.com\u002Fevilsocket\u002Fcake\u002Fissues\u002F9",[]]