[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-guinmoon--LLMFarm":3,"tool-guinmoon--LLMFarm":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159267,2,"2026-04-17T11:29:14",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":77,"owner_website":79,"owner_url":80,"languages":81,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":105,"env_deps":106,"category_tags":115,"github_topics":116,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":126,"updated_at":127,"faqs":128,"releases":164},8483,"guinmoon\u002FLLMFarm","LLMFarm","llama and other  large language models on iOS and MacOS offline using GGML library.","LLMFarm 是一款专为 iOS 和 macOS 用户打造的本地大语言模型运行工具，让你无需联网即可在苹果设备上流畅体验各类开源 AI 模型。它基于高效的 GGML 库和 llama.cpp 构建，成功解决了大型模型通常依赖云端服务器、存在隐私泄露风险且受网络限制的问题，实现了真正的离线私有化部署。\n\n无论是开发者、AI 研究人员，还是对前沿技术感兴趣的普通用户，都能通过 LLMFarm 轻松加载并测试包括 LLaMA、Gemma、Phi、Qwen、Mixtral 等在内的数十种主流模型。你可以自由调整推理参数，对比不同模型在移动端的性能表现，从而为特定项目找到最优解。\n\n其技术亮点在于深度适配苹果生态，支持 Metal 图形加速以提升运算效率（适用于 Apple Silicon 芯片），并提供上下文状态恢复、RAG（检索增强生成）以及苹果快捷指令集成等高级功能。这意味着你不仅能进行复杂的对话交互，还能将其融入自动化工作流中。虽然目前应用商店暂时下架，但它依然是探索端侧 AI 潜力、保护数据隐私的强大利器，让高性能人工智能真正触手可及。","# LLMFarm\n\n### The app is temporarily unavailable in TestFlight and Appstore.\n\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ft.me\u002Fllmfarm_chat\">\u003Cimg alt=\"Icon\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_b9b6c777e3c5.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@LLMFarm-lib\">\u003Cimg alt=\"Icon\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_54a3e78ed742.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fboosty.to\u002Fllmfarm\">\u003Cimg alt=\"Icon\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_7c2fd7e9d4a5.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fllmfarm.tech\">\u003Cimg alt=\"Icon\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_b1bd4cf96296.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fwiki\">\u003Cimg alt=\"Wiki\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_af0ca5826ed3.png\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg alt=\"Icon\" height=\"440px\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_5ef89680f92c.png\">  \n  \u003Cimg alt=\"Icon\" width=\"540px\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_ff2b9109600c.png\">\n\u003C\u002Fp>\n\n---\n\n\nLLMFarm is an iOS and MacOS app to work with large language models (LLM). It allows you to load different LLMs with certain parameters.With LLMFarm, you can test the performance of different LLMs on iOS and macOS and find the most suitable model for your project.\u003Cbr>\nBased on [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) and [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) by [Georgi Gerganov](https:\u002F\u002Fgithub.com\u002Fggerganov).\n\n# Features\n\n- [x] MacOS (13+)\n- [x] iOS (16+)\n- [x] Various inferences\n- [x] Various sampling methods\n- [x] Metal ([dont work](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Fissues\u002F2407#issuecomment-1699544808) on intel Mac)\n- [x] Model setting templates\n- [x] [Restore context state](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002Fsave_load_state)\n- [x] [Apple Shortcuts](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002Fshortcuts)\n- [x] [RAG](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002FRAG\u002FRAG%20Settings)\n\n# Inferences\n\n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Gemma](https:\u002F\u002Fai.google.dev\u002Fgemma) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Phi](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=microsoft\u002Fphi) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [GPT2](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fgpt2) + [Cerebras](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.03208) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Starcoder(Santacoder)](https:\u002F\u002Fhuggingface.co\u002Fbigcode\u002Fsantacoder) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Falcon](https:\u002F\u002Fgithub.com\u002Fcmp-nct\u002Fggllm.cpp) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [MPT](https:\u002F\u002Fhuggingface.co\u002Fguinmoon\u002Fmpt-7b-storywriter-GGUF) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Bloom](https:\u002F\u002Fhuggingface.co\u002Fguinmoon\u002Fbloomz-1b7-gguf) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [StableLM-3b-4e1t](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstablelm-3b-4e1t) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Qwen](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-7B) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Yi models](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=01-ai\u002FYi) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Deepseek models](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=deepseek-ai\u002Fdeepseek) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Mixtral MoE](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=mistral-ai\u002FMixtral) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [PLaMo-13B](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Fpull\u002F3557) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Mamba](https:\u002F\u002Fgithub.com\u002Fstate-spaces\u002Fmamba)\n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [RWKV](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Frwkv) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [GPTNeoX](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fgpt_neox)\n\nSee full list [here](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp).\n\n## Multimodal\n- [x] [LLaVA 1.5 models](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fliuhaotian\u002Fllava-15-653aac15d994e992e2677a7e), [LLaVA 1.6 models](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fliuhaotian\u002Fllava-16-65b9e40155f60fd046a5ccf2)\n- [x] [BakLLaVA](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=SkunkworksAI\u002FBakllava)\n- [x] [Obsidian](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FObsidian-3B-V0.5)\n- [x] [ShareGPT4V](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=Lin-Chen\u002FShareGPT4V)\n- [x] [MobileVLM 1.7B\u002F3B models](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=mobileVLM)\n- [x] [Yi-VL](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=Yi-VL)\n- [x] [Moondream](https:\u002F\u002Fhuggingface.co\u002Fvikhyatk\u002Fmoondream2)\n  \nNote: For *Falcon, Alpaca, GPT4All, Chinese LLaMA \u002F Alpaca and Chinese LLaMA-2 \u002F Alpaca-2, Vigogne (French), Vicuna, Koala, OpenBuddy (Multilingual), Pygmalion\u002FMetharme, WizardLM, Baichuan 1 & 2 + derivations, Aquila 1 & 2, Mistral AI v0.1, Refact, Persimmon 8B, MPT, Bloom* select `llama inference` in model settings.\n\n# Sampling methods\n- [x] Temperature (temp, tok-k, top-p)\n- [x] [Tail Free Sampling (TFS)](https:\u002F\u002Fwww.trentonbricken.com\u002FTail-Free-Sampling\u002F)\n- [x] [Locally Typical Sampling](https:\u002F\u002Farxiv.org\u002Fabs\u002F2202.00666)\n- [x] [Mirostat](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.14966)\n- [x] Greedy\n- [x] Grammar\n\n# Getting Started\n\nYou can find answers to some questions in the [FAQ section](https:\u002F\u002Fllmfarm.tech\u002Fdocs).\n\n## Inference options\nWhen creating a chat, a JSON file is generated in which you can specify additional inference options. The chat files are located in the \"chats\" directory. You can see all inference options [here](https:\u002F\u002Fllmfarm.tech\u002Fdocs).\n\n## Models\nYou can find some of the supported [models here](https:\u002F\u002Fllmfarm.tech\u002F).\n\n\n# Development\n`llmfarm_core` has been moved to a [separate repository](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002Fllmfarm_core.swift). To build llmfarm, you need to clone this repository recursively:\n```bash\ngit clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\n```\n\n# Also used sources from:\n* [rwkv.cpp](https:\u002F\u002Fgithub.com\u002FsaharNooby\u002Frwkv.cpp) by [saharNooby](https:\u002F\u002Fgithub.com\u002FsaharNooby)\n* [Mia](https:\u002F\u002Fgithub.com\u002Fbyroneverson\u002FMia) by [byroneverson](https:\u002F\u002Fgithub.com\u002Fbyroneverson)\n* [LlamaChat](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat) by [alexrozanski](https:\u002F\u002Fgithub.com\u002Falexrozanski)\n* [swift-markdown-ui](https:\u002F\u002Fgithub.com\u002Fgonzalezreal\u002Fswift-markdown-ui) by [gonzalezreal](https:\u002F\u002Fgithub.com\u002Fgonzalezreal)\n* [similarity-search-kit](https:\u002F\u002Fgithub.com\u002FZachNagengast\u002Fsimilarity-search-kit) by [ZachNagengast](https:\u002F\u002Fgithub.com\u002FZachNagengast)\n\n# [❤️ Support project](.\u002Fdonate.md)\n","# LLMFarm\n\n### 该应用目前在 TestFlight 和 App Store 中暂时不可用。\n\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ft.me\u002Fllmfarm_chat\">\u003Cimg alt=\"图标\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_b9b6c777e3c5.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@LLMFarm-lib\">\u003Cimg alt=\"图标\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_54a3e78ed742.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fboosty.to\u002Fllmfarm\">\u003Cimg alt=\"图标\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_7c2fd7e9d4a5.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fllmfarm.tech\">\u003Cimg alt=\"图标\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_b1bd4cf96296.png\">\u003C\u002Fa>    \n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fwiki\">\u003Cimg alt=\"维基\" height=\"32\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_af0ca5826ed3.png\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg alt=\"截图\" height=\"440px\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_5ef89680f92c.png\">  \n  \u003Cimg alt=\"截图\" width=\"540px\"  src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_ff2b9109600c.png\">\n\u003C\u002Fp>\n\n---\n\n\nLLMFarm 是一款适用于 iOS 和 macOS 的大型语言模型（LLM）应用。它允许用户加载具有特定参数的不同 LLM。借助 LLMFarm，您可以在 iOS 和 macOS 上测试不同 LLM 的性能，并为您的项目找到最合适的模型。\u003Cbr>\n基于 [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) 和 [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)，由 [Georgi Gerganov](https:\u002F\u002Fgithub.com\u002Fggerganov) 开发。\n\n# 功能\n\n- [x] macOS (13+)\n- [x] iOS (16+)\n- [x] 多种推理方式\n- [x] 多种采样方法\n- [x] Metal（在 Intel Mac 上[无法工作](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Fissues\u002F2407#issuecomment-1699544808)）\n- [x] 模型设置模板\n- [x] [恢复上下文状态](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002Fsave_load_state)\n- [x] [Apple 短路徑](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002Fshortcuts)\n- [x] [RAG](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002FRAG\u002FRAG%20Settings)\n\n# 推理模型\n\n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Gemma](https:\u002F\u002Fai.google.dev\u002Fgemma) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Phi](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=microsoft\u002Fphi) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [GPT2](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fgpt2) + [Cerebras](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.03208) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Starcoder(Santacoder)](https:\u002F\u002Fhuggingface.co\u002Fbigcode\u002Fsantacoder) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Falcon](https:\u002F\u002Fgithub.com\u002Fcmp-nct\u002Fggllm.cpp) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [MPT](https:\u002F\u002Fhuggingface.co\u002Fguinmoon\u002Fmpt-7b-storywriter-GGUF) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Bloom](https:\u002F\u002Fhuggingface.co\u002Fguinmoon\u002Fbloomz-1b7-gguf) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [StableLM-3b-4e1t](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstablelm-3b-4e1t) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Qwen](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-7B) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Yi 模型](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=01-ai\u002FYi) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Deepseek 模型](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=deepseek-ai\u002Fdeepseek) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Mixtral MoE](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=mistral-ai\u002FMixtral) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [PLaMo-13B](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Fpull\u002F3557) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [Mamba](https:\u002F\u002Fgithub.com\u002Fstate-spaces\u002Fmamba)\n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [RWKV](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Frwkv) \n- [x] \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_readme_6bc8c750ec86.png\" width=\"16px\" heigth=\"16px\"> [GPTNeoX](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fgpt_neox)\n\n完整列表请见 [这里](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)。\n\n## 多模态\n- [x] [LLaVA 1.5 模型](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fliuhaotian\u002Fllava-15-653aac15d994e992e2677a7e), [LLaVA 1.6 模型](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fliuhaotian\u002Fllava-16-65b9e40155f60fd046a5ccf2)\n- [x] [BakLLaVA](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=SkunkworksAI\u002FBakllava)\n- [x] [Obsidian](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FObsidian-3B-V0.5)\n- [x] [ShareGPT4V](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=Lin-Chen\u002FShareGPT4V)\n- [x] [MobileVLM 1.7B\u002F3B 模型](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=mobileVLM)\n- [x] [Yi-VL](https:\u002F\u002Fhuggingface.co\u002Fmodels?search=Yi-VL)\n- [x] [Moondream](https:\u002F\u002Fhuggingface.co\u002Fvikhyatk\u002Fmoondream2)\n  \n注意：对于 *Falcon、Alpaca、GPT4All、中文 LLaMA \u002F Alpaca 和中文 LLaMA-2 \u002F Alpaca-2、Vigogne（法语）、Vicuna、Koala、OpenBuddy（多语言）、Pygmalion\u002FMetharme、WizardLM、Baichuan 1 & 2 + 衍生模型、Aquila 1 & 2、Mistral AI v0.1、Refact、Persimmon 8B、MPT、Bloom*，请在模型设置中选择 `llama 推理`。\n\n# 采样方法\n- [x] 温度（temp、tok-k、top-p）\n- [x] [尾部自由采样（TFS）](https:\u002F\u002Fwww.trentonbricken.com\u002FTail-Free-Sampling\u002F)\n- [x] [局部典型采样](https:\u002F\u002Farxiv.org\u002Fabs\u002F2202.00666)\n- [x] [Mirostat](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.14966)\n- [x] 贪心\n- [x] 文法规则\n\n# 入门指南\n\n您可以在 [FAQ 部分](https:\u002F\u002Fllmfarm.tech\u002Fdocs) 找到一些问题的答案。\n\n## 推理选项\n创建聊天时，会生成一个 JSON 文件，您可以在其中指定额外的推理选项。聊天文件位于“chats”目录中。您可以在此处查看所有推理选项 [这里](https:\u002F\u002Fllmfarm.tech\u002Fdocs)。\n\n## 模型\n您可以在 [这里](https:\u002F\u002Fllmfarm.tech\u002F) 找到部分支持的模型。\n\n\n# 开发\n`llmfarm_core` 已被移至一个 [独立仓库](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002Fllmfarm_core.swift)。要构建 llmfarm，您需要递归克隆此仓库：\n```bash\ngit clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\n```\n\n# 同时还使用了以下开源项目：\n* [rwkv.cpp](https:\u002F\u002Fgithub.com\u002FsaharNooby\u002Frwkv.cpp) 由 [saharNooby](https:\u002F\u002Fgithub.com\u002FsaharNooby) 提供\n* [Mia](https:\u002F\u002Fgithub.com\u002Fbyroneverson\u002FMia) 由 [byroneverson](https:\u002F\u002Fgithub.com\u002Fbyroneverson) 提供\n* [LlamaChat](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat) 由 [alexrozanski](https:\u002F\u002Fgithub.com\u002Falexrozanski) 提供\n* [swift-markdown-ui](https:\u002F\u002Fgithub.com\u002Fgonzalezreal\u002Fswift-markdown-ui) 由 [gonzalezreal](https:\u002F\u002Fgithub.com\u002Fgonzalezreal) 提供\n* [similarity-search-kit](https:\u002F\u002Fgithub.com\u002FZachNagengast\u002Fsimilarity-search-kit) 由 [ZachNagengast](https:\u002F\u002Fgithub.com\u002FZachNagengast) 提供\n\n# [❤️ 支持本项目](.\u002Fdonate.md)","# LLMFarm 快速上手指南\n\nLLMFarm 是一款基于 `ggml` 和 `llama.cpp` 开发的 iOS 和 macOS 应用，允许用户在苹果设备上本地运行多种大型语言模型（LLM），支持模型性能测试、参数调整及多模态推理。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：\n    *   macOS 13.0 (Ventura) 或更高版本\n    *   iOS 16.0 或更高版本\n*   **开发工具**：\n    *   最新版本的 **Xcode**（需包含 Swift 和 Metal 支持）\n    *   **Git**（用于克隆代码库）\n*   **硬件建议**：\n    *   推荐使用搭载 Apple Silicon (M1\u002FM2\u002FM3) 芯片的 Mac 以获得最佳的 Metal 加速性能。\n    *   *注意：Metal 加速在 Intel Mac 上目前不可用。*\n\n## 安装步骤\n\n由于核心组件 `llmfarm_core` 已移至独立仓库，构建时必须递归克隆子模块。\n\n1.  **克隆项目仓库**\n    打开终端，执行以下命令克隆代码及其子模块：\n    ```bash\n    git clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\n    ```\n    *(国内用户若遇到连接超时，可配置 Git 代理或使用镜像源加速)*\n\n2.  **打开项目**\n    进入项目目录并打开 Xcode 工程文件：\n    ```bash\n    cd LLMFarm\n    open LLMFarm.xcodeproj\n    ```\n    *(注：如果目录下是 `.xcworkspace` 文件，请使用 `open LLMFarm.xcworkspace`)*\n\n3.  **编译与运行**\n    *   在 Xcode 中选择目标设备（My Mac 或连接的 iPhone\u002FiPad）。\n    *   点击 **Run** (▶️) 按钮进行编译和部署。\n    *   如果是真机调试，需要在项目设置中配置你的 Team ID 以进行代码签名。\n\n## 基本使用\n\n### 1. 准备模型文件\nLLMFarm 支持多种架构的模型（如 LLaMA, Gemma, Phi, Qwen, Yi, Deepseek 等），模型文件格式通常为 **GGUF**。\n*   你可以从 Hugging Face 下载预转换的 GGUF 模型。\n*   将下载好的 `.gguf` 模型文件通过 AirDrop、iTunes 文件或直接在 Xcode 中拖入应用的 `models` 目录（具体取决于构建配置，通常应用启动后需在界面内导入模型）。\n\n### 2. 创建聊天会话\n启动应用后，按照以下步骤开始对话：\n\n1.  **新建聊天**：在主界面点击创建新聊天。\n2.  **选择模型**：从列表中选择你已导入的 GGUF 模型。\n3.  **配置推理参数**（可选）：\n    *   系统会自动生成一个 JSON 配置文件（位于 `chats` 目录），你可以在其中微调参数。\n    *   支持调整采样方法（Temperature, Top-P, TFS, Mirostat 等）。\n    *   **重要提示**：对于 Falcon, Alpaca, Baichuan, Mistral, Bloom, MPT 等特定模型，请在模型设置中将推理类型手动选为 `llama inference`。\n4.  **开始对话**：输入提示词即可开始本地推理。\n\n### 3. 高级功能\n*   **多模态支持**：加载 LLaVA, BakLLaVA, Moondream 等模型可实现图文理解功能。\n*   **上下文状态保存**：支持保存和恢复对话上下文状态，避免重复计算。\n*   **Apple Shortcuts**：可通过系统“快捷指令”App 调用 LLMFarm 进行自动化任务。\n*   **RAG (检索增强生成)**：在设置中启用 RAG 功能，可让模型基于本地文档库回答问题。\n\n> **提示**：更多详细的推理参数说明和模型兼容性列表，请参考项目官方文档或 Wiki。","一位经常出差的独立开发者需要在无网络的飞机或高铁上，利用碎片时间调试本地大模型参数并验证代码生成效果。\n\n### 没有 LLMFarm 时\n- **依赖网络环境**：必须携带随身 Wi-Fi 或寻找热点才能访问云端 API，一旦进入飞行模式或信号盲区，开发工作被迫中断。\n- **设备限制严重**：iOS 设备上缺乏原生运行主流开源模型（如 LLaMA、Phi、Gemma）的工具，无法利用手机算力进行即时测试。\n- **调试成本高昂**：调整温度（Temperature）、采样策略等参数需反复修改本地服务器配置并重启服务，无法在移动端快速对比不同模型的表现。\n- **数据隐私顾虑**：将敏感的代码片段或未公开的业务逻辑上传至第三方云服务存在泄露风险，难以安心处理私有数据。\n\n### 使用 LLMFarm 后\n- **完全离线运行**：基于 GGML 库直接在 iPhone 或 MacBook 上加载量化模型，无需任何网络连接即可在旅途中流畅对话与生成代码。\n- **多模型灵活切换**：支持一键加载 LLaMA、Mistral、Deepseek 等数十种架构，方便在同一设备上横向评测不同模型对特定任务的适配度。\n- **参数实时调优**：提供可视化的推理设置模板和采样方法调节，开发者能即时观察参数变化对输出结果的影响，大幅缩短实验周期。\n- **本地数据安全**：所有推理过程均在设备本地完成，结合 RAG 功能可安全挂载本地知识库，彻底杜绝敏感信息外传。\n\nLLMFarm 将高性能大模型推理能力装进口袋，让开发者在任何环境下都能拥有私密、高效且自由的本地 AI 实验室。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fguinmoon_LLMFarm_7363e776.png","guinmoon","Artem","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fguinmoon_2f30b3ef.jpg","Developer",null,"guinmoon@gmail.com","https:\u002F\u002Fhabr.com\u002Fru\u002Fusers\u002Fguinmoon\u002Fposts","https:\u002F\u002Fgithub.com\u002Fguinmoon",[82,86,90,94],{"name":83,"color":84,"percentage":85},"C","#555555",42.1,{"name":87,"color":88,"percentage":89},"Swift","#F05138",34,{"name":91,"color":92,"percentage":93},"C++","#f34b7d",21.7,{"name":95,"color":96,"percentage":97},"Shell","#89e051",2.2,2015,165,"2026-04-17T05:33:50","MIT",4,"macOS, iOS","支持 Apple Metal (M 系列芯片)，Intel Mac 不支持 Metal 加速；无需 NVIDIA GPU 或 CUDA","未说明（取决于加载的 LLM 模型大小）",{"notes":107,"python":108,"dependencies":109},"这是一个 iOS 和 macOS 原生应用程序，非 Python 脚本工具。最低系统要求为 macOS 13+ 和 iOS 16+。支持多种量化模型格式（如 GGUF）。在 Intel Mac 上无法使用 Metal 加速功能。开发构建时需要递归克隆子模块。","不适用 (原生 Swift\u002FApp 应用)",[110,111,112,113,114],"ggml","llama.cpp","rwkv.cpp","swift-markdown-ui","similarity-search-kit",[15,13,35,14],[117,110,118,119,120,121,122,123,124,125],"ai","gpt-2","gptneox","ios","llama","macos","swift","starcoder","rwkv","2026-03-27T02:49:30.150509","2026-04-17T21:45:05.806167",[129,134,139,144,149,154,159],{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},37980,"在 macOS 或 iOS 上使用 Llama2 等模型时应用频繁崩溃，如何解决？","这通常与并发处理有关。维护者建议将 `AI` 类改为 Swift 的 `actor` 类型以解决线程安全问题。此外，确保升级到最新版本（如 0.5.2 或更高），因为多个崩溃问题已在后续更新中修复。如果是在开发环境中，请检查是否缺少必要的内存和 VM 授权（entitlements）。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F6",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},37981,"为什么在同一个聊天会话中输入第二次消息时会崩溃？","这是一个已知问题，已在版本 0.5.2 中修复。如果您遇到此问题，请尝试更新应用到最新版本。更新后，同一会话中的多次输入应能正常工作而不再崩溃。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F5",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},37982,"启用 Metal 加速导致手机完全死机或重启，该怎么办？","尝试取消勾选 \"MLock\" 选项，同时保持 \"MMap\" 和 \"Metal\" 为勾选状态。许多用户反馈这样做可以在启用 Metal 加速的同时避免系统崩溃。此外，升级至 iOS 17.2.1 或更高版本也可能解决兼容性问题。对于内存较小的设备，建议优先测试 3B 参数量以下的模型（如 Q4_KM 量化版本）。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F21",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},37983,"构建开发版后模型输出内容不正确或立即崩溃，如何配置提示词模板？","输出不正确通常是因为提示词模板（Prompt Template）不匹配。维护者推荐使用以下模板格式：\n\n```\n[System](You are a helpful, respectful and honest assistant. Always answer as helpfully as possible.)\nInstruct: {prompt}\nOutput:\n```\n\n请根据您的模型类型（如 Orca, Phi 等）在设置中应用相应的模板。如果是模拟器或真机运行崩溃，请确认已正确添加内存和 VM 的 entitlements 配置。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F52",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},37984,"哪些模型在 iPhone 上性能最好？大模型运行缓慢怎么办？","对于 iPhone Pro 系列机型，推荐使用 Orca 3B、Marx-3B-V2 或 Rocket 3B 模型，它们在速度和性能之间取得了很好的平衡。注意：大于 q3_K_M 量化等级的 7B 模型会使用扩展内存，在 iPhone 上运行极慢（可能每字需数秒）。如果追求速度，请选择 3B 及以下参数的模型，并尝试不同的量化版本（如 Q3_K_M 或 Q4_K_M）。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F14",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},37985,"使用 Llama 2 时经常出现 \"Eval error\" 错误，如何解决？","该问题通常由特定版本的 Bug 引起，维护者已定位并修复。请将应用更新至最新版本即可解决。如果更新后仍出现此错误，请检查是否正在生成长文本时触发，尝试缩短单次生成的长度或重启应用作为临时方案。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F9",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},37986,"微调（Fine-tuning）功能点击运行后无反应，是什么原因？","最常见的原因是数据集文件路径不正确。请确保您的微调数据集（.JSONL, .TXT 等）放置在应用专用的 \"datasets\" 文件夹内，而不是 Mac 的下载文件夹或其他位置。如果路径错误，`get_path_by_short_name()` 函数将返回空值导致微调中止。另外，检查代码中是否有被注释掉的文件创建逻辑，取消注释可能也能解决问题。","https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F24",[165,170,175,180,185,190,195,200,205,210,215,220,225,230,235,240,245,250,255,260],{"id":166,"version":167,"summary_zh":168,"released_at":169},306132,"1.4.3","## 变更\n* llama.cpp 更新至 b4562\n* 新增对 MiniCPM-1B、Minicpm-omni、Deepseek-R1-Qwen 精炼版、PhiMoE、DeepSeek V3 模型的支持\n* 新增对 Minerva 7B、Deepseek MoE v1 和 GigaChat 模型、Qwen2VL、Falcon3 模型的支持\n* 新增对 InfiniAI Megrez 3b、OLMo、QRWKV6、Llama-3_1-Nemotron 模型的支持\n* Metal 性能优化\n* 修复了一些错误","2025-01-27T13:32:22",{"id":171,"version":172,"summary_zh":173,"released_at":174},306133,"1.4.1.1","## 变更\n* llama.cpp 更新至 b4122\n* 通过快捷指令向 PDF 文档内容提问，详情请参阅文档中的快捷指令 [示例](https:\u002F\u002Fllmfarm.tech\u002Fdocs\u002Fshortcuts)\n* 新增 RAG 最大回答数量选项\n* 修复索引中文档重复的问题\n* 修复设置项被键盘遮挡的问题\n* 一些 Metal 相关的修复与改进\n* 其他若干修复","2024-11-19T19:02:37",{"id":176,"version":177,"summary_zh":178,"released_at":179},306134,"1.4.0","## 变更\n* llama.cpp 更新至 b3982\n* 为 `pdf` 文档添加了 RAG 支持\n* 聊天设置界面优化\n* 添加了文本摘要快捷方式\n* 进行了一些 Metal 相关的优化\n* 添加了对 Chameleon 的支持\n* 修复了一些错误\n* _目前，在创建聊天时暂不支持添加文档。如需向聊天中添加文档，请先创建聊天，然后进入聊天设置页面进行添加。_","2024-10-26T18:42:27",{"id":181,"version":182,"summary_zh":183,"released_at":184},306135,"1.3.9.1","## 变更\n* llama.cpp 更新至 b3837\n* 增加对 Llama 3.2、Llama 3.1、RWKV、MiniCPM（2.5、2.6、3）、Chameleon 模型的支持\n* 为 Mamba 增加了 Metal 支持\n* 增加了 Llama 3.2 的下载链接（与 LLaMa3 Instruct 模板配合使用）\n* 增加了 Phi 3.5 的下载链接（与 Phi 3 模板配合使用）\n* 增加了 Bunny 模板及下载链接\n* 进行了一些 Metal 方面的优化\n* 修复了 gemma2、DeepSeek-V2、ChatGLM4、Llama 3.1、T5、TriLMs、BitNet 等模型的一些错误\n* 修复了其他一些错误","2024-10-07T17:06:49",{"id":186,"version":187,"summary_zh":188,"released_at":189},306136,"1.3.4","## 变更：\n* 新增对Gemma2、T5、JAIS、Bitnet的支持，以及GLM（3、4）和Mistral Nemo\n* 新增对OpenELM的支持\n* 增加了更改聊天消息样式的功能。\n* 为新用户添加了内置的演示聊天。（使用ChatML模板）\n* 修复了一些解令牌化的问题\n- 由于代码中存在大量错误，需要进行重构，因此LoRa和FineTune功能暂时被禁用。","2024-08-08T09:42:14",{"id":191,"version":192,"summary_zh":193,"released_at":194},306137,"1.3.0","## 变更：\n* LLaMA.cpp 更新至 b3190\n* 增加对 DeepseekV2、GPTNeoX（Pythia 等）的支持\n* 增加 Markdown 格式支持\n* 增加在快捷方式中使用历史记录的功能\n* 增加 Flash Attention 支持\n* 新增 NPredict 选项\n* 对 Metal 和 CPU 推理进行了优化\n* 采样和评估功能得到改进\n* 修复了 phi-3 和 MiniCPM 的一些问题\n* 修复了一些错误\n* 新增 Qwen 模板","2024-06-24T15:52:44",{"id":196,"version":197,"summary_zh":198,"released_at":199},306138,"1.2.5","## 变更：\n* 保存\u002F加载上下文状态。现在即使重新打开程序，也可以继续与模型的对话。[详细说明请见此处](docs\u002Fsave_load_state.md)。\n* 对话设置（如采样参数）现在无需重新加载对话即可生效。\n* 跳过标记选项。允许您指定在结果中不显示的标记。对于 phi3 和 Qwen 模型可能很有用。\n* 修复了一些错误。","2024-05-27T15:21:25",{"id":201,"version":202,"summary_zh":203,"released_at":204},306139,"1.2.0","## 变更：\n* 添加了快捷键支持\n* llama.cpp 更新至 b2864 版本\n* 修复了部分 llama-3 和 Command-R 的问题\n* 添加了 llama3 指令模板\n* 修复了一个可能导致应用在系统提示词格式错误时崩溃的 bug\n* 修复了语法解析器中的内存泄漏问题\n* 修复了一些其他 bug","2024-05-15T03:34:06",{"id":206,"version":207,"summary_zh":208,"released_at":209},306140,"1.1.1","## 变更：\n* 添加了Gemma模板和下载链接\n* 增加了关于未选择模型时创建聊天的警告提示\n* 修复了一些错误","2024-05-04T14:49:55",{"id":211,"version":212,"summary_zh":213,"released_at":214},306141,"1.1.0","## 变更：\n* llama.cpp 更新至 b2717\n* 新增 Phi3、Mamba（仅 CPU）、gemma、StarCoder2、GritLM、Command-R、MobileVLM_V2、qwen2moe 模型\n* 支持 IQ1_S、IQ2_S、IQ2_M、IQ3_S、IQ4_NL、IQ4_XS 的量化\n* 性能优化\n* 修复了启用 EOS 选项时的崩溃问题\n* 修复了图像方向问题","2024-04-25T18:27:55",{"id":216,"version":217,"summary_zh":218,"released_at":219},306142,"1.0.1","## Changes:\r\n* Fixed some bugs that could cause the application to crash\r\n* When you clear the message history, the model context is also cleared\r\n* Added the ability to hide the keyboard, to do this tap anywhere in the chat window\r\n* Added ability to temporarily disable chat autoscrolling by tapping anywhere in the chat window, autoscrolling will be enabled automatically when sending a new message\r\n\r\n\r\n\r\n\r\n\\*If you are getting \"strange\" prediction results in version 1.0.1, but everything was fine in version 1.0.0, try disabling the BOS option in the template.","2024-03-20T18:40:50",{"id":221,"version":222,"summary_zh":223,"released_at":224},306143,"1.0.0","## Changes:\r\n* Added support for multimodal models MobileVLM, Yi-VL, LLaVA, Obsidian (tested on mobileVLM 3B)\r\n* Fixed crash on switch model\r\n* Fixed a bug that could cause a crash on startup of feintune\r\n* Some UI improvements \r\n* Fixed some other errors","2024-03-19T14:55:42",{"id":226,"version":227,"summary_zh":228,"released_at":229},306144,"0.9.5","## Changes:\r\n* llama.cpp updated to b2135\r\n* Added the ability to download models from the application menu\r\n* Added progress indicator for model loading\r\n* Fixed disappearing keyboard bug\r\n* Fixed some other bugs","2024-02-25T17:55:01",{"id":231,"version":232,"summary_zh":233,"released_at":234},306145,"0.9.2","## Changes:\r\n* Added possibility to specify System Prompt, which will be added to the text of the first message in the session. See [FAQ.](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fwiki\u002FFAQ)\r\n* Added ability to clone chat (without message history)\r\n* Chats are sorted by last modification date\r\n* Clear chat history button is placed on the toolbox.\r\n* You can now use both `{prompt}` and `{{prompt}}` designations in templates\r\n* Fixed a bug with displaying already deleted chats and models\r\n* Fixed some other bugs\r\n* Templates have been updated","2024-02-12T15:14:44",{"id":236,"version":237,"summary_zh":238,"released_at":239},306146,"0.9.0","## Changes: \r\n* llama.cpp updated to b1891\r\n* added support for Phi2, TinyLlama and other models\r\n* various GUI improvements\r\n* added clear chat button\r\n* user templates improve\r\n* fixed token to string [issue](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fissues\u002F20)\r\n* fixed gpt2 metal\r\n* fixed many other errors ","2024-01-20T11:57:38",{"id":241,"version":242,"summary_zh":243,"released_at":244},306147,"0.8.1","## Changes: \r\n* fixed autoscroll\r\n\r\n** Metal support temporary disabled for GPT2 models\r\n** More about LoRA here https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fblob\u002Fmain\u002Flora.md","2023-12-14T16:06:17",{"id":246,"version":247,"summary_zh":248,"released_at":249},306148,"0.8.0","## Changes: \r\n* llama.cpp updated to b1601\r\n* added support for StableLM-3b-4e1t models\r\n* added support for Qwen models\r\n* added the possibility to merge LoRA with the model\r\n* added merge and train LoRA progress bar\r\n* added the possibility to save user templates\r\n* added multyline input\r\n* fixed many other errors \r\n\r\n** Metal support temporary disabled for GPT2 models\r\n** More about LoRA here https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fblob\u002Fmain\u002Flora.md","2023-12-05T10:48:56",{"id":251,"version":252,"summary_zh":253,"released_at":254},306149,"0.7.5","## Changes: \r\n* added LoRA train support `experimental`\r\n* add BOS\u002FEOS token to begin\u002Fend of prompt options\r\n* handle special tokens options\r\n* model loading indication\r\n* token\u002Fsec indicator on message\r\n* fixed some errors \r\n\r\n** Due to high RAM consumption LoRA training on iPhone is possible only on Pro models\r\nIt is recommended to use q8_0 quantization for LoRA training. \r\n","2023-11-14T17:41:16",{"id":256,"version":257,"summary_zh":258,"released_at":259},306150,"0.7.0.1","## Changes: \r\n* added special token support for prompt template like \\\u003Cs\\>User: {{prompt}}\\\u003C\u002Fs\\> \r\n* fixed tokenizer bug that could cause application crashing","2023-10-20T19:41:50",{"id":261,"version":262,"summary_zh":263,"released_at":264},306151,"0.7.0","## Changes: \r\n* llama.cpp updated to b1396\r\n* added support for MPT models\r\n* added support for Bloom models\r\n* added support Metal for q5_0, q5_1 quantization\r\n* gpt-2 now with Metal support\r\n* LoRA adapters support  (*More about LoRA [here](https:\u002F\u002Fgithub.com\u002Fguinmoon\u002FLLMFarm\u002Fblob\u002Fmain\u002Flora.md)*)\r\n* fixed mirostat for non llama\r\n* fixed premature completion of predictions\r\n* fixed many other errors \r\n\r\n","2023-10-19T14:36:58"]