LLMFarm

该应用目前在 TestFlight 和 App Store 中暂时不可用。

                   

  

---

LLMFarm 是一款适用于 iOS 和 macOS 的大型语言模型（LLM）应用。它允许用户加载具有特定参数的不同 LLM。借助 LLMFarm，您可以在 iOS 和 macOS 上测试不同 LLM 的性能，并为您的项目找到最合适的模型。
基于 ggml 和 llama.cpp，由 Georgi Gerganov 开发。

功能

• macOS (13+)
• iOS (16+)
• 多种推理方式
• 多种采样方法
• Metal（在 Intel Mac 上无法工作）
• 模型设置模板
• 恢复上下文状态
• Apple 短路徑
• RAG

推理模型

• LLaMA
• Gemma
• Phi
• GPT2 + Cerebras
• Starcoder(Santacoder)
• Falcon
• MPT
• Bloom
• StableLM-3b-4e1t
• Qwen
• Yi 模型
• Deepseek 模型
• Mixtral MoE
• PLaMo-13B
• Mamba
• RWKV
• GPTNeoX

完整列表请见 这里。

多模态

• LLaVA 1.5 模型, LLaVA 1.6 模型
• BakLLaVA
• Obsidian
• ShareGPT4V
• MobileVLM 1.7B/3B 模型
• Yi-VL
• Moondream

注意：对于 Falcon、Alpaca、GPT4All、中文 LLaMA / Alpaca 和中文 LLaMA-2 / Alpaca-2、Vigogne（法语）、Vicuna、Koala、OpenBuddy（多语言）、Pygmalion/Metharme、WizardLM、Baichuan 1 & 2 + 衍生模型、Aquila 1 & 2、Mistral AI v0.1、Refact、Persimmon 8B、MPT、Bloom，请在模型设置中选择 llama 推理。

采样方法

• 温度（temp、tok-k、top-p）
• 尾部自由采样（TFS）
• 局部典型采样
• Mirostat
• 贪心
• 文法规则

入门指南

您可以在 FAQ 部分 找到一些问题的答案。

推理选项

创建聊天时，会生成一个 JSON 文件，您可以在其中指定额外的推理选项。聊天文件位于“chats”目录中。您可以在此处查看所有推理选项 这里。

模型

您可以在 这里 找到部分支持的模型。

开发

llmfarm_core 已被移至一个 独立仓库。要构建 llmfarm，您需要递归克隆此仓库：

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

同时还使用了以下开源项目：

• rwkv.cpp 由 saharNooby 提供
• Mia 由 byroneverson 提供
• LlamaChat 由 alexrozanski 提供
• swift-markdown-ui 由 gonzalezreal 提供
• similarity-search-kit 由 ZachNagengast 提供

❤️ 支持本项目

LLMFarm 快速上手指南

LLMFarm 是一款基于 ggml 和 llama.cpp 开发的 iOS 和 macOS 应用，允许用户在苹果设备上本地运行多种大型语言模型（LLM），支持模型性能测试、参数调整及多模态推理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：
  • macOS 13.0 (Ventura) 或更高版本
  • iOS 16.0 或更高版本
• 开发工具：
  • 最新版本的 Xcode（需包含 Swift 和 Metal 支持）
  • Git（用于克隆代码库）
• 硬件建议：
  • 推荐使用搭载 Apple Silicon (M1/M2/M3) 芯片的 Mac 以获得最佳的 Metal 加速性能。
  • 注意：Metal 加速在 Intel Mac 上目前不可用。

安装步骤

由于核心组件 llmfarm_core 已移至独立仓库，构建时必须递归克隆子模块。

1. 克隆项目仓库 打开终端，执行以下命令克隆代码及其子模块：

   git clone --recurse-submodules https://github.com/guinmoon/LLMFarm
   

   (国内用户若遇到连接超时，可配置 Git 代理或使用镜像源加速)

2. 打开项目 进入项目目录并打开 Xcode 工程文件：

   cd LLMFarm
   open LLMFarm.xcodeproj
   

   (注：如果目录下是 .xcworkspace 文件，请使用 open LLMFarm.xcworkspace)

3. 编译与运行

   • 在 Xcode 中选择目标设备（My Mac 或连接的 iPhone/iPad）。
   • 点击 Run (▶️) 按钮进行编译和部署。
   • 如果是真机调试，需要在项目设置中配置你的 Team ID 以进行代码签名。

基本使用

1. 准备模型文件

LLMFarm 支持多种架构的模型（如 LLaMA, Gemma, Phi, Qwen, Yi, Deepseek 等），模型文件格式通常为 GGUF。

• 你可以从 Hugging Face 下载预转换的 GGUF 模型。
• 将下载好的 .gguf 模型文件通过 AirDrop、iTunes 文件或直接在 Xcode 中拖入应用的 models 目录（具体取决于构建配置，通常应用启动后需在界面内导入模型）。

2. 创建聊天会话

启动应用后，按照以下步骤开始对话：

1. 新建聊天：在主界面点击创建新聊天。
2. 选择模型：从列表中选择你已导入的 GGUF 模型。
3. 配置推理参数（可选）：
   • 系统会自动生成一个 JSON 配置文件（位于 chats 目录），你可以在其中微调参数。
   • 支持调整采样方法（Temperature, Top-P, TFS, Mirostat 等）。
   • 重要提示：对于 Falcon, Alpaca, Baichuan, Mistral, Bloom, MPT 等特定模型，请在模型设置中将推理类型手动选为 llama inference。
4. 开始对话：输入提示词即可开始本地推理。

3. 高级功能

• 多模态支持：加载 LLaVA, BakLLaVA, Moondream 等模型可实现图文理解功能。
• 上下文状态保存：支持保存和恢复对话上下文状态，避免重复计算。
• Apple Shortcuts：可通过系统“快捷指令”App 调用 LLMFarm 进行自动化任务。
• RAG (检索增强生成)：在设置中启用 RAG 功能，可让模型基于本地文档库回答问题。

提示：更多详细的推理参数说明和模型兼容性列表，请参考项目官方文档或 Wiki。