LlamaBarn

LlamaBarn 是一款用于运行本地大模型的 macOS 菜单栏应用。

观看 2 分钟简介 📽️

安装

使用 brew install --cask llamabarn 进行安装，或从 Releases 下载。

工作原理

LlamaBarn 在 http://localhost:2276/v1 上运行一个本地服务器。

• 安装模型 — 从内置目录中选择
• 连接任何应用 — 聊天界面、编辑器、命令行工具、脚本等
• 按需加载模型 — 空闲时自动卸载

功能特性

• 100% 本地运行 — 模型在您的设备上运行；数据不会离开您的 Mac
• 占用空间小 — 原生 macOS 应用，仅需 12 MB
• 零配置 — 模型会根据您的 Mac 自动配置为最佳设置
• 智能模型目录 — 显示适合您设备的模型，并为不兼容的模型提供量化回退选项
• 自包含 — 所有模型和配置存储在 ~/.llamabarn 目录中（可配置）
• 基于 llama.cpp 构建 — 由 GGML 组织开发，与 llama.cpp 同步更新

兼容性

LlamaBarn 可与任何兼容 OpenAI 的客户端配合使用。

• 聊天界面 — Chatbox、Open WebUI、BoltAI（使用说明）
• 编辑器 — VS Code、Zed、Xcode（使用说明）
• 编辑器扩展 — Cline、Continue
• 命令行工具 — OpenCode（使用说明）、Claude Code（使用说明）
• 自定义脚本 — curl、AI SDK 等

LlamaBarn 运行时，您还可以使用内置的 WebUI，地址为 http://localhost:2276。

API 示例

# 列出已安装的模型
curl http://localhost:2276/v1/models

# 使用 Gemma 3 4B 进行对话（假设已安装）
curl http://localhost:2276/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "gemma-3-4b", "messages": [{"role": "user", "content": "你好"}]}'

将 gemma-3-4b 替换为 http://localhost:2276/v1/models 中的任意模型 ID。

完整的 API 参考请参阅 llama-server 的 文档。

实验性设置

对外暴露网络 — 默认情况下，服务器仅可通过 localhost 访问。此选项允许来自本地网络其他设备的连接。请仅在了解相关安全风险的情况下启用。

# 绑定到所有接口 (0.0.0.0)
defaults write app.llamabarn.LlamaBarn exposeToNetwork -bool YES

# 或绑定到特定 IP（例如用于 Tailscale）
defaults write app.llamabarn.LlamaBarn exposeToNetwork -string "100.x.x.x"

# 禁用（默认）
defaults delete app.llamabarn.LlamaBarn exposeToNetwork

路线图

• 支持从内置目录之外添加模型
• 支持同时加载多个模型
• 支持为每个模型配置多种参数（例如不同的上下文长度）

LlamaBarn 快速上手指南

LlamaBarn 是一款专为 macOS 设计的菜单栏应用，旨在让用户轻松在本地运行大型语言模型（LLM）。它基于 llama.cpp 构建，提供零配置、全自动的本地 AI 服务。

环境准备

• 操作系统：macOS（支持 Apple Silicon 及 Intel 芯片）
• 前置依赖：无特殊依赖，应用为原生打包（仅 12 MB），内置所需运行时环境。
• 网络要求：首次安装模型时需要网络连接，后续推理完全离线进行。

安装步骤

你可以通过 Homebrew 或直接下载安装包进行安装。

方式一：使用 Homebrew（推荐）

brew install --cask llamabarn

方式二：手动下载

访问 GitHub Releases 下载最新版本的 .dmg 文件，拖拽至应用程序文件夹即可。

基本使用

安装完成后，启动 LlamaBarn，它会自动在后台运行一个本地服务器（默认地址：http://localhost:2276/v1）。

1. 安装模型

打开 LlamaBarn 菜单栏图标，从内置的智能目录中选择适合你硬件的模型进行下载。应用会自动根据机型推荐最佳量化版本。

2. 调用模型

模型加载完成后，任何兼容 OpenAI API 的工具均可直接连接使用。

使用 curl 测试对话：

curl http://localhost:2276/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "gemma-3-4b", "messages": [{"role": "user", "content": "Hello"}]}'

注意：请将 gemma-3-4b 替换为你实际安装的模型 ID。可通过 curl http://localhost:2276/v1/models 查看已安装的模型列表。

3. 集成开发工具

• 代码编辑器：在 VS Code、Zed 或 Xcode 的 AI 插件设置中，将 API Base URL 指向 http://localhost:2276/v1。
• 聊天客户端：在 Chatbox、Open WebUI 等工具中选择"Custom Provider"并填入上述地址。
• 内置网页版：直接在浏览器访问 http://localhost:2276 即可使用内置的简易 Web 界面。

所有数据均在本地处理，无需担心隐私泄露。