🎒 local.ai

一款用于本地、私有、安全的 AI 实验的桌面应用。开箱即用的功能包括：

• 一个经过验证的模型 API 和模型下载器，附带推荐硬件规格、模型许可证、blake3/sha256 哈希值等详细信息。
• 一个简单的笔记应用，每条笔记都可以单独配置推理参数。笔记及其配置会以纯文本 .mdx 格式输出。
• 一个模型推理流式服务端（/completion 端点，类似于 OpenAI）。

它旨在与 https://github.com/alexanderatallah/window.ai/ 搭配使用，以便快速搭建并运行本地推理服务器。通过 window.ai + local.ai，任何 Web 应用都可以在不产生开发者或用户成本的情况下利用 AI！

目前，local.ai 的核心基于 https://github.com/rustformers/llm 这个 Rust crate。快去看看吧，它们非常酷！

🚀 安装

访问 https://www.localai.app/，点击对应你机器架构的按钮即可下载。你也可以在 GitHub 发布页面 手动找到构建版本。

Windows 和 macOS 的二进制文件由 Plasmo Corp. 签名——这是一家由本项目作者 (@louisgv) 拥有的公司。

你也可以 从源码构建！

📺 演示

🧵 开发

以下是在本地运行该项目的方法：

先决条件

1. node >= 18
2. rust >= 1.69
3. pnpm >= 8

工作流程

git submodule update --init --recursive
pnpm i
pnpm dev

🪪 许可证

• 桌面/Web 应用：GNU GPLv3
• 客户端 SDK：MIT

🤔 小知识

为什么是背包？

这与“自带模型”的概念相关联——来自 window.ai 的 Alex

为什么采用 GPLv3？

所有与 AI 相关的内容，包括其衍生作品，都应开源，供所有人审查。GPLv3 正好强制执行这一开源链条。

是否有社区？

• GitHub 讨论区
• 请查看这个 投票

我应该在哪里提问？

• 这里

我用 local.ai 做了点东西，应该发到哪里？

• 这里

我对 local.ai 有一些好评，应该发到哪里？

• 这里
• 另外，也别忘了给这个仓库点个 Star ⭐️

名称看起来和 LocalAI 很像？

• 当我刚开始这个项目并注册了 localai.app 这个域名时，完全不知道还有 LocalAI 这个项目。五月中旬，一位朋友给我转发了那个项目的链接，我当时就想：糟糕，那就加个点号算了（至少暂时如此）——local “dot” ai 对比 LocalAI，哈哈。
• 我们可能会 重新命名项目。

接受贡献/PR 吗？

当然！请注意，对该仓库的任何贡献都将被重新许可为 GPLv3。贡献的方式有很多，例如：

• 通过 wiki 编辑提交文档，以及已知模型的文档编写。
• 测试并提交 BUG 报告。
• 对于初学者，可以查看 Good First Issues。
• 对于经验丰富的开发者，可以查看 Unassigned Help Wanted Issues。

local.ai 快速上手指南

local.ai 是一款桌面端应用，专为本地、私密且安全的 AI 实验设计。它内置了模型下载器、支持按笔记配置推理参数的笔记应用，以及兼容 OpenAI 格式的流式推理服务器。配合 window.ai 使用，可让任何 Web 应用零成本调用本地 AI 能力。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows 或 macOS（提供已签名二进制文件），也支持 Linux（需源码编译）。
• Node.js：版本 >= 18
• Rust：版本 >= 1.69
• 包管理器：pnpm 版本 >= 8

提示：国内开发者安装 Node.js 和 Rust 时，如遇下载缓慢，建议配置国内镜像源（如淘宝 npm 镜像、rustup 国内镜像）以加速安装过程。

安装步骤

您可以选择直接下载预编译版本或从源码构建。

方式一：下载预编译包（推荐）

1. 访问官方网站：https://www.localai.app/
2. 根据您的机器架构点击对应的下载按钮。
3. 或者前往 GitHub Release 页面 手动下载最新版本的二进制文件。

方式二：从源码构建

如果您需要自定义开发或预编译包无法满足需求，请按以下步骤操作：

# 1. 克隆项目并初始化子模块
git submodule update --init --recursive

# 2. 安装依赖
pnpm i

# 3. 启动开发模式
pnpm dev

基本使用

local.ai 的核心工作流是“下载模型 -> 创建笔记 -> 自动启动服务”。

1. 启动应用：运行安装好的 desktop app 或通过 pnpm dev 启动开发版。
2. 下载模型：
   • 在应用内使用内置的 Model Downloader。
   • 查看模型的推荐硬件配置、许可证信息及哈希值（blake3/sha256），选择适合的模型进行下载。
3. 创建笔记与配置：
   • 新建一个笔记（Note）。
   • 在该笔记中配置专属的推理参数（Inference Config）。
   • 笔记内容及其配置将保存为纯文本 .mdx 格式。
4. 调用推理服务：
   • 应用会自动运行一个流式推理服务器，提供 /completion 端点。
   • 该接口行为类似 OpenAI API，可直接被其他应用调用。
5. 集成 Web 应用（可选）：
   • 安装并配置 window.ai 浏览器扩展。
   • 此时，支持 window.ai 的网页应用即可无缝连接到 local.ai 运行的本地服务，实现免费且私密的 AI 功能体验。