Alpaca Electron

Alpaca Electron 从零开始构建，旨在成为与羊驼 AI 模型对话的最简单方式。无需命令行或编译！

---

重要提示：

目前仅支持 Windows 系统。支持 GGUF 格式的新型 llama.cpp 二进制文件尚未为其他平台构建。
如果您愿意提供帮助，请提交拉取请求，并更新 ./bin 中的二进制文件。

📃 功能与待办事项

• 在您的本地计算机上运行，除下载模型外无需互联网连接
• 体积小巧、效率高，因为其后端使用了 llama.cpp，该库也支持 Alpaca 和 Vicuna 模型
• 支持 CPU 运行，无需昂贵显卡即可使用
• 无外部依赖，所有内容均包含在安装程序中
• 界面“借鉴”自那款流行的聊天 AI :trollface:
• 支持 Windows、MacOS 和 Linux（未测试）
• 已 Docker 化 🐋
• 上下文记忆功能
• 聊天历史记录
• 与 Stable Diffusion 集成
• 集成 DuckDuckGo 实现网络访问
• GPU 加速（cuBLAS 和 openBLAS）

🎞 演示

🚀 快速入门指南

1. 下载一个 Alpaca 模型（推荐使用 7B 原生版本），并将其放置在您电脑上容易找到的位置。

注意
本仓库不会提供下载链接。

2. 从 发布页面 下载最新的安装程序。

3. 打开安装程序，等待安装完成。

4. 安装完成后，程序会提示您输入有效的模型路径。此时，请前往您存放模型的文件夹，按住 Shift 键，右键单击该文件，然后选择“复制为路径”。接着将此路径粘贴到对话框中并点击“确认”。

5. 程序会自动重启。现在您可以开始聊天了！

注意
程序也接受任何其他 4 位量化 .bin 格式的模型文件。如果您能找到其他 .bin 格式的 Alpaca 模型，可以替代快速入门指南中推荐的模型进行尝试。不过，请务必谨慎对待从网上下载的内容。

🔧 故障排除

一般情况

• 如果在粘贴模型路径时出现“无效文件路径”的错误，很可能是路径中存在拼写错误。请重新复制路径或使用文件选择器。
• 如果出现“无法加载模型”的错误，可能是因为您的模型已损坏或不兼容。请尝试重新下载模型。
• 如果遇到此处未列出的问题或故障，请在本页顶部的“Issues”标签页中创建一个问题，详细描述发生的情况，并附上截图。

Windows

• 如果模型已加载到内存中，但文本生成似乎并未开始，请检查您的 CPU 是否支持 AVX2 指令集。如果不支持 AVX2，Alpaca Electron 将改用 AVX，但速度会慢很多，请耐心等待。
• 如果出现“vcruntime140_1.dll 丢失”的错误，或者根本没有任何反应且模型未加载到内存中，请尝试安装 Microsoft Visual C++ Redistributable。

MacOS

• 如果出现“应用无法打开，因为它来自未识别的开发者”的错误，请前往“应用程序”文件夹。按住 Control 键并点击该应用，然后选择“打开”，再在弹出警告时再次点击“打开”。系统会保存您的偏好设置，此后您就可以正常打开该应用了。
• 如果上述方法无效，请在终端中运行以下命令：xattr -cr /Applications/Alpaca\ Electron.app/

Linux

• 您可以从发布页面下载预编译的应用程序包（tar.gz 格式），解压后通过执行 ./alpaca electron 来运行；也可以自行编译该应用。

• 如果您想自行编译：

克隆仓库：

git clone https://github.com/ItsPi3141/alpaca-electron.git

切换当前目录至 alpaca-electron：

cd alpaca-electron

安装应用特定依赖项：

npm install --save-dev

编译应用：

npm run linux-x64

切换当前目录至构建目标：

cd release-builds/'Alpaca Electron-linux-x64'

运行应用：

./'Alpaca Electron'

Docker Compose

• 您可以通过 Docker Compose 运行此 Electron 应用程序。为此，您需要完成以下步骤：

克隆仓库：

git clone https://github.com/ItsPi3141/alpaca-electron.git

切换当前目录至 alpaca-electron：

cd alpaca-electron

构建容器镜像：

docker compose build

启动应用容器：

docker compose up -d

• 如果没有窗口打开，请运行 docker compose up（不带 -d）。如果出现类似“需要授权，但未指定授权协议”的错误，请在 Docker 主机上运行 xhost local:root。

⚒️ 构建

前置条件

• Node.js
• Git
• 如果您使用的是 Windows 并计划编译 llama.cpp 的二进制文件，还需要 CMake。

（可选） 从源码编译 llama.cpp

1. 克隆 llama.cpp 的 GitHub 仓库

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

2. 编译 llama.cpp 在 Windows 上：

mkdir build
cd build
cmake ..
cmake . --config Release

在 Linux 和 MacOS 上：

make

从源代码运行项目

1. 克隆 GitHub 仓库

git clone https://github.com/ItsPi3141/alpaca-electron
cd alpaca-electron

2. 安装 Node.js 依赖包

npm install
npm run rebuild

提示 如果您使用的是 Linux 系统，请将 npm run rebuild 替换为 npm run rebuild-linux

3. （可选） 使用您自己的 llama.cpp 构建

警告
此步骤并非必需。仅当您自行编译了 llama.cpp 并希望使用该构建时才执行。否则，请跳至 第 4 步。 如果您在上一节中已编译 llama.cpp，请将 main 可执行文件复制到 alpaca-electron 文件夹内的 bin 目录中。

请确保替换正确的文件。例如，如果您使用的是 Windows 系统，请用您的文件替换 chat.exe；如果您使用的是 arm64 架构的 macOS，则替换 chat_mac_arm64，以此类推。

4. 启动 Electron 应用程序

npm start

构建发布版本及安装程序

运行以下命令之一：

• npm run win
• npm run mac-x64
• npm run mac-arm64
• npm run linux-x64

您只能在当前操作系统上构建对应平台的版本。例如，如果您使用的是 Windows 系统，则只能构建 Windows 版本，而无法构建 macOS 或 Linux 版本。

👨‍💻 致谢

感谢 @antimatter15 创建了 alpaca.cpp，也感谢 @ggerganov 创建了 llama.cpp，它们是 alpaca.cpp 的核心基础。最后，感谢 Meta 和斯坦福大学分别开发的 LLaMA 和 Alpaca 模型。

特别感谢 @keldenl 提供了适用于 macOS 的 arm64 架构构建，以及 @W48B1T 提供的 Linux 构建。

Alpaca Electron 快速上手指南

Alpaca Electron 是一款基于 Electron 和 llama.cpp 构建的桌面应用，旨在让用户无需命令行或编译过程即可在本地轻松与 Alpaca AI 模型对话。它完全在本地运行（除下载模型外无需联网），仅依赖 CPU 即可运行，无需昂贵的显卡。

1. 环境准备

系统要求

• 操作系统：
  • Windows（首选，支持最完善）
  • macOS（支持 Intel x64 及 Apple Silicon arm64）
  • Linux（支持 x64，部分功能可能需自行构建）
• 硬件要求：
  • 无需独立显卡，依靠 CPU 运行。
  • Windows 用户若遇到生成缓慢，请确保 CPU 支持 AVX2 指令集（不支持将自动降级为 AVX，速度较慢）。
• 内存建议：运行 7B 参数模型建议至少 8GB-16GB 内存。

前置依赖

• 普通用户：无需安装任何额外依赖，安装包已包含所有必要组件。
• 开发者（源码构建）：
  • Node.js
  • Git
  • (可选) CMake（仅当需要重新编译 llama.cpp 时）
  • (Windows 特有) 若运行报错缺失 vcruntime140_1.dll，请安装 Microsoft Visual C++ Redistributable。

2. 安装步骤

方法一：使用预编译安装包（推荐）

1. 下载模型文件 下载一个 Alpaca 模型文件（推荐 7B 版本，格式为 .bin 的 4-bit 量化文件）。

   注意：本仓库不提供模型下载链接，请自行从可信来源获取。

2. 下载安装程序 访问项目的 Releases 页面，下载对应操作系统的最新安装包（Windows 为 .exe，macOS 为 .dmg 或 .zip，Linux 为 .tar.gz）。

3. 执行安装 运行下载的安装程序并按照提示完成安装。

4. 配置模型路径

   • 启动程序，它会弹窗要求输入模型文件的有效路径。
   • 找到你下载的模型文件，按住 Shift 键并右键点击该文件，选择"复制为路径" (Copy as Path)。
   • 将路径粘贴到程序的对话框中，点击 Confirm。
   • 程序将自动重启并加载模型。

   macOS 用户特别提示： 若提示"无法打开，因为来自身份不明的开发者”，请前往“应用程序”文件夹，按住 Control 键点击应用图标，选择“打开”，然后在警告框中再次点击“打开”。或者在终端执行：

   xattr -cr /Applications/Alpaca\ Electron.app/
   

方法二：Docker 部署（适用于 Linux/高级用户）

# 1. 克隆仓库
git clone https://github.com/ItsPi3141/alpaca-electron.git
cd alpaca-electron

# 2. 构建容器镜像
docker compose build

# 3. 运行容器
docker compose up -d

注：若界面未弹出，尝试运行 docker compose up（去掉 -d）。若出现授权错误，请在宿主机运行 xhost local:root。

方法三：源码构建（开发者）

# 1. 克隆项目
git clone https://github.com/ItsPi3141/alpaca-electron.git
cd alpaca-electron

# 2. 安装依赖
npm install
# Linux 用户请使用：npm run rebuild-linux
# 其他平台使用：
npm run rebuild

# 3. (可选) 替换自编译的 llama.cpp
# 若你自行编译了 llama.cpp，将生成的可执行文件复制到 ./bin 目录覆盖对应文件
# 例如 Windows 覆盖 chat.exe，macOS arm64 覆盖 chat_mac_arm64

# 4. 启动应用
npm start

# 5. (可选) 构建发布版安装包
# 只能在当前系统构建对应系统的包
npm run win        # Windows
npm run mac-x64    # macOS Intel
npm run mac-arm64  # macOS Apple Silicon
npm run linux-x64  # Linux

3. 基本使用

1. 启动对话：完成模型路径配置并重启后，主界面将自动显示聊天窗口。
2. 开始聊天：在底部输入框输入你的问题或指令，按下回车键，AI 将在本地生成回复。
3. 上下文记忆：程序支持上下文记忆，你可以进行多轮对话，AI 会记得之前的聊天内容。
4. 切换模型：若想尝试其他模型，只需关闭程序，重新运行安装程序或在设置中（如有）指向新的 .bin 模型文件路径即可。

提示：首次运行时，根据模型大小和 CPU 性能，生成第一个字可能需要几秒钟请耐心等待。