Alpaca.cpp

在您的设备上本地运行一个快速的类 ChatGPT 模型。下面的屏幕录像未加速，是在搭载 4GB 权重的 M2 版 MacBook Air 上运行的。

该项目结合了 LLaMA 基础模型 和 斯坦福 Alpaca 的开源复现版 alpaca-lora，后者是对基础模型进行微调以遵循指令（类似于用于训练 ChatGPT 的 RLHF），并在此基础上对 llama.cpp 进行了一系列修改，添加了聊天界面。

建议改用 LLaMA.cpp

alpaca.cpp 中的改动现已合并到 llama.cpp 的主分支中。

快速入门（7B）

从 最新发布 下载对应您操作系统的压缩包。Windows 用户下载 alpaca-win.zip，Mac（Intel 或 ARM）用户下载 alpaca-mac.zip，Linux（x64）用户下载 alpaca-linux.zip。

然后下载 ggml-alpaca-7b-q4.bin，将其放置于压缩包中的 chat 可执行文件所在的同一目录下。有多种选项可供选择：

下载完模型权重并将其放入与 chat 或 chat.exe 可执行文件相同的目录后，运行以下命令：

./chat

这些权重基于 alpaca-lora 公开的微调结果，通过一个修改后的脚本将其转换回 PyTorch 检查点，随后使用 llama.cpp 的常规方法进行量化。

从源码构建（MacOS/Linux）

git clone https://github.com/antimatter15/alpaca.cpp
cd alpaca.cpp

make chat
./chat

从源码构建（Windows）

• 下载并安装 CMake：https://cmake.org/download/
• 下载并安装 git。如果您从未使用过 git，可以考虑使用图形化客户端，例如 https://desktop.github.com/。
• 使用您选择的 git 客户端克隆此仓库（对于 GitHub Desktop，依次点击“文件”->“克隆仓库”->“从 URL”，并将 https://github.com/antimatter15/alpaca.cpp 粘贴为 URL）。
• 在您克隆仓库的文件夹内打开 Windows 终端。
• 依次运行以下命令：

cmake .
cmake --build . --config Release

• 通过上述“快速入门”部分中的任一链接下载权重，并将文件保存为 ggml-alpaca-7b-q4.bin 放置在 Alpaca 主目录中。
• 在终端窗口中运行以下命令：

.\Release\chat.exe

• （您还可以根据需要在同一行添加其他启动选项，如 --n 8）
• 现在您可以在终端中与 AI 对话，它会作出回应。尽情享受吧！

致谢

本项目结合了 Facebook 的 LLaMA、斯坦福 Alpaca、alpaca-lora 以及 Eric Wang 提供的相应权重（该权重基于 Jason Phang 在 Hugging Face Transformers 上实现的 LLaMA；详见 此处），还有 Georgi Gerganov 的 llama.cpp。聊天功能的实现基于 Matvey Soloviev 为 llama.cpp 添加的交互模式。灵感来源于 Simon Willison 关于 LLaMA 的入门指南。此外，Andy Matuschak（见 此处）提出的将此方法扩展至 13B 参数规模的思路，也借鉴了 Sam Witteveen 提供的 13B 参数微调权重（详见 Hugging Face）。

免责声明

请注意，这些模型权重仅可用于研究目的。它们是 LLaMA 的衍生作品，并使用了斯坦福 Alpaca 项目公开的指令数据，而这些数据是由 OpenAI 生成的。OpenAI 明确禁止将自身输出用于训练竞争性模型。

Alpaca.cpp 快速上手指南

Alpaca.cpp 允许你在本地设备上运行一个类似 ChatGPT 的快速对话模型。它结合了 LLaMA 基础模型、Stanford Alpaca 的微调权重以及 llama.cpp 的聊天接口修改。

注意：本项目的相关功能已合并至上游项目 llama.cpp，建议新用户优先考虑直接使用 llama.cpp。若需体验本特定版本，请参考以下指南。

环境准备

• 操作系统：
  • macOS (支持 Intel 和 ARM/M 系列芯片)
  • Linux (x64 架构)
  • Windows (需安装 CMake 和 Git)
• 硬件要求：
  • 内存：建议至少 8GB（运行 7B 量化模型）。示例中在 4GB 权重的 M2 Macbook Air 上流畅运行。
• 前置依赖 (仅源码编译需要)：
  • Linux/macOS: make, g++ (通常包含在 build-essential 或 Xcode Command Line Tools 中)。
  • Windows:
    • CMake
    • Git 或 GitHub Desktop

安装步骤

你可以选择下载预编译包（推荐）或从源码编译。

方法一：使用预编译包 (推荐)

1. 下载程序： 访问 最新 Release 页面，根据你的系统下载对应压缩包：

   • Windows: alpaca-win.zip
   • macOS: alpaca-mac.zip
   • Linux: alpaca-linux.zip

   解压后，你将看到 chat (或 chat.exe) 可执行文件。

2. 下载模型权重： 下载 7B 量化模型文件 ggml-alpaca-7b-q4.bin。

   • 国内用户提示：如果 HuggingFace 下载缓慢，可尝试使用国内镜像站（如 ModelScope 魔搭社区）搜索同名文件下载，或使用代理加速。

3. 放置文件： 将下载的 ggml-alpaca-7b-q4.bin 文件移动到与 chat (或 chat.exe) 相同的文件夹目录下。

方法二：从源码编译

macOS / Linux

git clone https://github.com/antimatter15/alpaca.cpp
cd alpaca.cpp

make chat

编译完成后，同样需要手动下载 ggml-alpaca-7b-q4.bin 并放入当前目录。

Windows

1. 克隆仓库：

   git clone https://github.com/antimatter15/alpaca.cpp
   cd alpaca.cpp
   

2. 配置并构建：

   cmake .
   cmake --build . --config Release
   

3. 将下载的 ggml-alpaca-7b-q4.bin 文件放入项目根目录。

基本使用

确保模型文件 ggml-alpaca-7b-q4.bin 与可执行文件在同一目录下，然后在终端中运行：

macOS / Linux

./chat

Windows

.\Release\chat.exe

(注：如果你使用的是预编译的 Windows zip 包且直接在解压目录运行，可能只需输入 .\chat.exe)

启动后，你可以在终端直接输入指令与 AI 对话。例如：

>>> Write a poem about spring.

可选参数： 你可以在命令后添加参数，例如限制生成长度：

./chat --n 8

---

免责声明：本模型权重仅供研究使用。其衍生自 LLaMA，并使用了由 OpenAI 生成的 Stanford Alpaca 指令数据，该数据的使用条款禁止用于训练竞争模型。