llamafile

llamafile 让你能够用单个文件分发和运行大型语言模型（LLM）。

llamafile 是 Mozilla Builders 项目（参见其 公告博客文章），现由 Mozilla.ai 重新打造。

我们的目标是让开源大型语言模型对开发者和最终用户都更加易于访问。我们通过将 llama.cpp 与 Cosmopolitan Libc 结合到一个框架中来实现这一目标，该框架将所有 LLM 的复杂性简化为单个可执行文件（称为“llamafile"），可在大多数操作系统和 CPU 架构上本地运行，无需安装。

llamafile 还包含 [whisperfile](whisperfile/index.md)，这是一个基于 whisper.cpp 和相同的 Cosmopolitan 打包技术的单文件语音转文本工具。它支持在所有相同平台上进行音频文件的转录和翻译，无需安装。

v0.10.0

从 0.10.0 版本开始的 llamafile 使用新的构建系统，旨在使我们的代码更容易与最新版本的 llama.cpp 保持同步。这意味着它们支持更新的模型和功能，但同时也可能缺少你习惯的一些功能（查看 此文档 以了解已完成工作的概述）。如果你更喜欢“经典体验”，你始终可以从我们的 releases 页面访问之前的版本。我们的预构建 llamafile 始终显示它们捆绑了哪个版本的服务器（0.9.* 示例，0.10.* 示例），因此你将始终知道你下载的是哪个版本的软件。

我们想听听你的意见！ 无论你是新用户还是老粉丝，请分享你认为 llamafile 最有价值的地方，以及什么会让它对你更有用。 通过博客阅读更多内容 并在 此处 加入讨论。

Quick Start

在几分钟内下载并运行你的第一个 llamafile：

# Download an example model (Qwen3.5 0.8B)
curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10.0/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile

# Make it executable (macOS/Linux/BSD)
chmod +x Qwen3.5-0.8B-Q8_0.llamafile

# Run it
./Qwen3.5-0.8B-Q8_0.llamafile

我们选择这个模型是因为它是我们要构建 llamafile 的最小模型，因此最有可能让你开箱即用。如果你有强大的硬件和/或 GPU（图形处理器），随意选择 更大、表现力更强的模型，它们应该能提供更准确的响应。

Windows 用户： 运行前请将文件名重命名以添加 .exe 扩展名。

Documentation

查看 docs/ 文件夹中的完整文档，或在 mozilla-ai.github.io/llamafile 上查看，或直接跳转到以下子部分之一：

• 快速开始
• 示例 llamafile
• 运行 llamafile
• 创建 llamafile
• 源码安装
• 技术细节
• 支持的系统
• 故障排除
• Whisperfile

Licensing

虽然 llamafile 项目采用 Apache 2.0 许可，但我们针对 llama.cpp 和 whisper.cpp 所做的更改采用 MIT 许可（就像项目本身一样），以便在未来保持兼容并可向上游提交，如果这是所期望的话。

本页面上的 llamafile 标志是在 DALL·E 3 的协助下生成的。

llamafile 快速上手指南

环境准备

• 系统要求: 支持 macOS、Linux、BSD 及 Windows 操作系统。
• 硬件架构: 兼容大多数 CPU 架构（部分模型支持 GPU 加速）。
• 前置依赖: 无需安装 Python、PyTorch 或其他深度学习框架。仅需具备网络连接以下载模型文件，以及磁盘空间存储模型。
• 版本说明: 推荐使用 v0.10.0 及以上版本，该版本采用新构建系统，能更好地对齐 llama.cpp 最新特性。

安装步骤

llamafile 采用单文件架构，无需传统安装过程，下载并赋予权限即可使用。

1. 下载模型文件 以下载官方示例模型（Qwen3.5 0.8B）为例，该模型体积较小，适合快速验证环境：

   curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10.0/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
   

2. 赋予执行权限 在 macOS、Linux 或 BSD 系统上运行以下命令：

   chmod +x Qwen3.5-0.8B-Q8_0.llamafile
   

3. Windows 用户注意 请在运行前将文件重命名，添加 .exe 后缀（例如：Qwen3.5-0.8B-Q8_0.exe）。

基本使用

完成上述步骤后，直接在终端中运行该文件即可启动本地 LLM 服务。

./Qwen3.5-0.8B-Q8_0.llamafile

• 建议: 初学者建议先从小参数模型开始测试。若拥有高性能硬件或 GPU，可选择更大的模型以获得更准确的响应。
• 扩展功能: 工具包内还包含 whisperfile，支持音频文件的转录和翻译，无需额外安装。

如需了解详细配置、创建自定义 llamafile 或排查问题，请访问 官方文档。