GPT4All

现已支持 DeepSeek R1 精炼模型

官网 • 文档 • Discord • YouTube 教程

GPT4All 可以在日常的台式机和笔记本电脑上私密地运行大型语言模型（LLMs）。

无需 API 调用或 GPU，您只需下载应用程序并开始使用即可。

在我们的博客中了解最新动态。

订阅新闻通讯

https://github.com/nomic-ai/gpt4all/assets/70534565/513a0f15-4964-4109-89e4-4f9a9011f311

GPT4All 的实现得益于我们的计算合作伙伴 Paperspace。

下载链接

— Windows 安装程序 —

— Windows ARM 安装程序 —

— macOS 安装程序 —

— Ubuntu 安装程序 —

Windows 和 Linux 版本需要 Intel Core i3 第二代 / AMD Bulldozer 或更高配置。

Windows ARM 版本支持 Qualcomm Snapdragon 和 Microsoft SQ1/SQ2 处理器。

Linux 版本仅支持 x86-64 架构（不支持 ARM）。

macOS 版本需要 Monterey 12.6 或更高版本。使用 Apple Silicon M 系列处理器效果最佳。

更多详细信息请参阅完整的系统要求。

Flathub（社区维护）

安装 GPT4All Python 库

gpt4all 提供了基于 llama.cpp 实现的 Python 客户端，让您能够访问 LLMs。

Nomic 致力于推动像 llama.cpp 这样的开源软件发展，使 LLMs 对所有人来说都更加易用且高效。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # 下载并加载一个 4.66GB 的 LLM
with model.chat_session():
    print(model.generate("如何在我的笔记本电脑上高效运行 LLMs？", max_tokens=1024))

集成

:parrot::link: Langchain :card_file_box: Weaviate 向量数据库 - 模块文档 :telescope: OpenLIT（OTel 原生监控） - 文档

发布历史

• 2024年7月2日: V3.0.0 版本发布
  • 全新设计的聊天应用界面
  • 改进了 LocalDocs 的用户流程
  • 扩展了对更多模型架构的访问权限
• 2023年10月19日: GGUF 支持上线，包括：
  • Mistral 7b 基础模型、我们网站上更新的模型库，以及包括 Rift Coder v1.5 在内的多个新的本地代码模型
  • Nomic Vulkan 支持 GGUF 中的 Q4_0 和 Q4_1 量化
  • 支持离线构建，以便运行旧版本的 GPT4All 本地 LLM 聊天客户端
• 2023年9月18日: Nomic Vulkan 上线，支持在 NVIDIA 和 AMD GPU 上进行本地 LLM 推理
• 2023年7月: 稳定支持 LocalDocs 功能，该功能允许您私下、本地地与自己的数据进行对话
• 2023年6月28日: [基于 Docker 的 API 服务器] 上线，允许通过兼容 OpenAI 的 HTTP 端点对本地 LLM 进行推理

贡献

GPT4All 欢迎开源社区的贡献、参与和讨论！ 请参阅 CONTRIBUTING.md，并遵循 issues、bug reports 和 PR 的 markdown 模板。

请先查看项目 Discord、与项目负责人沟通，或查阅现有的 issues/PR，以避免重复工作。请务必为所有内容添加相关的项目标签，否则您的贡献可能会被忽略。例如：backend、bindings、python-bindings、documentation 等。

引用

如果您在下游项目中使用了本仓库、模型或数据，请考虑以下引用方式：

@misc{gpt4all,
  author = {Yuvanesh Anand 和 Zach Nussbaum 和 Brandon Duderstadt 和 Benjamin Schmidt 和 Andriy Mulyar},
  title = {GPT4All：利用从 GPT-3.5-Turbo 中大规模数据蒸馏训练的助手型聊天机器人},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/nomic-ai/gpt4all}},
}

GPT4All 快速上手指南

GPT4All 是一款允许你在普通桌面和笔记本电脑上**私有化运行大型语言模型（LLM）**的开源工具。它无需 API 调用，也无需昂贵的 GPU，即可在本地高效运行大模型。

1. 环境准备

系统要求

在下载或安装前，请确认你的设备满足以下最低硬件要求：

• Windows (x86-64) & Linux: 需要 Intel Core i3 第二代 / AMD Bulldozer 或更高版本处理器。
  • 注意：Linux 版本仅支持 x86-64 架构，不支持 ARM。
• Windows ARM: 支持 Qualcomm Snapdragon 和 Microsoft SQ1/SQ2 处理器。
• macOS: 需要 macOS Monterey 12.6 或更新版本。
  • 推荐：使用 Apple Silicon M 系列芯片可获得最佳性能。

前置依赖

• 桌面版用户：无需额外依赖，直接下载安装包即可。
• Python 开发者：需安装 Python 环境及 pip 包管理工具。

提示：国内用户若下载官方安装包速度较慢，可尝试使用网络加速工具，或通过项目提供的 Flathub 社区源（Linux）获取。

2. 安装步骤

你可以选择安装图形化桌面应用或直接通过 Python 库集成。

选项 A：安装桌面应用程序（推荐新手）

访问官网下载对应操作系统的安装包并运行：

• Windows (标准版): 下载链接
• Windows (ARM 版): 下载链接
• macOS: 下载链接
• Ubuntu/Linux: 下载链接
• Linux (Flathub):

  flatpak install flathub io.gpt4all.gpt4all
  

安装完成后，启动应用即可在界面内直接下载和管理模型。

选项 B：安装 Python 库（适合开发者）

通过 pip 安装 GPT4All 客户端，该库基于 llama.cpp 实现，支持高效的本地推理。

pip install gpt4all

国内加速提示：如果 pip 下载缓慢，建议使用国内镜像源：

pip install gpt4all -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

桌面版使用

1. 启动 GPT4All 应用程序。
2. 在模型列表中选择并下载一个模型（例如 Meta-Llama-3-8B-Instruct）。
3. 下载完成后，直接在聊天窗口输入问题即可开始对话。
4. 支持加载本地文档（LocalDocs）进行私有数据问答。

Python 代码示例

以下是最简单的 Python 调用示例，代码会自动下载并加载模型（约 4.66GB），然后生成回答：

from gpt4all import GPT4All

# 指定模型名称，首次运行会自动下载
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") 

# 开启聊天会话并生成回复
with model.chat_session():
    response = model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024)
    print(response)

说明：

• Meta-Llama-3-8B-Instruct.Q4_0.gguf 是模型文件名，程序会在首次运行时从官方服务器下载。
• max_tokens 用于限制生成的最大 token 数量。
• 所有计算均在本地完成，数据不会上传至云端。