GraphGPT

GitHub
828 81 较难 1 次阅读 3天前Apache-2.0语言模型
AI 解读 由 AI 自动生成，仅供参考

GraphGPT 是一款专为提升大语言模型（LLM）图数据理解能力而设计的开源框架，由香港大学数据智能实验室与百度联合研发，相关成果已入选 SIGIR 2024 全文论文。

传统大模型擅长处理文本，但在面对复杂的图结构数据（如社交网络、知识图谱）时往往表现不佳。GraphGPT 通过创新的“图指令微调”技术，成功搭建了图结构与自然语言之间的桥梁。它让大模型不仅能“读”懂节点和边的关系，还能直接响应关于图数据的复杂查询与分析指令，有效解决了通用大模型在图领域任务中推理能力不足的问题。

该项目特别适合人工智能研究人员、算法工程师以及对图机器学习感兴趣的开发者使用。其核心技术亮点在于提出了两阶段指令微调策略：第一阶段让模型学习图结构基础，第二阶段强化其对特定图任务的指令遵循能力。此外，团队近期更新了轻量级训练代码，显著降低了硬件门槛，用户仅需两张 24GB 显存的 NVIDIA 3090 显卡即可完成完整的微调流程，极大地促进了该技术在学术研究和工业落地中的普及与应用。

使用场景

某电商平台的推荐算法团队正试图利用大语言模型（LLM）分析复杂的用户 - 商品交互图谱，以生成更具解释性的个性化推荐理由。

没有 GraphGPT 时

  • 结构信息丢失：直接将图谱数据转化为文本序列输入 LLM，导致用户与商品间复杂的多跳连接关系被切断，模型无法理解深层关联。
  • 推理幻觉严重：面对“为什么推荐此商品”的指令，模型常编造不存在的交互路径，生成的理由缺乏事实依据，难以取信于用户。
  • 微调成本高昂：为了让通用模型理解图结构，需构造海量特定格式的训练数据，且在消费级显卡上难以完成全量指令微调。
  • 泛化能力薄弱：模型仅能记忆训练集中的特定图谱模式，一旦遇到新用户或新商品构成的子图，推理效果急剧下降。

使用 GraphGPT 后

  • 图指令对齐：GraphGPT 通过专门的图指令微调机制，让 LLM 直接“读懂”图拓扑结构，精准捕捉用户兴趣的传播路径。
  • 可解释性增强：模型能基于真实的图遍历路径生成推荐理由（如“因为您购买了 A，且 A 与 B 有强共现关系”），显著减少幻觉。
  • 高效轻量部署：借助其优化的两阶段训练代码，团队仅需两张 RTX 3090 显卡即可完成微调，大幅降低了算力门槛。
  • 零样本泛化提升：在未见过的图谱子结构上，GraphGPT 仍能保持稳定的推理能力，快速适应动态变化的电商数据环境。

GraphGPT 成功打破了大语言模型与图数据之间的壁垒，让复杂的结构化知识成为 LLM 可理解、可推理的核心能力。

运行环境要求

操作系统
  • Linux
GPU
  • 必需 NVIDIA GPU
  • 轻量级训练方案最低需 2 张 NVIDIA 3090 (每张 24GB 显存)
  • 需支持 CUDA 11.8
内存

未说明

依赖
notes1. 必须使用 PyTorch 2.1+ 及对应的 CUDA 11.8 环境。 2. 若使用旧版图数据，需从 HuggingFace 下载更新后的图数据以确保兼容性。 3. 如遇 Flash Attention 报错，需在代码中注释相关替换函数。 4. 项目涉及复杂的图神经网络依赖 (PyG 系列库)，安装时需严格匹配 PyTorch 版本对应的 wheel 地址。
python未说明 (需配合 PyTorch 2.1+)
torch==2.1.0
torchvision==0.16.0
torchaudio==2.1.0
torch_geometric
pyg_lib
torch_scatter
torch_sparse
torch_cluster
torch_spline_conv
lightning
GraphGPT hero image

快速开始

GraphGPT：面向大型语言模型的图指令微调

唐嘉斌, 杨宇浩, 魏伟, 石磊, 程苏琪, 殷大伟 和 黄超*. (*通讯作者 )

数据智能实验室@香港大学, 百度公司。

YouTube

此仓库托管了GraphGPT（SIGIR'24 全文赛道）的代码、数据及模型权重。

🎉 新闻

  • [2024.03.26]🎯🎯📢📢我们的 GraphGPT 已被 SIGIR'24 全文赛道接收（录取率仅为 20.1%）！祝贺 GraphGPT 团队全体成员！🎉🎉🎉
  • [2023.12.26]🎯🎯📢📢我们已更新高效轻量级训练代码。借助更新后的脚本，仅需两块 NVIDIA 3090 显卡（每块 24 GB）即可完成两阶段指令微调。具体的部署与微调方法如下：🎄🎄

0. 环境更新：

轻量级训练需要 PyTorch 2.1+，因此我们需要更新相关库： 

# 如果您之前已经为 GraphGPT 搭建过环境
pip uninstall torch
pip uninstall torchvision
pip uninstall torchaudio
# CUDA 11.8
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

# 更新 pyg 以适配 PyTorch 2.1+
pip install torch_geometric
pip install pyg_lib torch_scatter torch_sparse torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-2.1.0+cu118.html

# 安装 Lightning
pip install lightning

1. 更新图数据

由于兼容性问题，如果您正在使用之前发布的图数据，我们建议您按照提供的链接下载并更新：更新后的图数据。

2. 运行脚本

您可以按以下步骤运行脚本：

阶段-1：

cd path/to/GraphGPT
sh ./scripts/tune_script/graphgpt_stage1.sh

阶段-2：

cd path/to/GraphGPT
sh ./scripts/tune_script/graphgpt_stage2.sh
  • [2023.12.14]📢📢感谢研究社区的支持。我们在下面的FAQ列表中整理了关于运行和环境问题的常见问题解答，请查阅。祝大家提前圣诞快乐！🎄🎄
FQA

🎯🎯📢📢 我们对在🤗 Huggingface 上的 GraphGPT 所使用的模型和数据进行了重大更新。强烈建议您参考下表以获取更多详细信息：

🤗 Huggingface 地址 🎯 描述
huggingface.co/Jiabin99/GraphGPT-7B-mix-all 这是我们基于 Vicuna-7B-v1.5 训练的 GraphGPT 检查点，该模型在指令数据集 Arxiv-PubMed-mix-NC-LP 上进行了微调。
huggingface.co/Jiabin99/Arxiv-PubMed-GraphCLIP-GT 这是使用文本-图对齐技术，在 Arxiv 和 PubMed 数据上训练的预训练图变换器（GT）检查点。
huggingface.co/datasets/Jiabin99/Arxiv-PubMed-mix-NC-LP 这是一个结合节点分类（NC）和链接预测（LP）的混合指令数据集，适用于 Arxiv 和 PubMed。
huggingface.co/datasets/Jiabin99/GraphGPT-eval-instruction 我们发布了所有用于评估的指令数据集。
huggingface.co/datasets/Jiabin99/All_pyg_graph_data 我们整合了所有使用的图数据。
huggingface.co/datasets/Jiabin99/graph-matching 这是用于图匹配阶段的指令数据集。

  • [2023.10.28]📢📢 关于中文版说明，请参阅这篇文章：文章链接。

  • [2023.10.26]🔥🔥 发布我们使用的指令数据。

  • [2023.10.26]🔥🔥 发布我们的 GraphGPT 检查点以及预训练的图编码器。

  • [2023.10.23] 🚀🚀 我们的 GraphGPT 全文论文已在 https://arxiv.org/abs/2310.13023 上发布。请查阅并给我们提供更多反馈！

  • [2023.10.15] 🚀🚀 发布 GraphGPT 的代码。

👉 TODO

  • 探索 our GraphGPT 在更多图学习任务中的潜力。
  • ...

简要介绍

我们提出了 GraphGPT 框架，该框架通过图指令微调范式，将大型语言模型与图结构知识对齐。

  • 利用文本-图对齐进行结构信息编码。 为了增强大型语言模型对图结构信息的理解，我们的框架强调将图结构的编码与自然语言空间对齐。这种对齐旨在使语言模型能够有效理解和解释图的结构元素，从而充分利用其固有的语言理解能力。为此，我们引入了一种文本-图对齐范式，生成能够为语言模型保留图结构上下文的提示。这一范式充当桥梁，将文本信息的语义理解与图中固有的结构关系联系起来。
  • 双阶段图指令微调。 本文提出的双阶段图指令微调范式建立在指令微调的基础上，而指令微调最近被引入以提高语言模型在特定领域的适应性。在此范式中，我们旨在将模型的语言能力与图学习任务的细微差别相匹配，从而使语言模型能够针对图结构化数据生成更准确、更符合上下文的响应。
  • 思维链（CoT）蒸馏。 面对多样化的图数据时，语言模型可能会遇到新的或不熟悉的模式和结构。这种分布变化可能会给生成准确且连贯的响应带来挑战，尤其是在不同类型的图数据中节点类别数量不同的情况下。为了解决这一挑战并提高在分布变化情况下的准确性，必须赋予我们的 GraphGPT 分步推理能力。为此，我们提出了利用思维链（COT）技术[47]，该技术明确地模拟思维过程和推理步骤。通过引入 COT，我们的语言模型提高了生成文本的一致性和连贯性，使其能够遵循逻辑清晰的思想发展脉络，从而更好地理解和推理给定的图数据。

有关更多技术细节，请参阅我们的论文 https://arxiv.org/abs/2310.13023 以及项目网站 https://graphgpt.github.io/。

使用指南

目录：

1. 代码结构 [回到顶部]

.
├── README.md
├── assets
│   ├── demo_narrow.gif
│   ├── screenshot_cli.png
│   ├── screenshot_gui.png
│   ├── server_arch.png
│   └── vicuna_logo.jpeg
├── format.sh
├── graphgpt
│   ├── __init__.py
│   ├── constants.py
│   ├── conversation.py
│   ├── eval
│   │   ├── README.md
│   │   ├── requirements.txt
│   │   ├── run_graphgpt.py
│   │   ├── run_graphgpt_LP.py
│   │   ├── run_vicuna.py
│   │   └── script
│   │       └── run_model_qa.yaml
│   ├── model
│   │   ├── GraphLlama.py
│   │   ├── __init__.py
│   │   ├── apply_delta.py
│   │   ├── apply_lora.py
│   │   ├── builder.py
│   │   ├── compression.py
│   │   ├── convert_fp16.py
│   │   ├── graph_layers
│   │   │   ├── __init__.py
│   │   │   ├── bpe_simple_vocab_16e6.txt.gz
│   │   │   ├── clip_graph.py
│   │   │   ├── graph_transformer.py
│   │   │   ├── mpnn.py
│   │   │   └── simple_tokenizer.py
│   │   ├── make_delta.py
│   │   ├── model_adapter.py
│   │   ├── model_registry.py
│   │   ├── monkey_patch_non_inplace.py
│   │   └── utils.py
│   ├── protocol
│   │   └── openai_api_protocol.py
│   ├── serve
│   │   ├── __init__.py
│   │   ├── api_provider.py
│   │   ├── bard_worker.py
│   │   ├── cacheflow_worker.py
│   │   ├── cli.py
│   │   ├── controller.py
│   │   ├── gateway
│   │   │   ├── README.md
│   │   │   └── nginx.conf
│   │   ├── gradio_block_arena_anony.py
│   │   ├── gradio_block_arena_named.py
│   │   ├── gradio_css.py
│   │   ├── gradio_patch.py
│   │   ├── gradio_web_server.py
│   │   ├── gradio_web_server_multi.py
│   │   ├── huggingface_api.py
│   │   ├── inference.py
│   │   ├── model_worker.py
│   │   ├── monitor
│   │   │   ├── basic_stats.py
│   │   │   ├── clean_battle_data.py
│   │   │   ├── elo_analysis.py
│   │   │   ├── hf_space_leaderboard_app.py
│   │   │   └── monitor.py
│   │   ├── openai_api_server.py
│   │   ├── register_worker.py
│   │   ├── test_message.py
│   │   └── test_throughput.py
│   ├── train
│   │   ├── graphchat_trainer.py
│   │   ├── llama_flash_attn_monkey_patch.py
│   │   ├── train_graph.py
│   │   ├── train_lora.py
│   │   └── train_mem.py
│   └── utils.py
├── playground
│   ├── inspect_conv.py
│   ├── test_embedding
│   │   ├── README.md
│   │   ├── test_classification.py
│   │   ├── test_semantic_search.py
│   │   ─…

# 请填写以下路径以运行我们GraphGPT的第一阶段！
model_path=../vicuna-7b-v1.5-16k
instruct_ds=./data/stage_1/graph_matching.json
graph_data_path=./graph_data/all_graph_data.pt
pretra_gnn=clip_gt_arxiv
output_model=./checkpoints/stage_1

wandb offline
python -m torch.distributed.run --nnodes=1 --nproc_per_node=4 --master_port=20001 \
    graphgpt/train/train_mem.py \
    --model_name_or_path ${model_path} \
    --version v1 \
    --data_path ${instruct_ds} \
    --graph_content ./arxiv_ti_ab.json \
    --graph_data_path ${graph_data_path} \
    --graph_tower ${pretra_gnn} \
    --tune_graph_mlp_adapter True \
    --graph_select_layer -2 \
    --use_graph_start_end \
    --bf16 True \
    --output_dir ${output_model} \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 2400 \
    --save_total_limit 1 \
    --learning_rate 2e-3 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --lazy_preprocess True \
    --report_to wandb

3.3. 提取训练好的投影器 [回到顶部]

我们可以通过填写extract_projector.sh中的空白来提取第一阶段训练好的投影器。示例如下：

# 请填写以下路径以提取第一阶段的投影器！
src_model=./checkpoints/stage_1
output_proj=./checkpoints/stage_1_projector/stage_1_projector.bin

python3.8 ./scripts/extract_graph_projector.py \
  --model_name_or_path ${src_model} \
  --output ${output_proj}

3.4. 任务特定指令调优 [回到顶部]

  • 准备数据： 我们的任务特定指令数据可以选择多种形式，例如标准或COT（思维链）节点分类、链接预测，或者混合数据进行多任务学习。请参考 task_specific。

  • 开始调优： 完成上述步骤后，您可以通过填写graphgpt_stage2.sh中的空白来开始第二阶段调优。示例如下：

# 请填写以下路径以运行我们GraphGPT的第二阶段！
model_path=../vicuna-7b-v1.5-16k
instruct_ds=./data/stage_2/data_all_mix.json
graph_data_path=./graph_data/all_graph_data.pt
pretra_gnn=clip_gt_arxiv
tuned_proj=./checkpoints/stage_1_projector/stage_1_projector.bin
output_model=./checkpoints/stage_2

wandb offline
python -m torch.distributed.run --nnodes=1 --nproc_per_node=4 --master_port=20001 \
    graphgpt/train/train_mem.py \
    --model_name_or_path ${model_path} \
    --version v1 \
    --data_path ${instruct_ds} \
    --graph_content ./arxiv_ti_ab.json \
    --graph_data_path ${graph_data_path} \
    --graph_tower ${pretra_gnn} \
    --pretrain_graph_mlp_adapter ${tuned_proj} \
    --tune_graph_mlp_adapter True \
    --graph_select_layer -2 \
    --use_graph_start_end True\
    --bf16 True \
    --output_dir ${output_model} \
    --num_train_epochs 2 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 50000 \
    --save_total_limit 1 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --dataloader_num_workers 4 \
    --lazy_preprocess True \
    --report_to wandb

4. 评估GraphGPT [回到顶部]

4.1. 准备检查点和数据 [回到顶部]

  • 检查点： 您可以使用自己的模型或我们发布的检查点来评估GraphGPT。
  • 数据： 我们为不同的图数据集划分了测试集，并准备了用于评估的指令数据。请参考 evaluating。

4.2. 运行评估 [回到顶部]

您可以填写graphgpt_eval.sh中的空白来开始第二阶段的评估。示例如下：

# 请填写以下路径以提取第二阶段的投影器！
output_model=./checkpoints/stage_2
datapath=./data/eval/arxiv_nc.json
graph_data_path=./graph_data/all_graph_data.pt
res_path=./output_stage_2_arxiv_nc
start_id=0
end_id=20000
num_gpus=2

python3.8 ./graphgpt/eval/run_graphgpt.py --model-name ${output_model}  --prompting_file ${datapath} --graph_data_path ${graph_data_path} --output_res_path ${res_path} --start_id ${start_id} --end_id ${end_id} --num_gpus ${num_gpus}

联系方式

如有任何问题或反馈，请随时联系Jiabin Tang。

杂项

@HKUDS/GraphGPT的星标罗列

@HKUDS/GraphGPT的叉子罗列

星历史图表

引用

如果您在研究或应用中发现GraphGPT有用，请引用：

@articles{tang2023graphgpt,
title={GraphGPT: Graph Instruction Tuning for Large Language Models}, 
author={Jiabin Tang and Yuhao Yang and Wei Wei and Lei Shi and Lixin Su and Suqi Cheng and Dawei Yin and Chao Huang},
year={2023},
eprint={2310.13023},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

致谢

您可以参考作为我们框架和代码库基础的相关工作， Vicuna, LLaVa, 我们也部分借鉴了MiniGPT-4的灵感。在文本-图对齐设计方面，我们采用了G2P2的实现。我们的网站和README.md的设计则受到了NExT-GPT的启发。感谢这些优秀的工作成果。

常见问题

相似工具推荐

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 158.1k|★★☆☆☆|今天
开发框架Agent语言模型

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|1周前
语言模型图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。

★ 87.6k|★★☆☆☆|1周前
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85.1k|★★☆☆☆|6天前
图像数据工具视频

funNLP

funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。

★ 79.9k|★☆☆☆☆|1周前
语言模型数据工具其他

gpt4all

GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。 对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。 技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。

★ 77.3k|★☆☆☆☆|5天前
语言模型开发框架