Awesome-LLM

GitHub
26.6k 2.4k 非常简单 1 次阅读 今天CC0-1.0语言模型开发框架其他
AI 解读 由 AI 自动生成，仅供参考

Awesome-LLM 是一份精心整理的大型语言模型（LLM）资源清单，旨在为快速演进的 AI 领域提供一站式导航。面对大模型技术爆发式增长带来的信息过载与资源分散问题，它系统性地汇集了从里程碑式学术论文、开源模型权重、训练框架、部署工具，到评估基准、实战教程及行业洞察等全方位内容。无论是追踪 DeepSeek-R1、Qwen2.5-Max 等前沿项目，还是回顾 Transformer、BERT 等奠基性研究，用户都能在此找到权威链接。

这份资源特别适合 AI 研究人员、开发者及技术爱好者使用。研究人员可借此高效梳理技术演进脉络，获取最新论文；开发者能快速定位所需的训练框架、推理工具及开源代码，加速项目落地；学习者则能通过 curated 的课程与书籍入门大模型领域。其核心亮点在于“精选”与“全面”：不仅覆盖技术全链路，还特别关注如 ChatGPT 相关研究及公开可用的 API 与检查点，并持续更新热门项目动态。Awesome-LLM 如同大模型领域的专业地图，帮助用户在浩瀚的技术海洋中精准定位所需资源，降低学习与研发门槛，促进社区知识共享。

使用场景

某初创公司算法团队正计划基于开源模型构建垂直领域的智能客服系统，急需筛选合适的基座模型并复现前沿推理能力。

没有 Awesome-LLM 时

  • 信息检索低效：团队成员需在 arXiv、GitHub 和各类技术博客间反复跳转，耗费数天才能拼凑出完整的模型列表，极易遗漏如 DeepSeek-R1 等最新开源项目。
  • 资源验证困难：难以快速确认哪些模型提供了公开权重或 API，常陷入下载链接失效或文档缺失的困境，导致开发环境搭建多次受阻。
  • 技术选型盲目：缺乏系统的评测榜单（Leaderboard）和里程碑论文索引，无法客观对比不同架构（如 MoE 与传统 Transformer）的性能差异，选型全靠试错。
  • 学习曲线陡峭：新手成员找不到结构化的训练框架教程和课程资源，面对复杂的推理部署工具束手无策，拖慢整体研发进度。

使用 Awesome-LLM 后

  • 一站式获取资源：直接通过分类目录锁定"Open LLM"和"Trending Projects"板块，分钟级内即可找到 TinyZero、Qwen2.5-Max 等高质量候选模型及其代码仓库。
  • 精准定位可用资产：利用清单中明确标注的 Checkpoints 和 API 信息，迅速跳过不可用项目，直接将 DeepSeek-V3 等成熟模型集成到测试流程中。
  • 科学决策架构：参考"LLM Leaderboard"和"Milestone Papers"中的权威数据与经典文献，快速确立以高性价比推理模型为核心的技术路线。
  • 加速团队成长：成员依托"LLM Tutorials and Courses"板块的系统教程，迅速掌握训练框架与部署工具，大幅缩短从理论到落地的周期。

Awesome-LLM 将原本分散杂乱的全球大模型生态整合为有序的知识地图，让研发团队从“大海捞针”转变为“按图索骥”，显著提升了技术落地效率。

运行环境要求

GPU

未说明

内存

未说明

依赖
notesAwesome-LLM 本身不是一个可运行的软件工具或框架，而是一个 curated list（精选列表），主要包含关于大语言模型（LLM）的论文、开源项目、数据集、评估基准、训练框架、推理工具、教程和书籍等资源的链接集合。因此，它没有具体的操作系统、GPU、内存、Python 版本或依赖库的安装需求。用户需要根据列表中具体引用的子项目（如 TinyZero, DeepSeek-R1 等）的各自文档来配置相应的运行环境。
python未说明
Awesome-LLM hero image

快速开始

令人惊叹的大型语言模型 Awesome

🔥 大型语言模型（LLM）以迅猛之势席卷了自然语言处理社区 人工智能社区 整个世界。这里整理了一份关于大型语言模型的精选论文列表，尤其是与ChatGPT相关的研究。此外，还包含了用于训练LLM的框架、部署LLM的工具、有关LLM的课程和教程，以及所有公开可用的LLM检查点和API。

热门LLM项目

  • TinyZero - 清洁、极简、易于访问的DeepSeek R1-Zero复现版本
  • open-r1 - DeepSeek-R1的完全开源复现
  • DeepSeek-R1 - DeepSeek推出的第一代推理模型。
  • Qwen2.5-Max - 探索大规模MoE模型的智能潜力。
  • OpenAI o3-mini - 推动高性价比推理技术的前沿发展。
  • DeepSeek-V3 - 首个开源的GPT-4o级别模型。
  • Kimi-K2 - 具有320亿活跃参数和1万亿总参数的MoE语言模型。

目录

里程碑式论文

<摘要> 里程碑论文 </摘要>

日期 关键词 研究机构 论文
2017-06 变压器 Google 注意力就是你所需要的
2018-06 GPT 1.0 OpenAI 通过生成式预训练提升语言理解能力
2018-10 BERT Google BERT：面向语言理解的深度双向变压器预训练
2019-02 GPT 2.0 OpenAI 语言模型是无监督的多任务学习者
2019-09 Megatron-LM NVIDIA Megatron-LM：使用模型并行训练数千亿参数的语言模型
2019-10 T5 Google 探索统一文本到文本变换器迁移学习的极限
2019-10 ZeRO Microsoft ZeRO：面向训练万亿参数模型的内存优化技术
2020-01 扩展定律 OpenAI 神经语言模型的扩展定律
2020-05 GPT 3.0 OpenAI 语言模型是少样本学习者
2021-01 Switch Transformers Google Switch Transformers：通过简单高效的稀疏性扩展至万亿参数模型
2021-08 Codex OpenAI 对基于代码训练的大规模语言模型的评估
2021-08 基础模型 Stanford 关于基础模型的机会与风险
2021-09 FLAN Google 微调后的语言模型是零样本学习者
2021-10 T0 HuggingFace et al. 多任务提示训练实现零样本任务泛化
2021-12 GLaM Google GLaM：利用专家混合高效扩展语言模型
2021-12 WebGPT OpenAI WebGPT：基于浏览器的人工反馈问答系统
2021-12 Retro DeepMind 通过检索数万亿个标记改进语言模型
2021-12 Gopher DeepMind 语言模型的扩展：训练Gopher的方法、分析与见解
2022-01 COT Google 思维链提示在大型语言模型中激发推理能力
2022-01 LaMDA Google LaMDA：面向对话应用的语言模型
2022-01 Minerva Google 利用语言模型解决定量推理问题
2022-01 Megatron-Turing NLG Microsoft&NVIDIA 使用Deep和Megatron训练Megatron-Turing NLG 530B，一个大规模生成式语言模型
2022-03 InstructGPT OpenAI 通过人工反馈训练语言模型遵循指令
2022-04 PaLM Google PaLM：利用Pathways扩展语言建模
2022-04 Chinchilla DeepMind 训练计算最优的大规模语言模型
2022-05 OPT Meta OPT：开放的预训练Transformer语言模型
2022-05 UL2 Google 统一语言学习范式
2022-06 涌现能力 Google 大型语言模型的涌现能力
2022-06 BIG-bench Google 超越模仿游戏：量化和外推语言模型的能力
2022-06 METALM Microsoft 语言模型是通用接口
2022-09 Sparrow DeepMind 通过有针对性的人类判断改进对话代理的一致性
2022-10 Flan-T5/PaLM Google 扩展指令微调后的语言模型
2022-10 GLM-130B Tsinghua GLM-130B：一个开放的双语预训练模型
2022-11 HELM Stanford 语言模型的整体评估
2022-11 BLOOM BigScience BLOOM：一个1760亿参数的开源多语言语言模型
2022-11 Galactica Meta Galactica：一个用于科学领域的大型语言模型
2022-12 OPT-IML Meta OPT-IML：从泛化的视角扩展语言模型指令元学习
2023-01 Flan 2022 Collection Google Flan系列：为有效指令微调设计数据与方法
2023-02 LLaMA Meta LLaMA：开放且高效的底层语言模型
2023-02 Kosmos-1 Microsoft 语言并非全部所需：将感知与语言模型对齐
2023-03 LRU DeepMind 复活循环神经网络以处理长序列
2023-03 PaLM-E Google PaLM-E：一个具身的多模态语言模型
2023-03 GPT 4 OpenAI GPT-4技术报告
2023-04 LLaVA UW–Madison&Microsoft 视觉指令微调
2023-04 Pythia EleutherAI et al. Pythia：一套用于分析训练与扩展过程中大型语言模型的工具
2023-05 Dromedary CMU et al. 基于原则的自对齐语言模型：从零开始，仅需最少的人工监督
2023-05 PaLM 2 Google PaLM 2技术报告
2023-05 RWKV Bo Peng RWKV：为Transformer时代重新发明RNN
2023-05 DPO Stanford 直接偏好优化：你的语言模型其实是一个奖励模型
2023-05 ToT Google&Princeton 思维之树：利用大型语言模型进行深思熟虑的问题解决
2023-07 LLaMA2 Meta Llama 2：开放的基础模型与微调后的聊天模型
2023-10 Mistral 7B Mistral Mistral 7B
2023-12 Mamba CMU&Princeton Mamba：利用选择性状态空间实现线性时间序列建模
2024-01 DeepSeek-v2 DeepSeek DeepSeek-V2：一款强大、经济且高效的专家混合语言模型
2024-02 OLMo Ai2 OLMo：加速语言模型科学研究
2024-05 Mamba2 CMU&Princeton Transformer就是SSM：通过结构化状态空间对偶性实现通用模型与高效算法
2024-05 Llama3 Meta Llama 3系列模型
2024-06 FineWeb HuggingFace FineWeb数据集：大规模筛选网络以获取最优质文本数据
2024-09 OLMoE Ai2 OLMoE：开放的专家混合语言模型
2024-12 Qwen2.5 Alibaba Qwen2.5技术报告
2024-12 DeepSeek-V3 DeepSeek DeepSeek-V3技术报告
2025-01 DeepSeek-R1 DeepSeek DeepSeek-R1：通过强化学习激励LLM的推理能力

其他论文

[!NOTE] 如果你对大语言模型领域感兴趣，上述里程碑论文列表可以帮助你了解该领域的历史和发展现状。然而，大语言模型的每个研究方向都提供了独特的见解和贡献，这些对于全面理解整个领域至关重要。如需各个子领域的详细论文列表，请参阅以下链接：

其他论文

大型语言模型排行榜

  • Chatbot Arena 排行榜 - 一个用于大型语言模型（LLMs）的基准平台，以众包方式开展匿名、随机对决。
  • LiveBench - 一个具有挑战性且无污染的 LLM 基准测试。
  • Open LLM 排行榜 - 旨在跟踪、排名和评估新发布的 LLM 和聊天机器人。
  • AlpacaEval - 使用 Nous 基准套件对遵循指令的语言模型进行自动评估的工具。
其他排行榜
  • ACLUE - 一个专注于古代汉语理解的评估基准。
  • BeHonest - 一个开创性的基准，专门用于全面评估 LLM 的诚实性。
  • 伯克利函数调用排行榜 - 评估 LLM 调用外部函数或工具的能力。
  • 中文大模型排行榜 - 由专家主导的中文 LLM 基准测试。
  • CompassRank - CompassRank 致力于探索最先进的语言和视觉模型，为行业和研究提供全面、客观、中立的评估参考。
  • CompMix - 一个评估在混合异构输入源（知识库、文本、表格、信息框）上运行的问答方法的基准。
  • DreamBench++ - 一个用于评估大型语言模型（LLMs）在文本和视觉想象相关任务中表现的基准。
  • FELM - 一个元基准，用于评估事实核查器对大型语言模型（LLMs）输出的评估效果。
  • InfiBench - 一个专门用于评估大型语言模型（LLMs）回答现实世界编码相关问题能力的基准。
  • LawBench - 一个用于评估法律领域大型语言模型的基准。
  • LLMEval - 专注于理解这些模型在各种场景下的表现，并从可解释性的角度分析结果。
  • M3CoT - 一个评估大型语言模型在多种多模态推理任务上的基准，包括语言、自然科学与社会科学、物理与社会常识、时间推理、代数和几何等。
  • MathEval - 一个综合性的基准测试平台，旨在评估大型模型在 20 个领域、近 3 万道数学题目中的数学能力。
  • MixEval - 一个基于真实数据的动态基准，源自现成的基准组合，在本地快速运行（耗时和成本仅为 MMLU 的 6%），同时具备极高的模型排名相关性（与 Chatbot Arena 的相关性达 0.96）。
  • MMedBench - 一个评估大型语言模型跨多种语言回答医学问题能力的基准。
  • MMToM-QA - 一个多模态问答基准，用于评估 AI 模型理解人类信念和目标的认知能力。
  • OlympicArena - 一个用于评估 AI 模型在数学、物理、化学、生物等多个学科领域表现的基准。
  • PubMedQA - 一个生物医学问答基准，专为利用 PubMed 摘要回答科研相关问题而设计。
  • SciBench - 一个用于评估大型语言模型（LLMs）解决化学、物理和数学等领域复杂大学水平科学问题的基准。
  • SuperBench - 一个用于评估大型语言模型（LLMs）在多项任务上表现的基准平台，尤其关注其在自然语言理解、推理和泛化等方面的能力。
  • SuperLim - 一个瑞典语理解基准，评估自然语言处理（NLP）模型在论证分析、语义相似度和文本蕴含等多种任务上的表现。
  • TAT-DQA - 一个大规模文档视觉问答（VQA）数据集，专为复杂文档理解而设计，尤其是财务报告。
  • TAT-QA - 一个专注于现实世界金融数据的大规模问答基准，整合了表格和文本信息。
  • VisualWebArena - 一个用于评估多模态网络代理在真实视觉情境任务中表现的基准。
  • We-Math - 一个评估大型多模态模型（LMMs）进行类人数学推理能力的基准。
  • WHOOPS! - 一个基准数据集，通过违背常规预期的图像来测试 AI 对视觉常识的推理能力。

开源大模型

DeepSeek
阿里巴巴
Meta
Mistral AI
谷歌
苹果
微软
AllenAI
xAI
Cohere
01-ai
百川智能
Nvidia
BLOOM
智谱AI
OpenBMB
RWKV基金会
ElutherAI
Stability AI
BigCode
DataBricks
上海人工智能实验室
Moonshot AI

LLM 数据

参考：LLMDataHub

  • IBM data-prep-kit - 一个开源工具包，用于高效处理非结构化数据，提供预构建模块，并支持从本地到集群的可扩展性。
  • Datatrove - 通过提供一组与平台无关的可定制流水线处理模块，将数据处理从繁琐的脚本编写中解放出来。
  • Dingo - Dingo：一款全面的数据质量评估工具
  • FastDatasets - 一个强大的工具，用于为大型语言模型创建高质量的训练数据集

LLM 评估：

  • lm-evaluation-harness - 一个用于对语言模型进行少样本评估的框架。
  • lighteval - Hugging Face 内部一直在使用的轻量级 LLM 评估套件。
  • simple-evals - OpenAI 提供的评估工具。
其他评估框架
  • OLMO-eval - 一个用于评估开放语言模型的仓库。
  • MixEval - 一个可靠、开箱即用的评估套件，兼容开源和专有模型，支持 MixEval 等基准测试。
  • HELM - 语言模型综合评估（HELM），一个旨在提高语言模型透明度的框架。
  • instruct-eval - 此仓库包含用于定量评估 Alpaca 和 Flan-T5 等指令微调模型在未见任务上表现的代码。
  • Giskard - 针对 LLM 应用程序，尤其是 RAG 的测试与评估库。
  • LangSmith - LangChain 框架提供的统一平台，用于评估、协作（HITL）、日志记录和监控 LLM 应用程序。
  • Ragas - 一个帮助您评估检索增强生成（RAG）管道的框架。

LLM 训练框架

  • Meta Lingua - 一个精简、高效且易于修改的代码库，用于研究 LLM。
  • Litgpt - 包含 20 多种高性能 LLM，附带大规模预训练、微调和部署的配方。
  • nanotron - 极简主义的大规模语言模型 3D 并行训练。
  • DeepSpeed - DeepSpeed 是一个深度学习优化库，使分布式训练和推理变得简单、高效且富有成效。
  • Megatron-LM - 持续研究大规模 Transformer 模型的训练。
  • torchtitan - 一个原生 PyTorch 库，用于大规模模型训练。
其他框架
  • Megatron-DeepSpeed - NVIDIA Megatron-LM 的 DeepSpeed 版本，增加了对 MoE 模型训练、课程学习、3D 并行等特性的额外支持。
  • torchtune - 一个原生 PyTorch 库，用于 LLM 微调。
  • ROLL - 一个高效且易用的强化学习缩放库，适用于大型语言模型。
  • veRL - veRL 是一个灵活高效的 LLM 强化学习框架。
  • NeMo Framework - 一个面向研究人员和 PyTorch 开发者的生成式 AI 框架，专注于大型语言模型（LLMs）、多模态模型（MMs）、自动语音识别（ASR）、文本转语音（TTS）以及计算机视觉（CV）等领域。
  • Colossal-AI - 使大型 AI 模型更便宜、更快、更易获取。
  • BMTrain - 大模型的高效训练。
  • Mesh Tensorflow - Mesh TensorFlow：让模型并行更容易。
  • maxtext - 一个简单、高效且可扩展的 Jax LLM！
  • GPT-NeoX - 基于 DeepSpeed 库，在 GPU 上实现的模型并行自回归 Transformer 实现。
  • Transformer Engine - 一个用于加速在 NVIDIA GPU 上训练 Transformer 模型的库。
  • OpenRLHF - 一个易于使用、可扩展且高性能的 RLHF 框架（70B+ PPO 全量微调、迭代 DPO、LoRA、RingAttention 和 RFT）。
  • TRL - TRL 是一个全栈库，我们提供一系列工具，用于通过强化学习训练 Transformer 语言模型，涵盖监督微调（SFT）、奖励建模（RM）以及近端策略优化（PPO）等步骤。
  • unslothai - 一个专门从事高效微调的框架。在其 GitHub 页面上，您可以找到适用于各种 LLM 的即用型微调模板，让您能够轻松地在 Google Colab 云端免费使用自己的数据进行训练。
  • Axolotl - 一个开源的 LLM 微调和评估框架。它简化了尝试不同训练配置的过程，便于结果的复现和分享，支持 LoRA、QLoRA、DeepSpeed、PEFT 以及多 GPU 配置等功能。

大语言模型推理

参考：llm-inference-solutions

  • SGLang - SGLang 是一个用于大型语言模型和视觉语言模型的快速推理框架。
  • vLLM - 一个高吞吐量、内存高效的 LLM 推理与服务引擎。
  • llama.cpp - 使用 C/C++ 进行 LLM 推理。
  • ollama - 快速启动并运行 Llama 3、Mistral、Gemma 等大型语言模型。
  • TGI - 用于部署和提供大型语言模型（LLMs）服务的工具包。
  • TensorRT-LLM - NVIDIA 提供的 LLM 推理框架
其他部署工具
  • FasterTransformer - NVIDIA 的 LLM 推理框架（已过渡到 TensorRT-LLM）
  • MInference - 通过近似计算和动态稀疏注意力机制加速长上下文 LLM 的推理，在 A100 上预填充阶段可将推理延迟降低多达 10 倍，同时保持精度。
  • exllama - 针对量化权重优化的 Llama 模型实现，内存效率更高。
  • FastChat - 一个具有 Web UI 和 OpenAI 兼容 RESTful API 的分布式多模型 LLM 服务系统。
  • mistral.rs - 极速的 LLM 推理。
  • SkyPilot - 在任何云平台上运行 LLM 和批处理任务。通过简单的界面实现最大成本节约、最高 GPU 可用性以及托管式执行。
  • Haystack - 一个开源 NLP 框架，允许您使用来自 Hugging Face、OpenAI 和 Cohere 的 LLM 和基于 Transformer 的模型与自有数据进行交互。
  • OpenLLM - 用于在生产环境中微调、部署、服务和监控任何开源 LLM。已在 BentoML 的 LLM 相关应用中投入生产使用。
  • DeepSpeed-MII - MII 提供低延迟、高吞吐量的推理能力，类似于由 DeepSpeed 支持的 vLLM。
  • Text-Embeddings-Inference - Rust 实现的文本嵌入推理工具，采用 HFOIL 许可证。
  • Infinity - Python 实现的文本嵌入推理工具。
  • LMDeploy - 一个高吞吐量、低延迟的 LLM 和 VL 推理与服务框架。
  • Liger-Kernel - 高效的 Triton 内核，用于 LLM 训练。
  • prima.cpp - llama.cpp 的分布式实现，可在日常设备上运行 700 亿参数级别的 LLM。
  • deploy-llms-with-ansible - 使用 Ansible，只需少量配置即可轻松在虚拟机上部署任意 LLM。

LLM 应用

参考：awesome-llm-apps

  • dspy - DSPy：用于编程基础模型而非提示词的框架。
  • LangChain — 一个流行的 Python/JavaScript 库，用于串联语言模型的提示序列。
  • LlamaIndex — 一个 Python 库，用于通过数据增强 LLM 应用。
更多应用

  • MLflow - MLflow：一个用于端到端机器学习生命周期的开源框架，帮助开发者跟踪实验、评估模型/提示词、部署模型，并通过追踪功能增强可观ility。

  • Swiss Army Llama - 一套全面的工具集，用于在本地运行LLM并完成各种任务。

  • LiteChain - LangChain的轻量级替代方案，用于组合LLM。

  • magentic - 将LLM无缝集成为Python函数。

  • wechat-chatgpt - 通过Wechaty在微信上使用ChatGPT。

  • promptfoo - 测试你的提示词。评估和比较LLM的输出，捕捉回归问题，并提升提示词质量。

  • Agenta - 轻松构建、版本化、评估和部署基于LLM的应用程序。

  • Serge - 基于llama.cpp打造的聊天界面，用于运行Alpaca模型。无需API密钥，完全自托管！

  • Langroid - 使用多智能体编程驾驭LLM。

  • Embedchain - 一个框架，可在你的数据集上创建类似ChatGPT的聊天机器人。

  • Opik - 通过一系列可观ability工具，自信地评估、测试并交付LLM应用，以校准开发和生产周期中语言模型的输出。

  • IntelliServer - 通过提供统一的微服务来访问和测试多种AI模型，简化LLM的评估流程。

  • Langchain-Chatchat - 前身为langchain-ChatGLM，是一款结合Langchain的本地知识型LLM问答应用（如ChatGLM）。

  • Search with Lepton - 使用不到500行代码，由LeptonAI构建属于你自己的对话式搜索引擎。

  • Robocorp - 在任何地方使用Python创建、部署和运行Actions，以增强你的AI代理和助手。内置了丰富的库、辅助工具和日志记录功能。

  • Tune Studio - 开发者用于微调和部署LLM的游乐场。

  • LLocalSearch - 使用LLM链路在本地运行网络搜索。

  • AI Gateway — Gateway通过统一的API简化对100多种开源和闭源模型的请求。它已具备生产就绪条件，支持缓存、回退、重试、超时、负载均衡等功能，并可部署在边缘以实现最低延迟。

  • talkd.ai dialog - 一个简单的API，用于部署任何RAG或LLM，并可添加插件。

  • Wllama - llama.cpp的WebAssembly绑定，支持在浏览器中进行LLM推理。

  • GPUStack - 一个开源的GPU集群管理器，用于运行LLM。

  • MNN-LLM -- 一个设备端推理框架，支持在设备上（手机/PC/IoT）进行LLM推理。

  • CAMEL - 首个LLM多智能体框架。

  • QA-Pilot - 一个交互式聊天项目，利用Ollama/OpenAI/MistralAI的LLM快速理解并导航GitHub代码仓库或压缩文件资源。

  • Shell-Pilot - 在Linux（或MacOS）系统上通过纯Shell脚本与Ollama模型（或OpenAI、MistralAI）互动，增强智能系统管理能力，且无需任何依赖。

  • MindSQL - 一个Python包，用于文本转SQL，并具备自托管功能及兼容专有和开源LLM的RESTful API。

  • Langfuse - 开源LLM工程平台 🪢 支持追踪、评估、提示词管理、评测和游乐场。

  • AdalFlow - AdalFlow：用于构建和自动优化LLM应用的库。

  • Guidance — 微软推出的一款便捷Python库，采用Handlebars模板技术，实现生成、提示和逻辑控制的交织。

  • Evidently — 一个开源框架，用于评估、测试和监控ML及LLM驱动的系统。

  • Chainlit — 一个用于构建聊天机器人界面的Python库。

  • Guardrails.ai — 一个用于验证输出并重试失败的Python库。目前仍处于Alpha阶段，可能存在一些不完善之处。

  • Semantic Kernel — 微软推出的一套Python/C#/Java库，支持提示词模板、函数链式调用、向量化记忆和智能规划。

  • Prompttools — 一套开源的Python工具，用于测试和评估模型、向量数据库和提示词。

  • Outlines — 一个Python库，提供领域特定语言，以简化提示词设计并约束生成内容。

  • Promptify — 一个小型Python库，用于利用语言模型执行NLP任务。

  • Scale Spellbook — 一款付费产品，用于构建、比较和部署语言模型应用。

  • PromptPerfect — 一款付费产品，用于测试和优化提示词。

  • Weights & Biases — 一款付费产品，用于跟踪模型训练和提示词工程实验。

  • OpenAI Evals — 一个开源库，用于评估语言模型和提示词的任务表现。

  • Arthur Shield — 一款付费产品，用于检测毒性内容、幻觉现象、提示注入等问题。

  • LMQL — 一种用于与大语言模型交互的编程语言，支持类型化提示、控制流、约束条件和工具集成。

  • ModelFusion - 一个基于TypeScript的库，用于构建结合大语言模型及其他机器学习模型（如语音转文本、文本转语音、图像生成）的应用程序。

  • OneKE — 一个中英双语知识抽取模型，结合了知识图谱和自然语言处理技术。

  • llm-ui - 一个用于构建大语言模型用户界面的React库。

  • Wordware - 一个基于Web的集成开发环境，非技术领域的专家可以与AI工程师合作，共同构建特定任务的AI代理。我们把提示工程视为一种新的编程语言，而非低代码或无代码的积木式操作。

  • Wallaroo.AI - 可在任何环境中大规模部署、管理和优化各类模型，从云端到边缘端。帮助用户在几分钟内从Python笔记本过渡到推理阶段。

  • Dify - 一个开源的大语言模型应用开发平台，提供直观的界面，简化AI工作流程、模型管理和生产部署。

  • LazyLLM - 一个开源的大语言模型应用框架，以简单便捷的方式构建多智能体系统，支持模型部署和微调。

  • MemFree - 开源混合型AI搜索引擎，可即时从互联网、书签、笔记和文档中获取准确答案。支持一键部署。

  • AutoRAG - 一个开源的AutoML工具，专为RAG系统设计，能够自动优化RAG的回答质量。从生成评估数据集到部署优化后的RAG流水线，全程自动化。

  • Epsilla - 一个一体化的大语言模型代理平台，结合用户私有数据和知识，可在第一天就交付生产就绪的AI代理。

  • Arize-Phoenix - 一个开源的机器学习可观测性工具，可在用户的笔记本环境中运行。可用于监控和微调大语言模型、计算机视觉模型及表格数据模型。

  • LLM - 一个命令行工具和Python库，用于与大型语言模型交互，既可通过远程API使用，也可在本地安装并运行。

  • Just-Chat - 让你快速简便地创建自己的大语言模型代理并与之对话！

  • Agentic Radar - 一个开源的CLI安全扫描工具，专门用于检测智能体工作流中的漏洞，并生成交互式可视化图表及详细的安全报告。支持LangGraph、CrewAI、n8n、OpenAI Agents等框架。

  • LangWatch - 一个开源的大语言模型可观测性、提示评估和提示优化平台。

  • TensorZero - TensorZero是一个开源框架，用于构建生产级别的大语言模型应用。它整合了大语言模型网关、可观测性、优化、评估和实验功能。

大语言模型教程与课程

大语言模型相关书籍

关于大语言模型的精彩观点

其他

  • Emergent Mind - 由GPT-4精选并解读的最新AI资讯。
  • ShareGPT - 一键分享你最疯狂的ChatGPT对话。
  • 主要大语言模型及数据可用性
  • 500+最佳AI工具
  • Cohere Summarize Beta - 推出Cohere Summarize Beta：文本摘要的新端点
  • chatgpt-wrapper - ChatGPT Wrapper是一个开源的非官方Python API和CLI，允许你与ChatGPT互动。
  • Cursor - 使用强大的AI编写、编辑代码并与他人讨论。
  • AutoGPT - 一个实验性的开源应用，展示了GPT-4语言模型的能力。
  • OpenAGI - 当大语言模型遇到领域专家时。
  • EasyEdit - 一个易于使用的框架，用于编辑大型语言模型。
  • chatgpt-shroud - 一款适用于OpenAI ChatGPT的Chrome扩展程序，通过轻松隐藏和显示聊天记录来增强用户隐私。非常适合在屏幕共享时保护隐私。
  • 面向开发者的AI - 面向开发者的AI工具和智能体列表

贡献

这是一个活跃的仓库，欢迎你的贡献！

如果我对某些PR是否适合LLM感到不确定，我会保持它们开放，你可以通过为它们点赞来投票。

如果你对这份主观性强的列表有任何疑问，请随时联系我：chengxin1998@stu.pku.edu.cn。

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|昨天
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|昨天
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 142.7k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 107.9k|★★☆☆☆|今天
开发框架图像Agent

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|今天
插件开发框架

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|今天
语言模型图像Agent