👨🏻‍💻 大语言模型工程师工具包

本仓库按类别整理了120+个大语言模型相关的库。

AI研究工作流程（网络研讨会）

在本次网络研讨会上，您将学习如何逐步开展AI研究。立即报名

本次网络研讨会涵盖了AI研究工作流程的各个阶段：

• 学习研究所需的基础知识
• 确定研究课题
• 发现研究空白
• 提出研究思路
• 实施研究方案
• 选择会议或期刊投稿
• 撰写研究论文

相关仓库

• 👨🏻‍💻LLM面试题与答案集 - 100+道从基础到高级的大语言模型面试题及答案。
• 🚀提示工程技巧集 - 包含LangChain实现的25+种提示工程技巧。
• 🩸LLM、RAG和智能体综述论文合集 - 按类别整理的200+篇综述论文。

关注生成式AI、大语言模型、智能体和RAG最新动态

加入🚀 AIxFunda 免费通讯，获取与生成式AI、大语言模型、智能体和RAG相关的最新资讯以及有趣教程。

• ✨ 每周生成式AI动态
• 📄 每周LLM、智能体和RAG论文更新
• 📝 每周一篇关于有趣主题的新博客文章

快速链接

🚀 LLM训练	🧱 LLM应用开发	🩸LLM RAG
🟩 LLM推理	🚧 LLM服务	📤 LLM数据提取
🌠 LLM数据生成	💎 LLM智能体	⚖️ LLM评估
🔍 LLM监控	📅 LLM提示词	📝 LLM结构化输出
🛑 LLM安全与保障	💠 LLM嵌入模型	❇️ 其他

LLM训练与微调

库名	描述	链接
unsloth	用更少的内存更快地微调大语言模型。	链接
PEFT	业界领先的参数高效微调库。	链接
TRL	使用强化学习训练Transformer语言模型。	链接
Transformers	Transformers提供了数千个预训练模型，可用于处理文本、视觉和音频等多种模态的任务。	链接
Axolotl	旨在简化各类AI模型后训练过程的工具。	链接
LLMBox	一个用于实现大语言模型的综合库，包括统一的训练流水线和全面的模型评估。	链接
LitGPT	极速训练和微调大语言模型。	链接
Mergoo	一个可轻松合并多个LLM专家，并高效训练合并后模型的库。	链接
Llama-Factory	轻松高效的LLM微调。	链接
Ludwig	低代码框架，用于构建自定义LLM、神经网络及其他AI模型。	链接
Txtinstruct	一个用于训练指令微调模型的框架。	链接
Lamini	一个集成的LLM推理与微调平台。	链接
XTuring	xTuring提供对开源LLM（如Mistral、LLaMA、GPT-J等）进行快速、高效且简单的微调。	链接
RL4LMs	一个模块化的强化学习库，用于根据人类偏好微调语言模型。	链接
DeepSpeed	DeepSpeed是一个深度学习优化库，使分布式训练和推理变得简单、高效且有效。	链接
torchtune	一个专为微调LLM设计的PyTorch原生库。	链接
PyTorch Lightning	一个提供高层次接口以进行LLM预训练和微调的库。	链接

LLM应用开发

框架

库名称	描述	链接
LangChain	LangChain 是一个用于开发由大型语言模型（LLMs）驱动的应用程序的框架。	链接
Llama Index	LlamaIndex 是一个专为您的 LLM 应用程序设计的数据框架。	链接
HayStack	Haystack 是一个端到端的 LLM 框架，允许您构建由 LLM、Transformer 模型、向量搜索等技术驱动的应用程序。	链接
Prompt flow	一套旨在简化基于 LLM 的 AI 应用程序端到端开发流程的开发工具套件。	链接
Griptape	一个用于构建 AI 驱动应用程序的模块化 Python 框架。	链接
Weave	Weave 是一个用于开发生成式 AI 应用程序的工具包。	链接
Llama Stack	构建 Llama 应用程序。	链接

数据准备

库名称	描述	链接
Data Prep Kit	Data Prep Kit 加速了 LLM 应用开发者对非结构化数据的准备工作。开发者可以使用 Data Prep Kit 清洗、转换和丰富特定于用例的非结构化数据，以用于 LLM 的预训练、微调、指令微调或构建 RAG 应用程序。	链接

多 API 访问

库名称	描述	链接
LiteLLM	一个以 OpenAI 格式调用 100 多个 LLM API 的库。	链接
AI Gateway	一个集成护栏的超高速 AI 网关。通过一个快速友好的 API 路由至 200 多个 LLM 和 50 多个 AI 护栏。	链接

路由器

库名称	描述	链接
RouteLLM	一个用于部署和评估 LLM 路由器的框架——在不牺牲质量的前提下节省 LLM 成本。可直接替代 OpenAI 客户端，将较简单的查询路由到更便宜的模型。	链接

内存

库名称	描述	链接
mem0	您的 AI 应用程序的内存层。	链接
Memoripy	一个具有短期和长期存储、语义聚类以及可选记忆衰退功能的 AI 内存层，适用于上下文感知的应用程序。	链接
Letta (MemGPT)	一个开源框架，用于构建具有高级推理能力和透明长期记忆的状态感知 LLM 应用程序	链接
Memobase	一个基于用户档案的内存系统，旨在为您的生成式 AI 应用程序引入长期用户记忆。	链接

界面

库名称	描述	链接
Streamlit	一种更快捷的方式来构建和分享数据应用。Streamlit 可让您在几分钟内将 Python 脚本转化为交互式 Web 应用。	链接
Gradio	使用纯 Python 构建并分享令人愉悦的机器学习应用。	链接
AI SDK UI	构建聊天和生成式用户界面。	链接
AI-Gradio	创建由各种 AI 提供商驱动的 AI 应用程序。	链接
Simpleaichat	一个易于与聊天应用对接的 Python 包，具有强大的功能且代码复杂度极低。	链接
Chainlit	在几分钟内构建可用于生产的对话式 AI 应用程序。	链接

低代码

库名称	描述	链接
LangFlow	LangFlow 是一个用于构建 RAG 和多智能体 AI 应用程序的低代码应用生成器。它基于 Python，且不依赖于任何特定的模型、API 或数据库。	链接

缓存

库	描述	链接
GPTCache	用于为大语言模型查询创建语义缓存的库。将您的 LLM API 成本降低 10 倍 💰，速度提升 100 倍。与 LangChain 和 LlamaIndex 完全集成。	链接

LLM RAG

库	描述	链接
FastGraph RAG	针对可解释、高精度、代理驱动的检索工作流设计的简化且可提示的 Fast GraphRAG 框架。	链接
Chonkie	轻量级、极速且易于使用的 RAG 分块库。	链接
RAGChecker	用于诊断 RAG 的细粒度框架。	链接
RAG to Riches	构建、扩展并部署最先进的检索增强生成应用。	链接
BeyondLLM	Beyond LLM 提供了一个用于检索增强生成 (RAG) 系统实验、评估和部署的一体化工具包。	链接
SQLite-Vec	一种可在任何地方运行的向量搜索 SQLite 扩展！	链接
fastRAG	fastRAG 是一个高效优化的检索增强生成流水线研究框架，集成了最先进的大语言模型和信息检索技术。	链接
FlashRAG	用于高效 RAG 研究的 Python 工具包。	链接
Llmware	使用小型专用模型构建企业级 RAG 流水线的统一框架。	链接
Rerankers	各种重排序模型的轻量级统一 API。	链接
Vectara	构建代理式 RAG 应用程序。	链接

LLM 推理

库	描述	链接
llama.cpp	C/C++ 中的 LLM 推理。	链接
Ollama	本地 LLM 推理。	链接
vLLM	高吞吐量、内存高效的 LLM 推理与服务引擎。	链接
TensorRT-LLM	TensorRT-LLM 是一个用于优化大型语言模型 (LLM) 推理的库。	链接
WebLLM	高性能的浏览器内 LLM 推理引擎。	链接
LLM Compressor	兼容 Transformers 的库，可用于将各种压缩算法应用于 LLM，以实现优化部署。	链接
LightLLM	基于 Python 的 LLM 推理和服务框架，以其轻量级设计、易扩展性和高速性能而著称。	链接
torchchat	在服务器、桌面和移动设备上本地运行 PyTorch LLM。	链接

LLM 服务

库	描述	链接
Langcorn	使用 FastAPI 自动化地部署 LangChain LLM 应用和代理。	链接
LitServe	适用于任何规模 AI 模型的闪电般快速的服务引擎。它通过批处理、流式传输和 GPU 自动扩展等功能增强了 FastAPI。	链接

LLM 数据提取

库	描述	链接
Crawl4AI	开源的适合大模型的网络爬虫与数据抓取工具。	链接
ScrapeGraphAI	一个基于大模型和直接图逻辑的网页爬取 Python 库，用于为网站和本地文档（XML、HTML、JSON、Markdown 等）构建爬取流水线。	链接
Docling	Docling 能够轻松快速地解析文档并将其导出为所需格式。	链接
Llama Parse	原生支持生成式 AI 的文档解析器，可为任何下游大模型应用场景（RAG、智能体）解析复杂文档数据。	链接
PyMuPDF4LLM	PyMuPDF4LLM 库使在 LLM 和 RAG 环境中以所需格式提取 PDF 内容变得更加容易。	链接
Crawlee	一个用于网页爬取和浏览器自动化的库。	链接
MegaParse	适用于各类文档的解析器。	链接
ExtractThinker	面向大模型的文档智能库。	链接

LLM 数据生成

库	描述	链接
DataDreamer	DataDreamer 是一个功能强大的开源 Python 库，用于提示工程、合成数据生成和训练工作流。	链接
fabricator	一个灵活的开源框架，可用于利用大型语言模型生成数据集。	链接
Promptwright	合成数据生成库。	链接
EasyInstruct	一个易于使用的大型语言模型指令处理框架。	链接

大语言模型代理

库	描述	链接
CrewAI	用于编排角色扮演、自主AI代理的框架。	链接
LangGraph	将语言代理构建为图结构，以提高系统的鲁棒性。	链接
Agno	构建具有记忆、知识、工具和推理能力的AI代理。可通过美观的代理UI与之对话。	链接
Agents SDK	使用上下文、工具以及与其他专业代理协作的能力，基于LLM构建代理型应用。	链接
AutoGen	一个用于构建AI代理系统的开源框架。	链接
Smolagents	一个只需几行代码就能构建强大代理的库。	链接
Pydantic AI	一个基于Python的代理框架，用于构建生产级别的生成式AI应用。	链接
CAMEL	开源的多代理框架，提供多种工具包和应用场景。	链接
BeeAI	在Python中构建可投入生产的多代理系统。	链接
gradio-tools	一个Python库，用于将Gradio应用转换为工具，供基于LLM的代理使用，以完成其任务。	链接
Composio	适用于AI代理的生产就绪工具集。	链接
Atomic Agents	以原子化方式构建AI代理。	链接
Memary	自主代理的开源记忆层。	链接
Browser Use	让网站对AI代理可用。	链接
OpenWebAgent	一个开放的工具包，用于在大型语言模型上启用网络代理。	链接
Lagent	一个轻量级的框架，用于构建基于LLM的代理。	链接
LazyLLM	一个低代码开发工具，用于构建多代理LLM应用。	链接
Swarms	企业级、生产就绪的多代理编排框架。	链接
ChatArena	ChatArena是一个提供多代理语言游戏环境的库，促进了关于自主LLM代理及其社会互动的研究。	链接
Swarm	一个探索符合人体工学、轻量级多代理编排的教育框架。	链接
AgentStack	构建健壮AI代理的最快方式。	链接
Archgw	代理的智能网关。	链接
Flow	一个轻量级的任务引擎，用于构建AI代理。	链接
AgentOps	用于AI代理监控的Python SDK。	链接
Langroid	多代理框架。	链接
Agentarium	一个用于创建和管理由AI驱动的代理组成的模拟环境的框架。	链接
Upsonic	一个可靠的AI代理框架，支持MCP。	链接

LLM 评估

库名称	描述	链接
Ragas	Ragas 是您评估和优化大型语言模型（LLM）应用的终极工具包。	链接
Giskard	面向机器学习和 LLM 系统的开源评估与测试工具。	链接
DeepEval	LLM 评估框架	链接
Lighteval	用于评估 LLM 的一体化工具包。	链接
Trulens	LLM 实验的评估与跟踪	链接
PromptBench	大型语言模型的统一评估框架。	链接
LangTest	提供安全有效的语言模型。60 多种测试类型，用于比较 LLM 和 NLP 模型在准确性、偏见、公平性、鲁棒性等方面的性能。	链接
EvalPlus	针对 LLM4Code 的严格评估框架。	链接
FastChat	一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。	链接
judges	一个小型的 LLM 评判库。	链接
Evals	Evals 是一个用于评估 LLM 及其系统的框架，同时也是一个基准测试的开源注册表。	链接
AgentEvals	用于评估您的智能体性能的评估工具和实用程序。	链接
LLMBox	一个全面的库，用于实现 LLM，包括统一的训练流水线和全面的模型评估。	链接
Opik	一个开源的端到端 LLM 开发平台，同时也包含 LLM 评估功能。	链接
PydanticAI Evals	一个强大的评估框架，旨在帮助您系统地评估 LLM 应用的性能。	链接
UQLM	一个 Python 包，利用最先进的不确定性量化技术，在生成时检测 LLM 幻觉，且无需额外资源。	链接

LLM 监控

库名称	描述	链接
MLflow	一个开源的端到端 MLOps/LLMOps 平台，用于跟踪、评估和监控 LLM 应用。	链接
Opik	一个开源的端到端 LLM 开发平台，同时也包含 LLM 监控功能。	链接
LangSmith	提供用于记录、监控和改进您的 LLM 应用的工具。	链接
Weights & Biases (W&B)	W&B 提供用于跟踪 LLM 性能的功能。	链接
Helicone	开源的面向开发者的 LLM 可观测性平台。一行代码即可集成，支持监控、指标、评估、智能体追踪、提示管理、实验环境等功能。	链接
Evidently	一个开源的 ML 和 LLM 可观测性框架。	链接
Phoenix	一个开源的 AI 可观测性平台，专为实验、评估和故障排除而设计。	链接
Observers	一个轻量级的 AI 可观测性库。	链接

LLM 提示词

库名称	描述	链接
PCToolkit	大型语言模型的统一即插即用提示压缩工具包。	链接
Selective Context	Selective Context 可以压缩您的提示和上下文，使 LLM（如 ChatGPT）能够处理两倍的内容。	链接
LLMLingua	用于压缩提示以加速 LLM 推理的库。	链接
betterprompt	在将 LLM 提示推送到生产环境之前进行测试的套件。	链接
Promptify	使用 LLM 解决 NLP 问题，并借助 Promptify 轻松为 GPT、PaLM 等流行生成式模型生成各种 NLP 任务提示。	链接
PromptSource	PromptSource 是一个用于创建、分享和使用自然语言提示的工具包。	链接
DSPy	DSPy 是一个开源框架，用于编程而非提示的方式来操作语言模型。	链接
Py-priompt	提示设计库。	链接
Promptimizer	提示优化库。	链接

大型語言模型結構化輸出

庫名	描述	鏈接
Instructor	用於處理大型語言模型（LLMs）結構化輸出的 Python 庫。基於 Pydantic 構建，提供簡單、透明且易用的 API。	鏈接
XGrammar	一個開源庫，用於高效、靈活且可移植的結構化生成。	鏈接
Outlines	強大的（結構化）文本生成工具	鏈接
Guidance	Guidance 是一種高效的編程範式，用於引導語言模型。	鏈接
LMQL	一種用於約束引導和高效 LLM 編程的語言。	鏈接
Jsonformer	從語言模型生成結構化 JSON 的堅固方法。	鏈接

LLM 安全與保障

庫名	描述	鏈接
JailbreakEval	一套自動化評估工具，用於評估越獄攻擊嘗試。	鏈接
EasyJailbreak	一個易於使用的 Python 框架，用於生成對抗性越獄提示。	鏈接
Guardrails	為大型語言模型添加安全防護措施。	鏈接
LLM Guard	LLM 交互的安全工具包。	鏈接
AuditNLG	AuditNLG 是一個開源庫，有助於降低使用生成式 AI 語言系統相關的風險。	鏈接
NeMo Guardrails	NeMo Guardrails 是一個開源工具包，可用於輕鬆為基於 LLM 的對話系統添加可編程的安全防護措施。	鏈接
Garak	LLM 漏洞掃描器	鏈接
DeepTeam	LLM 紅隊框架	鏈接

LLM 嵌入模型

庫名	描述	鏈接
Sentence-Transformers	最先進的文本嵌入技術	鏈接
Model2Vec	快速的最先進靜態嵌入技術	鏈接
Text Embedding Inference	一個極其快速的文本嵌入模型推理解決方案。TEI 支持對最流行的模型進行高性能提取，包括 FlagEmbedding、Ember、GTE 和 E5。	鏈接

其他

庫名	描述	鏈接
Text Machina	一個模塊化且可擴展的 Python 框架，旨在幫助創建高質量、無偏見的數據集，以構建用於 MGT 相關任務的強大模型，例如檢測、歸因和邊界檢測。	鏈接
LLM Reasoners	一個用於先進大型語言模型推理的庫。	鏈接
EasyEdit	一個易於使用的大型語言模型知識編輯框架。	鏈接
CodeTF	CodeTF：最先進代碼 LLM 的一站式變壓器庫。	鏈接
spacy-llm	此軟體包將大型語言模型（LLMs）集成到 spaCy 中，具備模塊化系統，可用於快速原型設計和提示生成，並將非結構化回應轉換為各種 NLP 任務的可靠輸出。	鏈接
pandas-ai	與您的數據庫聊天（SQL、CSV、pandas、polars、MongoDB、NoSQL 等）。	鏈接
LLM Transparency Tool	一個開源互動式工具包，用於分析基於變壓器的語言模型內部運作機制。	鏈接
Vanna	與您的 SQL 數據庫聊天。通過 RAG 利用 LLM 實現精確的文本到 SQL 生成。	鏈接
mergekit	用於合併預訓練大型語言模型的工具。	鏈接
MarkLLM	一個開源的 LLM 水印工具包。	鏈接
LLMSanitize	一個開源庫，用於檢測 NLP 數據集和大型語言模型（LLMs）中的污染問題。	鏈接
Annotateai	使用 LLM 自動註釋論文。	鏈接
LLM Reasoner	讓任何 LLM 像 OpenAI o1 和 DeepSeek R1 一樣思考。	鏈接

⭐️ 星標歷史

如果您覺得這個倉庫很有用，請考慮給它點個星。

LLM Engineer Toolkit 快速上手指南

LLM Engineer Toolkit 并非一个单一的 Python 库，而是一个精选的 120+ 个大语言模型（LLM）开源工具清单。它按功能分类（如训练、应用开发、RAG、评估等），帮助开发者快速找到适合当前任务的工具。

本指南将指导你如何利用该清单进行环境准备、安装核心工具并快速开始开发。

环境准备

由于该工具箱涵盖多种类型的库，建议根据你的具体需求（如微调、应用开发或推理）准备环境。以下是通用的基础环境要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (WSL2 推荐)
• Python 版本: Python 3.9 - 3.11 (大多数 LLM 库对此范围支持最好)
• 硬件要求:
  • 基础应用/推理: 任意现代 CPU，8GB+ 内存。
  • 微调/训练: 推荐 NVIDIA GPU (显存 16GB+ 为佳)，需安装 CUDA Toolkit。
• 前置依赖:
  • pip (包管理工具)
  • git (克隆仓库)
  • conda 或 venv (强烈建议使用虚拟环境隔离依赖)

安装步骤

由于这是一个工具清单，你需要根据项目需求选择并安装具体的库。以下是获取清单及安装几类最常用核心工具的步骤。

1. 获取工具清单

首先克隆仓库以浏览完整的分类列表：

git clone https://github.com/KalyanKS-NLP/llm-engineer-toolkit.git
cd llm-engineer-toolkit

2. 创建虚拟环境

python -m venv llm-env
source llm-env/bin/activate  # Windows 用户请使用: llm-env\Scripts\activate

3. 安装核心工具库

根据你的开发阶段，选择以下一种或多种场景进行安装。国内用户推荐使用清华源或阿里源加速下载。

场景 A：LLM 应用开发 (最常用)

如果你要构建基于 LLM 的应用（如 Chatbot、RAG 系统），推荐安装 LangChain 或 LlamaIndex。

# 使用清华源安装 LangChain 核心包
pip install langchain langchain-community langchain-core -i https://pypi.tuna.tsinghua.edu.cn/simple

# 或者安装 LlamaIndex
pip install llama-index -i https://pypi.tuna.tsinghua.edu.cn/simple

场景 B：LLM 微调与训练

如果你需要对模型进行微调，推荐安装 Unsloth (高效微调) 或 PEFT。

# 安装 Unsloth (需确保已安装 compatible 版本的 torch)
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 Hugging Face PEFT 和 Transformers
pip install peft transformers accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

场景 C：多模型 API 调用

如果你需要统一调用不同厂商的 LLM API，推荐安装 LiteLLM。

pip install litellm -i https://pypi.tuna.tsinghua.edu.cn/simple

场景 D：快速构建界面

如果你需要快速为模型搭建 Web 界面，推荐安装 Streamlit 或 Gradio。

pip install streamlit gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下展示两个最典型的使用示例，分别对应“应用开发”和“模型调用”。

示例 1：使用 LangChain 构建简单的问答链

这是构建 LLM 应用最基础的流程。

from langchain_community.llms import Ollama
from langchain_core.prompts import PromptTemplate

# 1. 初始化模型 (此处以本地 Ollama 为例，也可替换为 OpenAI 等)
llm = Ollama(model="llama3")

# 2. 定义提示词模板
template = """你是一个专业的助手。请简要回答以下问题：
{question}"""
prompt = PromptTemplate.from_template(template)

# 3. 创建链并运行
chain = prompt | llm
response = chain.invoke({"question": "什么是大语言模型？"})

print(response)

示例 2：使用 LiteLLM 统一调用不同模型

LiteLLM 允许你用 OpenAI 的格式调用 100+ 种不同的模型提供商。

import litellm
from litellm import completion

# 设置代理或直接调用 (需配置环境变量或直接传入 api_key)
# 示例：调用 Anthropic 的 Claude 模型，但使用 OpenAI 格式的 SDK
response = completion(
    model="anthropic/claude-3-opus-20240229", 
    messages=[{"content": "Hello, how are you?", "role": "user"}],
    api_key="YOUR_ANTHROPIC_API_KEY" 
)

print(response.choices[0].message.content)

下一步建议

查阅本地克隆的 llm-engineer-toolkit 目录中的 README 文件，根据表格分类（如 LLM RAG, LLM Evaluation, LLM Agents）探索更多专用工具，并根据官方文档链接进行深入集成。