AI 工程工具包🔥

更快、更智能、更贴近生产环境，构建更优秀的 LLM 应用。

这是一份为使用大型语言模型进行开发的 AI 工程师精心整理的清单，包含 100 多个库和框架。该工具包汇集了久经考验的工具、框架、模板以及参考实现，用于开发、部署和优化基于 LLM 的系统。

📋 目录

• 🛠️ AI 工程师工具链
  • 向量数据库
  • 编排与工作流
  • RAG（检索增强生成）
  • 评估与测试
  • 模型管理
  • 数据采集与网页抓取
• 🤖 代理框架
• 📦 LLM 开发与优化
  • 开源 LLM 推理
  • LLM 安全与防护
  • AI 应用开发框架
  • 本地开发与服务
  • LLM 推理平台
• 🤝 贡献

🛠️ AI 工程师工具链

向量数据库

工具	描述	语言	许可证
Pinecone	面向生产级 AI 应用的托管向量数据库	API/SDK	商业
Weaviate	具有 GraphQL API 的开源向量数据库	Go	BSD-3
Qdrant	支持扩展过滤功能的向量相似度搜索引擎	Rust	Apache-2.0
Chroma	专为 LLM 应用设计的开源嵌入数据库	Python	Apache-2.0
Milvus	面向云原生、可扩展相似度搜索的向量数据库	Go/C++	Apache-2.0
FAISS	高效相似度搜索与聚类库	C++/Python	MIT
Deep Lake	原生支持 AI 的数据湖，提供版本化数据集，专为嵌入和多模态存储优化	Python	Apache-2.0
Vectara	提供检索与生成 API 的托管 RAG 平台	Python/Go	商业

编排与工作流

工具	描述	语言	许可证
LangChain	用于开发 LLM 应用的框架	Python/JS	MIT
LlamaIndex	面向 LLM 应用的数据框架	Python	MIT
Haystack	生产级端到端 NLP 框架	Python	Apache-2.0
DSPy	用于算法优化 LM 提示词的框架	Python	MIT
Semantic Kernel	将 AI 集成到传统编程语言中的 SDK	C#/Python/Java	MIT
Langflow	用于构建和部署 LLM 工作流的可视化无代码平台	Python/TypeScript	MIT
Flowise	用于创建 LLM 链和代理的拖放式 UI	TypeScript	MIT
Promptflow	用于 LLM 流水线编排、评估和部署的工作流	Python	MIT

PDF 提取工具

工具	描述	语言	许可证
Docling	基于 AI 的工具包，能够将 PDF、DOCX、PPTX、HTML 和图像转换为结构化 JSON/Markdown，支持布局、OCR、表格及代码识别	Python	MIT
pdfplumber	可以逐字符深入解析 PDF，提取文本和表格，并对提取过程进行可视化调试	Python	MIT
PyMuPDF (fitz)	轻量级、高性能的 PDF 解析器，可用于文本、图像的提取和操作	Python / C	AGPL-3.0
PDF.js	基于浏览器的 PDF 渲染器，具备文本提取功能	JavaScript	Apache-2.0
Camelot	从 PDF 中提取结构化的表格数据，输出为 DataFrame 和 CSV 格式	Python	MIT
Unstructured	可以将 PDF、DOCX、HTML 等文档解析为结构化 JSON，适用于 LLM 工作流	Python	Apache-2.0
pdfminer.six	提供详细的 PDF 文本提取和版面分析功能	Python	MIT
Llama Parse	针对 LLM 优化的 PDF 和文档结构化解析工具	Python	Apache-2.0
MegaParse	通用的 PDF、HTML 和半结构化文档解析器	Python	Apache-2.0
ExtractThinker	具有模式映射功能的智能文档提取框架	Python	MIT
PyMuPDF4LLM	基于 PyMuPDF 的封装，专门用于提取 LLM 所需的文本、表格和图像	Python	Apache-2.0

RAG（检索增强生成）

工具	描述	语言	许可证
RAGFlow	基于深度文档理解的开源RAG引擎	Python	Apache-2.0
Verba	检索增强生成（RAG）聊天机器人	Python	BSD-3
PrivateGPT	使用本地大模型与文档交互	Python	Apache-2.0
AnythingLLM	适用于任何大模型的一体化AI应用	JavaScript	MIT
Quivr	您的生成式AI第二大脑	Python/TypeScript	Apache-2.0
Jina	面向多模态RAG的云原生神经搜索框架	Python	Apache-2.0
txtai	用于语义搜索和工作流的一体化嵌入数据库	Python	Apache-2.0
FastGraph RAG	用于结构化检索的基于图的RAG框架	Python	MIT
Chonkie	用于RAG中高效文档处理的分块工具	Python	-
FlashRAG	具有模块化设计和基准测试的低延迟RAG研究工具包	Python	-
Llmware	用于构建RAG应用的轻量级框架	Python	Apache-2.0

评估与测试

工具	描述	语言	许可证
Evals	OpenAI用于创建和运行大模型评估的框架	Python	MIT
Ragas	RAG流水线的评估框架	Python	Apache-2.0
Opik	用于评估、监控和可观测性的DevOps平台	Python	Apache-2.0
Phoenix	面向大模型、视觉、语言和表格数据模型的机器学习可观测性平台	Python	Apache-2.0
DeepEval	用于对大模型输出进行单元测试的评估框架	Python	Apache-2.0
TruLens	大模型实验的评估与跟踪工具	Python	MIT
UpTrain	用于评估和改进大模型应用的开源工具	Python	Apache-2.0
Giskard	包含偏差和鲁棒性检查的机器学习/大模型测试框架	Python	Apache-2.0
Weave	大模型工作流的实验跟踪、调试和日志记录工具	Python	Apache-2.0
Lighteval	Hugging Face提供的轻量且快速的评估框架	Python	Apache-2.0

模型管理

工具	描述	语言	许可证
Hugging Face Hub	Hugging Face Hub的客户端库	Python	Apache-2.0
MLflow	用于机器学习生命周期管理的平台	Python	Apache-2.0
Weights & Biases	用于机器学习的开发者工具	Python	MIT
DVC	用于机器学习项目的数据版本控制	Python	Apache-2.0
ClearML	具备大模型支持的端到端MLOps平台	Python	Apache-2.0

数据收集与网页抓取

工具	描述	语言	许可证
Firecrawl	基于AI的网页爬虫，可提取并结构化内容以供大模型流水线使用	TypeScript	MIT
Scrapy	快速、高级别的网页爬取与抓取框架	Python	BSD-3
Playwright	使用无头浏览器进行网页自动化与抓取	TypeScript/Python/Java/.NET	Apache-2.0
BeautifulSoup	用于快速抓取任务的简单HTML/XML解析工具	Python	MIT
Selenium	浏览器自动化框架（支持抓取）	多种	Apache-2.0
Newspaper3k	新闻与文章提取库	Python	MIT
Crawl4AI	专为AI数据管道设计的快速、轻量且现代的网页爬取与抓取库	Python	Apache-2.0
Colly	面向Go语言的高性能抓取框架	Go	BSD-2
Trafilatura	从网页中提取干净文本以用于大模型训练语料库	Python	MIT
ScrapeGraphAI	利用大模型从网站和文档中提取结构化数据	Python	MIT
Crawlee	用于大规模数据收集的网页抓取与爬取框架	TypeScript	Apache-2.0

🤖 代理框架

框架	描述	语言	许可证
Google's ADK	灵活且模块化的框架，用于开发和部署AI代理	Python / Java	Apache-2.0
AutoGen	多代理对话框架	Python	CC-BY-4.0
CrewAI	用于编排角色扮演型自主AI代理的框架	Python	MIT
LangGraph	将鲁棒的语言代理构建为图结构	Python	MIT
AgentOps	用于AI代理监控、LLM成本跟踪和基准测试的Python SDK	Python	MIT
Swarm	用于探索符合人体工学、轻量级多代理编排的教育性框架	Python	MIT
Agency Swarm	一个开源代理框架，旨在自动化您的工作流	Python	MIT
Multi-Agent Systems	多代理系统及其应用的研究	Python	MIT
Auto-GPT	使用GPT模型执行任务的自主AI代理	Python	MIT
BabyAGI	受AGI启发的任务驱动型自主代理	Python	MIT
SuperAGI	用于构建和管理自主代理的基础设施	Python	MIT
Griptape	用于构建具有结构化管道和记忆的AI代理的框架	Python	Apache-2.0
Letta (MemGPT)	针对LLM代理的长期记忆管理	Python	MIT
Agno	用于构建具备RAG、工作流和记忆功能的AI代理的框架	Python	Apache-2.0
Agents SDK	Vercel提供的用于构建代理式工作流和应用程序的SDK	TypeScript	Apache-2.0
Smolagents	Hugging Face推出的轻量级代理框架	Python	Apache-2.0
Pydantic AI	基于Pydantic构建的结构化推理代理框架	Python	MIT
CAMEL	支持角色扮演和协作的多代理框架	Python	Apache-2.0
Swarms	企业级代理编排框架（“Agency Swarm”）	Python	MIT
Langroid	用于构建多代理对话系统的框架	Python	Apache-2.0
Upsonic	专注于上下文管理和工具使用的代理框架	Python	Apache-2.0

📦 LLM开发与优化

LLM训练与微调

工具	描述	语言	许可证
PyTorch Lightning	高层次的PyTorch接口，适用于LLM	Python	Apache-2.0
unsloth	以更少的内存更快地微调LLM	Python	Apache-2.0
Axolotl	用于AI模型的后训练流水线	Python	Apache-2.0
LLaMA-Factory	简单高效的LLM微调工具	Python	Apache-2.0
PEFT	参数高效微调库	Python	Apache-2.0
DeepSpeed	分布式训练与推理优化	Python	MIT
TRL	使用强化学习训练Transformer LM	Python	Apache-2.0
Transformers	用于文本、视觉和音频任务的预训练模型	Python	Apache-2.0
LitGPT	极速训练和微调LLM	Python	Apache-2.0
Ludwig	用于自定义LLM的低代码框架	Python	Apache-2.0
xTuring	快速微调开源LLM	Python	Apache-2.0
RL4LMs	用于将LM微调至人类偏好方向的强化学习库	Python	Apache-2.0
torchtune	PyTorch原生的LLM微调库	Python	BSD-3
Accelerate	用于轻松在多GPU/TPU上以混合精度训练的库	Python	Apache-2.0

开源LLM推理

工具	描述	语言	许可证
LLM Compressor	兼容Transformers的库，可应用于各种压缩算法以优化LLM的部署	Python	Apache-2.0
LightLLM	轻量级的基于Python的LLM推理与服务框架，易于扩展且性能卓越	Python	Apache-2.0
vLLM	高吞吐量且内存高效的LLM推理与服务引擎	Python	Apache-2.0
TensorRT-LLM	NVIDIA用于通过TensorRT优化LLM推理的库	C++/Python	Apache-2.0
WebLLM	高性能的浏览器内LLM推理引擎	TypeScript/Python	Apache-2.0
SkyPilot	统一框架，可在任何云平台（AWS、GCP、Azure、Lambda等）上运行ML工作loads和LLMs，并具备自动竞价、数据同步和成本优化功能。	Python	Apache-2.0

LLM安全与保障

工具	描述	语言	许可证
Guardrails	为大型语言模型添加护栏	Python	MIT
NeMo Guardrails	用于为LLM对话系统添加可编程护栏的工具包	Python	Apache-2.0
Garak	LLM漏洞扫描器	Python	MIT
DeepTeam	LLM红队框架	Python	Apache-2.0

AI 应用开发框架

工具	描述	语言	许可证
Reflex	使用纯 Python 工作流和响应式 UI 构建由大语言模型驱动的全栈 Web 应用。	Python	Apache-2.0
Gradio	快速创建用于大语言模型演示和原型的交互式 UI。	Python	Apache-2.0
Streamlit	通过 Python 脚本和交互式组件快速构建并分享 AI/ML 应用。	Python	Apache-2.0
Taipy	端到端 Python 框架，用于构建带有仪表盘和工作流的生产就绪型 AI 应用。	Python	Apache-2.0
AI SDK UI	Vercel 的 AI SDK，用于构建聊天和生成式 UI	TypeScript	Apache-2.0
Simpleaichat	用于原型化对话式大语言模型的极简 Python 接口	Python	MIT
Chainlit	用于构建和调试具有丰富 UI 的大语言模型应用的框架	Python	Apache-2.0

本地开发与服务

工具	描述	语言	许可证
Ollama	在本地快速启动并运行大型语言模型	Go	MIT
LM Studio	用于运行本地大语言模型的桌面应用	-	商业
GPT4All	开源聊天机器人生态系统	C++	MIT
LocalAI	自托管的 OpenAI 兼容 API	Go	MIT
llama.cpp	轻量级、高性能的推理引擎，可在 CPU、GPU 和移动设备后端上本地运行大语言模型	C++	MIT
LiteLLM	轻量级的 OpenAI 兼容网关，支持多个大语言模型提供商	Python	MIT
AI Gateway	用于管理大语言模型请求、缓存和路由的网关	Python	Apache-2.0
Langcorn	通过 FastAPI 提供 LangChain 应用程序，并具备生产就绪的端点	Python	MIT
LitServe	高速 GPU 推理服务器，支持自动扩展和批处理	Python	Apache-2.0

大语言模型推理平台

平台	描述	定价	特性
Clarifai	为 AI 模型和智能体提供闪电般的计算能力	免费层 + 按使用付费	预训练模型、在专用计算资源上部署自定义模型、模型训练、工作流自动化
Modal	用于 AI/ML 工作负载的无服务器平台	按使用付费	无服务器 GPU、自动扩展
Replicate	通过云 API 运行开源模型	按使用付费	预构建模型、自定义训练
Together AI	用于开源模型的云平台	多种方案	开源模型、微调
Anyscale	基于 Ray 的 AI 应用平台	企业版	分布式训练、模型服务
Groq	用于运行开放 AI 模型的超高速 LPU 推理引擎	免费层 + 按使用付费	极速、高吞吐量、低延迟、支持开源模型
OpenRouter	通用 API，可从不同提供商中找到并路由到最佳的大语言模型	免费层 + 按使用付费	多提供商访问、统一 API、模型比较、缓存
RouteLLM	根据成本和性能动态选择最佳大语言模型的路由器	开源	成本优化、多大语言模型路由

🤝 贡献

我们欢迎各位的贡献！这个工具集将因社区的支持而愈发强大。

如何贡献

1. fork 仓库
2. 创建功能分支 (git checkout -b feature/amazing-tool)
3. 添加你的贡献（新工具、模板或教程）
4. 提交拉取请求

贡献指南

• 质量胜于数量 - 专注于能提供真正价值的工具和资源
• 生产就绪 - 包含可在实际场景中使用的工具
• 文档完善 - 提供清晰的描述和使用示例
• 保持更新 - 确保工具处于积极维护状态

---

📧 保持联系

新闻通讯

每周获取 AI 工程领域的洞察、工具评测以及独家演示和 AI 项目，直接送达您的邮箱：

📧 订阅 AI 工程新闻通讯 →

加入超过 10 万名致力于构建更优秀大语言模型应用的工程师

社交媒体

---

专为 AI 工程社区打造 ❤️

如果你觉得这个仓库有用，请给它点个赞 ⭐！

AI Engineering Toolkit 快速上手指南

AI Engineering Toolkit 并非单一的软件包，而是一个精选的开源工具、框架和库的集合（清单），旨在帮助工程师构建、部署和优化基于大语言模型（LLM）的生产级应用。本指南将指导你如何根据需求选择工具并进行环境配置。

🛠️ 环境准备

由于该工具箱包含多种不同技术栈的工具（主要是 Python 和 Node.js/TypeScript），请根据你的具体需求准备相应的开发环境。

系统要求

• 操作系统: Linux, macOS, 或 Windows (推荐 WSL2)
• 内存: 建议 16GB 以上（运行本地向量数据库或大模型推理时）
• GPU: 可选，若需本地运行开源大模型或加速向量检索，建议配备 NVIDIA GPU

前置依赖

大多数核心工具基于 Python，部分前端或爬虫工具基于 Node.js。

1. Python 环境 (推荐版本 3.9 - 3.11)

   python --version
   pip --version
   

2. Node.js 环境 (如需使用 Flowise, Firecrawl 等)

   node --version
   npm --version
   

3. 容器环境 (可选，用于快速部署向量数据库如 Qdrant, Weaviate)

   docker --version
   docker-compose --version
   

💡 国内开发者提示： 建议配置国内镜像源以加速依赖安装：

• PyPI: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• NPM: npm config set registry https://registry.npmmirror.com

---

📦 安装步骤

由于这是一个工具清单，你需要根据项目需求安装特定的库。以下是几类核心工具的通用安装命令。

1. 安装编排与工作流框架 (最常用)

如果你需要构建 LLM 应用链路：

# LangChain (生态最丰富)
pip install langchain langchain-community langchain-core

# LlamaIndex (专注数据索引与 RAG)
pip install llama-index

# DSPy (提示词自动优化)
pip install dspy-ai

2. 安装向量数据库客户端

用于存储和检索嵌入向量：

# Chroma (轻量级，适合本地开发)
pip install chromadb

# Qdrant (高性能，支持 Docker 部署)
pip install qdrant-client

# Milvus (大规模分布式)
pip install pymilvus

3. 安装 Agent 框架

用于构建多智能体协作系统：

# CrewAI (角色扮演的智能体编排)
pip install crewai crewai-tools

# AutoGen (微软多智能体对话框架)
pip install pyautogen

# LangGraph (基于图的复杂代理流程)
pip install langgraph

4. 安装评估与测试工具

用于监控和评估 LLM 输出质量：

# Ragas (RAG  pipeline 评估)
pip install ragas

# DeepEval (LLM 单元测试)
pip install deepeval

5. 安装文档解析工具 (RAG 必备)

用于处理 PDF、Word 等非结构化数据：

# Unstructured (通用文档解析)
pip install unstructured

# Docling (IBM 开源，高精度布局识别)
pip install docling

---

🚀 基本使用

以下是一个基于 LangChain 和 Chroma 构建最简单 RAG（检索增强生成）应用的示例，展示如何使用该工具集中的组件。

场景：构建一个本地文档问答机器人

1. 准备数据

创建一个名为 data.txt 的文件，填入一些测试文本。

2. 编写代码 (main.py)

此示例演示了加载文档、创建向量存储、并执行检索生成的完整流程。

import os
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. 加载文档
loader = TextLoader("./data.txt", encoding="utf-8")
documents = loader.load()

# 2. 分割文本 (Chunking)
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 3. 初始化嵌入模型 (使用开源模型，无需 API Key)
# 首次运行会自动下载模型，国内网络较慢建议配置 HF_ENDPOINT
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" 
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

# 4. 创建向量数据库
db = Chroma.from_documents(texts, embeddings)

# 5. 构建检索问答链 (此处使用模拟的 LLM，实际使用请替换为真实的 LLM 实例)
# 注意：生产环境建议接入 OpenAI, ZhipuAI, 或本地 Ollama
from langchain_community.llms import FakeListLLM 
llm = FakeListLLM(responses=["这是基于检索到的内容生成的回答示例。"])

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=db.as_retriever()
)

# 6. 执行查询
query = "文档里主要讲了什么？"
result = qa_chain.run(query)

print(f"用户问题: {query}")
print(f"AI 回答: {result}")

3. 运行应用

python main.py

进阶：使用可视化工具 (无代码方案)

如果你不想编写代码，可以使用工具集中的 Langflow 或 Flowise 进行拖拽式开发。

启动 Langflow (可视化编排):

pip install langflow
langflow run

启动后访问 http://127.0.0.1:7860 即可在浏览器中通过拖拽组件构建 LLM 工作流。

启动 Flowise (低代码平台):

npm install -g flowise
npx flowise start

启动后访问 http://localhost:3000 即可使用。