LLM 应用栈

又称 LLM 应用的新兴架构

这是 LLM 应用栈各层中可用工具、项目和供应商的列表。

我们之前的文章仅列出了基于用户访谈的最受欢迎选项。而这个仓库旨在更加全面，涵盖每个类别中的所有可用选项。我们可能仍然遗漏了一些重要项目，因此如果您发现有遗漏，请提交 PR。

我们还包含了Perplexity 和 Cursor.sh 的提示模板，以方便搜索和 Markdown 表格格式化。

目录

1. 数据管道
2. 嵌入模型
3. 向量数据库
4. 游乐场
5. 编排器
6. API / 插件
7. LLM 缓存
8. 日志记录 / 监控 / 评估
9. 验证器
10. LLM API（专有）
11. LLM API（开源）
12. 应用托管平台
13. 云服务商
14. 特定场景云

项目列表

数据管道

名称（网站）	描述	Github	Pip 安装数
Databricks	一个统一的数据平台，用于构建、部署和维护企业级数据解决方案，包括专为 AI 打造的产品（如 MosaicML 和 MLflow）
Airflow	一个数据管道框架，用于以编程方式编写、调度和监控数据管道及工作流，包括针对 LLM 的管道
Unstructured.io	开源组件，用于预处理 PDF、HTML 和 Word 文档等文件，以便在 LLM 应用中使用
Fivetran	一个从各种来源提取、加载和转换数据的平台，用于分析、AI 和运营	无
Airbyte	一个开源的数据集成引擎，帮助将数据整合到数据仓库、数据湖和数据库中
Anyscale	一个 AI 计算平台，允许开发者使用 Ray 扩展数据摄取、预处理、嵌入和推理计算
Alluxio	一个位于计算与存储交汇处的开源数据平台，使数据更接近计算资源，从而加速模型训练和推理，提高 GPU 利用率，并降低 AI 工作负载的成本

^ 返回目录 ^

嵌入模型

名称（网站）	描述	Github	Pip 安装数
OpenAI Ada Embedding 2	OpenAI 最流行的嵌入模型，用于捕捉文本中的语义关系	无
Cohere AI	一家独立的商业 LLM 提供商，特别专注于用于语义搜索、主题聚类和垂直应用的嵌入
Sentence Transformers	一个开源的 Python 框架，用于句子、文本和图像的嵌入

^ 返回目录 ^

向量数据库

名称（网站）	描述	Github	Pip 安装
Pinecone	一款托管的云原生向量数据库，提供简洁的 API，适用于高性能 AI 应用	n/a
Weaviate	一个开源的向量数据库，可同时存储对象和向量
ChromaDB	面向开发者的、原生支持 AI 的开源嵌入式数据库平台
Pgvector	一个用于 Postgres 的开源向量相似度搜索工具，支持精确和近似最近邻搜索
Zilliz (Milvus)	一个开源的向量数据库，专为开发和维护 AI 应用而设计
Qdrant	一个向量数据库及向量相似度搜索引擎
Metal io	为开发者提供构建使用机器学习嵌入的应用程序的托管服务	N/A
LanceDB	一款面向 AI 应用的无服务器向量数据库

^ 返回目录 ^

Playground 平台

名称（网站）	描述	Github	Pip 安装
OpenAI Playground	一个基于网页的平台，用于试验 OpenAI 开发的各种机器学习模型	N/A	N/A
nat.dev	一个允许用户测试多种语言模型的提示并比较其性能的平台
Humanloop	一个帮助开发者在 LLM 基础上构建应用的平台
Parea AI	一个为 AI 工程师提供的平台和 SDK，包含 LLM 评估、可观性以及版本控制增强型提示 Playground 等工具。

^ 返回目录 ^

编排工具

名称（站点）	描述	Github	Pip 安装
Langchain	一个开源库，为开发者提供构建由大语言模型驱动的应用程序所需的工具
LlamaIndex	面向大语言模型应用的数据框架，用于摄取、结构化和访问私有或领域特定数据
Autogen	一个框架，用于通过可定制、可对话的代理来自动化和简化复杂 AI 应用中的大语言模型工作流
Microsoft Semantic Kernel	一个轻量级的开源编排 SDK
Haystack	大语言模型编排框架，用于构建可定制、生产就绪的大语言模型应用
Vercel AI SDK	一个开源库，供开发者使用 JavaScript 和 TypeScript 构建流式 UI		（node/npm）
Vectara AI	一个利用您自有数据进行 AI 对话的搜索与发现平台		无
ChatGPT	一个使用自然语言处理技术生成类人对话的 AI 聊天机器人	无	无

^ 返回目录 ^

API / 插件

名称（站点）	描述	Github	Pip 安装
Serp API	一个实时 API，用于访问 Google 搜索结果，并处理代理、解决验证码以及解析结构化数据
Wolfram Alpha API	一个基于 Web 的 API，提供计算和展示功能，可用于集成到各种应用程序中	无
Zapier API AI 插件	一个插件，允许您连接 5,000 多个应用，并在 ChatGPT 内部直接与它们交互	无	无

^ 返回目录 ^

LLM 缓存

名称（站点）	描述	Github	Pip 安装
Redis	一个内存中的数据结构存储，可用作数据库、缓存、消息代理和流媒体引擎
SQLite	一个自包含、无服务器、零配置的事务性 SQL 数据库引擎
GPTCache	一个开源工具，通过实现缓存来存储响应，从而提高基于 GPT 的应用程序的效率和速度		无

^ 返回目录 ^

日志记录 / 监控 / 评估

名称（站点）	描述	Github	Pip 安装
Braintrust Data	一个 AI 产品栈，提供评估、提示词游乐场、持续集成、数据集管理等功能，并通过单一 API 访问多种 AI 模型
Arize AI	面向 LLM 和监督式机器学习的可观测性平台
Weights & Biases	用于简化机器学习工作流的 MLOps 平台
MLflow	简化机器学习开发的平台
PromptLayer	用于跟踪、管理和共享 LLM 提示工程的平台
Helicone	开源的 LLM 可观测性平台
Quotient AI	Quotient AI 是一个在研究、开发和生产过程中，基于真实用例评估 AI 产品的平台	无	无
Portkey AI	用于开发、上线、维护和迭代生成式 AI 应用及功能的平台	无	无
Freeplay AI	为客户原型设计、测试和优化 LLM 功能的平台	无	无
Gentrace	用于评估和观测生成式数据的 API 和 SDK，具备 AI、启发式及人工评分等评估功能，以及生产数据观测能力	无
Patronus AI	面向 LLM 的自动化评估与基准测试平台，提供在真实场景中测试、打分和评估 LLM 的工具	无	无
Autoblocks AI	专为 GenAI 产品快速迭代设计的协作式云工作空间，提供提示词管理、可观测性、持续评估、微调、原型设计、调试以及可扩展的数据摄取与搜索等功能，且不依赖特定提供商	无
Context AI	用于 LLM 上线前评估和上线后分析的工具，包括测试、性能监控、用户对话分析等功能，并支持多种模型和库	无
E2b dev	提供部署、测试和监控 AI 代理的服务，包含一个安全、持久运行的云端沙盒环境，适用于多种 LLM，并具备访问互联网等功能
Agentops	用于评估和开发 AI 代理的工具包，提供代理开发工具、监控功能和回放分析
Zenoml	AI 评估平台，支持数据可视化、模型性能分析以及针对不同类型数据创建交互式报告
Baserun	提供模型配置、提示词游乐场、监控和原型工作流等工具，同时具备对 LLM 工作流的全面可见性和端到端测试功能
WhyLabs	面向 ML 和 GenAI 的 AI 可观测性平台，包括 LLM 监控、护栏和安全性
Log10	基于 AI 的 LLMOps 平台，可自动优化提示词和模型，并内置日志记录、调试、指标、反馈、评估和微调功能
promptfoo	开源的 LLM 评估框架，支持模型/提示词/RAG 评估、数据集生成、本地模型和自托管。		（node/npm）
Parea AI	为 AI 工程师提供的平台和 SDK，包含 LLM 评估、可观测性以及版本控制增强版提示词游乐场等工具。
Galileo	Galileo 是一个基于高精度幻觉防护机制的评估、微调和实时可观测性平台。	无	无

^ 返回目录 ^

验证工具

名称（站点）	描述	Github	Pip 安装
Guardrails AI	一个开源的 Python 包，用于指定结构和类型、验证并纠正大语言模型的输出
Rebuff	一个开源框架，旨在检测并防御大语言模型应用中的提示注入攻击
Microsoft Guidance	一种用于控制大语言模型的指导语言，提供了一种用于构建大语言模型工作流的语法
LMQL	一个开源的编程语言和平台，用于与语言模型交互
Outlines	一个工具，帮助开发者引导文本生成，以构建与外部系统的健壮接口，并确保输出符合正则表达式或 JSON 模式
LLM Guard	一个开源的综合性工具，旨在加强大型语言模型（LLMs）的安全性。

^ 返回目录 ^

大语言模型 API（专有）

名称（站点）	描述	Github	Pip 安装
OpenAI	一家提供众多领先大语言模型的公司，包括 GPT-3.5 和 GPT-4 系列	不适用
Anthropic	Claude 的开发者，Claude 是基于 Anthropic 研究成果的人工智能助手	不适用
Cohere AI	一家专注于语义搜索、主题聚类和垂直应用嵌入的大语言模型供应商
LLM	一个 CLI 工具和 Python 库，用于通过远程 API 或可在本地安装运行的模型与大语言模型进行交互。

^ 返回目录 ^

大语言模型 API（开源）

名称（站点）	描述	Github	Pip 安装
Hugging Face	一个开源人工智能模型和推理端点的枢纽，包括领先的基座大语言模型以及 LoRA 微调模型
Replicate	一个 AI 托管平台和模型推理枢纽，允许软件开发者将 AI 模型集成到他们的应用程序中
Anyscale	一个 AI API 和计算平台，允许开发者使用 Ray 将任何模型的推理、训练和嵌入计算进行扩展
Ollama	在本地快速启动和运行大型语言模型
GPT4ALL	一个开源的边缘计算大型语言模型生态系统。

^ 返回目录 ^

应用托管平台

名称（网站）	描述
Vercel	一个专为前端工程师设计的云平台，提供对大型语言模型应用的一流支持
Netlify	一家企业级云计算公司，提供用于构建 Web 应用和动态网站的开发平台
Steamship	一个用于 AI 代理和工具的 SDK 及托管平台，既是包管理器，也是 AI 相关包的托管服务
Streamlit	一个开源 Python 库，旨在创建和分享面向机器学习与数据科学的自定义 Web 应用
Modal	一个平台，允许使用 Modal Python 包运行分布式应用程序

^ 返回目录 ^

云服务提供商

名称（网站）	描述
亚马逊网络服务	一个云计算平台，通过全球数据中心提供各类服务
谷歌云平台	一个云计算平台，通过全球数据中心提供各类服务
微软 Azure	一个云计算平台，通过全球数据中心提供各类服务
CoreWeave	一家专注于提供 GPU 资源的云服务商，基于灵活的部署基础设施

^ 返回目录 ^

特色云平台

名称（网站）	描述
Databricks (MosaicML)	Databricks 于 2023 年收购了 Mosaic ML，及其用于高效预训练、微调和推理大型语言模型的工具与平台
Anyscale	一个 AI 计算平台，使开发者能够利用 Ray 框架扩展任何模型的推理、训练和嵌入计算
Modal	一个平台，允许使用 Modal Python 包运行分布式应用程序
Runpod	一个专为 AI 和机器学习应用设计的云计算平台
OctoML	一种计算服务，允许用户运行、调优并扩展生成式模型
Baseten	一个推理服务，允许用户部署、服务和扩展自定义及开源模型
E2B	专为 AI 代理和 AI 应用打造的安全沙箱云环境

^ 返回目录 ^

格式化提示模板

我们已经部分实现了自动化——尤其是查找 GitHub 和 PyPI 链接——借助这个 Perplexity 搜索提示。该方法大约 75% 的时间有效，每次可处理约 3 个项目，每次迭代从 20 到 30 个来源提取数据。

一旦你收集到想要添加的数据，如果不想手动处理 Markdown 格式，可以使用像 Cursor 这样的工具轻松完成格式化。

请参阅以下可在编辑时直接使用的提示：只需高亮显示 4–5 个之前的示例，Cursor 就能自动推断出正确的格式：

^ 返回目录 ^

llm-app-stack 快速上手指南

注意：llm-app-stack 并非一个单一的、可安装的软件包或框架，而是由 a16z 维护的一份大语言模型（LLM）应用架构工具清单。它汇总了构建 LLM 应用所需各层级（如数据管道、向量数据库、编排器等）的开源项目、商业服务和供应商。

本指南旨在帮助中国开发者快速理解该清单的结构，并根据自身需求从列表中选择合适的工具进行集成开发。

1. 环境准备

由于本项目是资源索引而非运行时库，无需特定的系统环境。但在实际使用清单中推荐的工具时，通常需要以下基础环境：

• 操作系统：Linux, macOS, 或 Windows (WSL2 推荐)
• 编程语言：Python 3.8+ (绝大多数列出的工具基于 Python)
• 包管理器：pip 或 conda
• 容器技术：Docker & Docker Compose (用于部署本地向量数据库或开源 LLM)
• 网络环境：访问 GitHub 及部分海外 API 服务可能需要网络加速配置。

2. 获取与浏览清单

你不需要“安装”此清单，只需克隆仓库或直接在线浏览，以便查找适合你项目的工具。

克隆仓库

git clone https://github.com/a16z-infra/llm-app-stack.git
cd llm-app-stack

浏览方式

• 在线浏览：直接访问 GitHub 仓库页面查看分类表格。
• 本地查看：打开 README.md 文件，利用目录跳转至感兴趣的技术层级（如 Vector Databases, Embedding Models 等）。

3. 基本使用流程

使用该清单的核心逻辑是：定位需求 -> 选择工具 -> 安装具体工具 -> 集成开发。

步骤一：定位技术层级

根据 llm-app-stack 的目录结构，确定你当前开发阶段需要的组件：

1. 数据处理：参考 Data Pipelines (如 Unstructured.io 处理 PDF)。
2. 向量化：参考 Embedding Models (如 Sentence Transformers)。
3. 存储：参考 Vector Databases (如 ChromaDB, Milvus)。
4. 编排与应用：参考 Orchestrators 和 Playgrounds。

步骤二：选择并安装具体工具

假设你需要构建一个基于本地文档的问答应用，根据清单推荐，可以选择 ChromaDB (向量库) 和 Sentence Transformers (嵌入模型)。

安装示例命令：

# 安装向量数据库客户端
pip install chromadb

# 安装开源嵌入模型框架
pip install sentence-transformers

# 如果需要使用国内镜像源加速安装
pip install chromadb sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：若选择需要 Docker 部署的工具如 Milvus 或 Weaviate，请参考该项目具体的 GitHub 文档运行 docker-compose up -d)

步骤三：最小化集成示例

以下是一个结合清单中推荐工具的简单 Python 代码示例，展示如何将文本嵌入并存入向量库：

from sentence_transformers import SentenceTransformer
import chromadb

# 1. 初始化嵌入模型 (参考 Embedding Models 章节)
# 使用开源模型，无需 API Key
model = SentenceTransformer('all-MiniLM-L6-v2')

# 2. 初始化向量数据库 (参考 Vector Databases 章节)
client = chromadb.Client()
collection = client.create_collection("my_docs")

# 3. 准备数据
texts = ["LLM 应用架构正在快速发展", "向量数据库是 RAG 的核心组件"]
embeddings = model.encode(texts).tolist()

# 4. 存入数据库
collection.add(
    embeddings=embeddings,
    documents=texts,
    ids=["doc1", "doc2"]
)

# 5. 执行搜索
query = "什么是 RAG 的核心？"
query_embedding = model.encode([query]).tolist()
results = collection.query(query_embeddings=query_embedding, n_results=1)

print(f"搜索结果: {results['documents'][0][0]}")

4. 国内开发者特别建议

在使用 llm-app-stack 清单中的工具时，针对国内网络环境，建议优先考虑以下替代或加速方案：

• 向量数据库：清单中的 Milvus (Zilliz) originated from China，对中文社区支持友好，文档齐全，且提供云原生服务。
• 模型下载：使用 sentence-transformers 或其他 HuggingFace 模型时，建议配置 HF_ENDPOINT 环境变量使用镜像站：

  export HF_ENDPOINT=https://hf-mirror.com
  

• LLM API：清单中包含大量 proprietary APIs (如 OpenAI)。在国内开发时，可关注清单中 LLM APIs (open source) 部分，结合本地部署（如通过 vLLM, Ollama）或使用国内大模型厂商提供的兼容接口。