Llama Stack

快速开始 | 文档 | OpenAI API 兼容性 | Discord

用于构建 AI 应用的开源智能体（Agentic）API（应用程序接口）服务器。兼容 OpenAI。支持任意模型，任意基础设施。

Llama Stack 是 OpenAI API 的即用型替代品，您可以在任何地方运行它——您的笔记本电脑、数据中心或云端。使用任何兼容 OpenAI 的客户端或智能体框架。无需更改应用程序代码，即可在 Llama、GPT、Gemini、Mistral 或任何模型之间切换。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
response = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hello"}],
)

您将获得什么

• 聊天补全与嵌入向量（Embeddings） — 标准 /v1/chat/completions、/v1/completions 和 /v1/embeddings 端点，兼容任何 OpenAI 客户端
• Responses API（响应 API） — 服务器端智能体编排，包含工具调用、MCP（Model Context Protocol）服务器集成以及内置文件搜索（检索增强生成（RAG）），仅需单次 API 调用 (了解更多)
• 向量存储（Vector Stores）与文件 — /v1/vector_stores 和 /v1/files 用于托管文档存储和搜索
• 批处理（Batches） — /v1/batches 用于离线批处理
• 符合 Open Responses 标准 — Responses API 实现通过了 Open Responses 一致性测试套件

使用任意模型，使用任意基础设施

Llama Stack 拥有可插拔的提供者（Provider）架构。本地开发使用 Ollama，生产部署使用 vLLM，或连接托管服务——API 保持不变。

┌─────────────────────────────────────────────────────────────────────────┐
│                          Llama Stack Server                             │
│               (same API, same code, any environment)                    │
│                                                                         │
│  /v1/chat/completions  /v1/responses  /v1/vector_stores  /v1/files      │
│  /v1/embeddings        /v1/batches    /v1/models         /v1/connectors │
├───────────────────┬──────────────────┬──────────────────────────────────┤
│  Inference        │  Vector stores   │  Tools & connectors              │
│    Ollama         │    FAISS         │    MCP servers                   │
│    vLLM, TGI      │    Milvus        │    Brave, Tavily (web search)    │
│    AWS Bedrock    │    Qdrant        │    File search (built-in RAG)    │
│    Azure OpenAI   │    PGVector      │                                  │
│    Fireworks      │    ChromaDB      │  File storage & processing       │
│    Together       │    Weaviate      │    Local filesystem, S3          │
│    ...15+ more    │    Elasticsearch │    PDF, HTML (file processors)   │
│                   │    SQLite-vec    │                                  │
└───────────────────┴──────────────────┴──────────────────────────────────┘

查看 提供者文档 获取完整列表。

开始使用

安装并运行 Llama Stack 服务器：

# One-line install
curl -LsSf https://github.com/llamastack/llama-stack/raw/main/scripts/install.sh | bash

# Or install via uv
uv pip install llama-stack

# Start the server (uses the starter distribution with Ollama)
llama stack run

然后使用任何 OpenAI 客户端连接——Python、TypeScript、curl 或任何使用 OpenAI API 的框架。

查看 快速开始指南 获取详细设置。

资源

• 文档 — 完整参考
• OpenAI API 兼容性 — 端点覆盖范围和提供者矩阵
• 入门交互式笔记本（Notebook） — 文本和视觉推理演练
• 贡献指南 — 如何贡献

客户端软件开发工具包（SDK）：

语言	SDK	包
Python	llama-stack-client-python
TypeScript	llama-stack-client-typescript

社区

我们每周四太平洋标准时间上午 09:00 举行定期社区会议——详见 Discord 社区活动。

感谢所有出色的贡献者！

Llama Stack 快速上手指南

Llama Stack 是一个开源的代理 API 服务器，完全兼容 OpenAI API。它支持在任何环境（本地、数据中心或云端）运行，允许你在不更改应用代码的情况下无缝切换 Llama、GPT、Gemini 等模型。

环境准备

• 操作系统：Linux、macOS 或 Windows（Windows 推荐使用 WSL）
• 运行环境：Python 环境
• 依赖工具：curl（用于一键安装）或 uv（用于包管理）
• 模型后端：默认启动配置依赖 Ollama（也可配置 vLLM、AWS Bedrock 等其他提供者）

安装步骤

选择以下任一方式安装 Llama Stack：

方式一：一键安装脚本

curl -LsSf https://github.com/llamastack/llama-stack/raw/main/scripts/install.sh | bash

方式二：使用 uv 安装

uv pip install llama-stack

启动服务器

安装完成后，运行以下命令启动服务器（默认使用带有 Ollama 的 starter 分布）：

llama stack run

基本使用

Llama Stack 启动后，可使用任何兼容 OpenAI 的客户端进行连接。默认接口地址为 http://localhost:8321/v1。

Python 调用示例

使用官方 openai 库即可直接调用：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
response = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hello"}],
)

核心功能

• 标准接口：支持 /v1/chat/completions、/v1/embeddings 等
• 代理编排：Responses API 支持工具调用、MCP 集成及内置文件搜索（RAG）
• 数据存储：支持 /v1/vector_stores 和 /v1/files 进行文档管理与检索

更多详细配置与提供者列表请参考 官方文档。