在任何加速器上实现最先进推理性能

llm-d是一个高性能的分布式推理服务栈，专为在Kubernetes上进行生产部署而优化。我们通过经过充分测试的指南和真实场景基准测试，帮助您在大多数硬件加速器和基础设施提供商上，针对关键的开源大型语言模型，以最快的速度达到“最先进的（SOTA）推理性能”。

llm-d为生产推理提供了什么？

像vLLM和SGLang这样的模型服务器能够高效地在加速器上运行大型语言模型。llm-d则在这些模型服务器之上提供了最先进的编排能力，以高效且可靠地服务于大规模的真实流量：

1. 智能推理调度 - 将vLLM部署在基于Gateway API的负载均衡器之后，并结合推理调度器，通过前缀缓存感知路由、基于利用率的负载均衡、多租户服务中的公平性和优先级设置，以及预测延迟均衡（实验性），来降低服务延迟并提高吞吐量。
2. 解耦式服务（预填充/解码分离） - 通过将推理过程拆分为处理提示的预填充服务器和处理响应的解码服务器，从而减少首个 token 的生成时间（TTFT），并使每个输出 token 的时间更加可预测，尤其适用于gpt-oss-120b等大型模型以及处理超长提示时。
3. 宽泛的专家并行 - 部署如DeepSeek-R1这样的超大规模专家混合模型，以在RL和对延迟不敏感的工作负载中获得更高的吞吐量，利用快速加速器网络上的数据并行与专家并行。
4. 分层KV前缀缓存，配合CPU和存储卸载 - 通过将KV缓存条目卸载到CPU内存、本地SSD以及远程高性能文件系统存储，来提高前缀缓存命中率。
5. 工作负载自动伸缩 - 在异构共享硬件上，使用工作负载变体自动伸缩器，以SLO为导向进行成本优化；或在同构硬件上，使用HPA结合IGW指标，让每个模型独立伸缩。

这些指南提供了经过测试和基准验证的配方及Helm图表，帮助您按照生产部署中的最佳实践快速启动服务。它们可以扩展和定制，以适应您特定的模型和用例需求，同时使用Kubernetes、Kubernetes Gateway API、NIXL和vLLM等标准开源组件。我们的目标是消除在现代加速器上调优和部署生成式AI推理时常见的繁重工作。

立即开始

我们建议新用户从智能推理调度的部署开始。

[!NOTE] 我们目前正在重构文档。您也可以预览我们的新快速入门指南，它们将很快正式发布。

最新消息 🔥

• [2026-02] v0.5版本引入了可重复的基准测试流程、层次化KV卸载、缓存感知LoRA路由、主-主高可用性、基于UCCL的传输韧性，以及规模至零的自动伸缩；经验证，在B200解码GPU上每秒可处理约3,100个token（宽泛EP），而在16×16 B200预填充/解码拓扑上，输出token可达50,000个/秒，相比轮询基线，TTFT降低了数量级。
• [2025-12] v0.4版本展示了在H200 GPU上，DeepSeek V3.1的每个输出token延迟降低了40%，支持Intel XPU和Google TPU的解耦式部署以缩短首个token的生成时间，为前缀缓存卸载到vLLM原生CPU内存层级开辟了新的清晰路径，并预览了工作负载变体自动伸缩器，以提升模型即服务的效率。

🧱 架构

llm-d通过整合行业标准的开放技术来加速分布式推理：默认使用vLLM作为模型服务器和引擎，Kubernetes推理网关作为控制平面API和负载均衡编排器，而Kubernetes则作为基础设施编排者和工作负载控制平面。

llm-d 补充说明：

• vLLM 中的模型推理服务优化： llm-d 团队为上游 vLLM 贡献并维护高性能的分布式推理服务优化功能，包括分离式推理架构、KV 连接器接口、对前沿开源专家混合模型的支持，以及生产就绪的可观测性和系统韧性能力。

• 推理调度器： llm-d 使用兼容的网关实现及其可扩展的负载均衡策略，针对 LLM 场景做出可定制的“智能”负载均衡决策，而无需重新实现一个功能完备的负载均衡器。借助运行时遥测数据，推理调度器实现了过滤与打分算法，能够基于 P/D 感知、KV 缓存感知、SLA 感知和负载感知等因素作出决策。高级用户可以自定义评分器以进一步调整算法，同时享受 IGW 提供的流量控制和延迟感知均衡等特性。该负载均衡器的控制平面基于 Kubernetes API，但也支持独立运行。

• 分离式推理 Sidecar： llm-d 将预填充和解码阶段分别调度到独立的实例上——由调度器决定哪些实例接收特定请求，事务则通过与解码实例并置的 Sidecar 协调完成。Sidecar 会指示 vLLM 通过 NIXL，在高速互联网络（IB/RoCE RDMA、TPU ICI 和 DCN）上实现点对点 KV 缓存传输。

• vLLM 原生 CPU offloading 和 llm-d 文件系统后端： llm-d 利用 vLLM 的 KVConnector 抽象层，配置可插拔的 KV 缓存层级结构，包括将 KV 数据卸载至主机内存、远程存储，以及 LMCache、Mooncake 和 KVBM 等系统。

• 面向硬件、工作负载和流量的变体自动伸缩： 这是一种具备流量与硬件感知能力的自动伸缩器，其功能包括：(a) 测量每个模型服务实例的容量；(b) 构建考虑不同请求形态与 QoS 的负载函数；(c) 分析近期的流量组合（QPS、QoS 和请求形态），从而计算出处理预填充、解码及延迟容忍型请求的最佳实例组合，进而支持使用 HPA 实现 SLO 级别的资源效率。

更多架构细节请参阅项目提案。

llm-d 的范围

llm-d 目前致力于提升以下方面的生产级推理服务体验：

• 在 PyTorch 或 JAX 中运行的生成式模型的在线推理及在线批处理
  • 参数规模达 10 亿以上的大型语言模型 (LLMs)
  • 充分利用一台或多台硬件加速器的全部算力
  • 支持吞吐量优先、延迟优先或多目标优化等多种配置
• 面向最新一代数据中心级加速器——NVIDIA A100+、AMD MI250、Google TPU v5e 及更高版本，以及 Intel GPU Max 系列及以上型号
• 基于 Kubernetes 1.29+，可通过代码集成至 Ray，或作为独立服务部署

有关已测试的加速器、网络和配置的详细信息，请参阅加速器文档；关于后续计划，请查看我们的路线图。

🔍 可观测性

• 监控与指标 —— Prometheus、Grafana 仪表盘及 PromQL 查询
• 分布式追踪 —— OpenTelemetry 跨 vLLM、路由代理和 EPP 的追踪

📦 发布内容

我们的指南是持续更新的活文档。有关 Helm Chart 和组件发布的详细信息，请访问我们的GitHub 发布页面，查阅各版本的发布说明。

请查看我们即将发布的路线图。

贡献方式

• 更多关于开发流程和治理的信息，请参阅项目概述。
• 关于如何参与项目贡献的详细说明，请阅读贡献指南。
• 欢迎加入我们的特别兴趣小组 (SIGs)，在特定领域贡献力量，并与相关领域的专家协作。
• 我们使用 Slack 进行跨组织的开发讨论。欢迎加入：Slack。
• 我们每两周三中午 12:30 ET 举行一次面向贡献者的站会，并定期召开各 SIG 的会议。具体时间安排请参考llm-d 公共日历。
• 我们使用 Google Groups 分享架构图及其他内容。欢迎加入：Google Group。

许可证

本项目采用 Apache License 2.0 许可证。详细信息请参阅LICENSE 文件。

llm-d 快速上手指南

llm-d 是一个专为 Kubernetes 生产环境设计的高性能分布式推理服务栈。它基于 vLLM 模型服务器和 Kubernetes Gateway API，通过智能调度、预填充/解码分离（PD Disaggregation）及分层 KV 缓存等技术，帮助开发者在各类加速器上实现业界领先（SOTA）的推理性能。

环境准备

在部署 llm-d 之前，请确保满足以下系统和硬件要求：

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+ 或兼容发行版)
• Kubernetes: 版本 1.29 或更高
• 包管理工具: Helm 3.0+
• 网络插件: 支持 Kubernetes Gateway API 的 Ingress Controller

硬件加速器支持

llm-d 针对数据中心级加速器进行了优化，支持以下硬件：

• NVIDIA: A100, H100, B200 及更新型号
• AMD: MI250 及更新型号
• Google: TPU v5e 及更新型号
• Intel: GPU Max 系列及更新型号

注意：若使用多节点分布式推理（如宽专家并行 Wide-EP 或 PD 分离），需确保节点间具备高速互联网络（如 InfiniBand, RoCE RDMA, TPU ICI 等）。

前置依赖

• 已配置 kubectl 并连接到目标集群
• 已安装容器运行时（containerd 或 Docker）
• 确保集群已启用 Gateway API CRDs

安装步骤

推荐使用官方提供的 Helm Chart 进行快速部署。以下是部署“智能推理调度”（Intelligent Inference Scheduling）核心功能的步骤。

1. 添加 Helm 仓库

helm repo add llm-d https://llm-d.github.io/helm-charts
helm repo update

提示：如果访问 GitHub 或官方源较慢，请检查是否有企业内部镜像源或配置 HTTP 代理。目前官方暂未提供特定的中国镜像源，建议通过配置本地 Helm 仓库缓存加速。

2. 创建命名空间

kubectl create namespace llm-d-system

3. 安装 llm-d 核心组件

执行以下命令部署包含 vLLM 模型服务器和推理调度器（Inference Scheduler）的基础环境：

helm install llm-d llm-d/llm-d \
  --namespace llm-d-system \
  --set model.name="meta-llama/Llama-3-8B-Instruct" \
  --set replicaCount=2 \
  --set scheduler.enabled=true

参数说明：

• model.name: 指定要部署的开源大模型名称（HuggingFace ID）。
• replicaCount: 模型服务副本数量，用于负载分担。
• scheduler.enabled=true: 启用智能推理调度器，支持前缀缓存感知路由和基于利用率的负载均衡。

4. 验证部署状态

等待所有 Pod 运行就绪：

kubectl get pods -n llm-d-system

确保 llm-d-vllm-* 和 llm-d-scheduler-* 相关的 Pod 状态均为 Running。

基本使用

部署完成后，llm-d 会通过 Kubernetes Gateway API 暴露一个统一的推理入口。

1. 获取服务地址

查询 Gateway 的外部 IP 地址：

kubectl get gateway -n llm-d-system

假设输出的 ADDRESS 为 192.168.1.100。

2. 发送推理请求

使用 curl 向网关发送标准的 OpenAI 兼容格式请求。调度器将自动根据当前负载和前缀缓存情况，将请求路由至最优的 vLLM 实例。

curl http://192.168.1.100/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3-8B-Instruct",
    "messages": [
      {"role": "user", "content": "请简要介绍 llm-d 的核心优势。"}
    ],
    "max_tokens": 256
  }'

3. 进阶场景（可选）

如需启用更高级的生产特性，可通过修改 Helm values.yaml 文件重新部署：

• 预填充/解码分离 (PD Disaggregation): 适用于长上下文场景，降低首字延迟 (TTFT)。
• 分层 KV 缓存: 配置 tiered-cache 将 KV 缓存卸载至 CPU 内存或远程存储，提高缓存命中率。
• 工作负载自动伸缩: 集成 Workload Variant Autoscaler，根据流量混合类型自动调整预填充和解码节点的比例。

详细配置请参考官方 Guides 文档。