KServe

KServe 是一个标准化的分布式生成式和预测式 AI 推理平台，用于在 Kubernetes 上进行可扩展的多框架部署。

KServe 正被 许多组织使用，并且是 云原生计算基金会 (CNCF) 的孵化项目。

更多详情，请访问 KServe 官网。

为什么选择 KServe？

单一平台统一了 Kubernetes 上的生成式和预测式 AI 推理。足够简单以实现快速部署，同时又足够强大以处理企业级 AI 工作负载并具备高级功能。

功能特性

生成式 AI

• 🧮 优化后端：支持 vLLM 和 llm-d，为 LLM 服务提供优化性能
• 📌 标准化：OpenAI 兼容的推理协议，实现与 LLM 的无缝集成
• 🚅 GPU 加速：高性能服务，支持 GPU 及针对大模型的优化内存管理
• 💾 模型缓存：智能模型缓存，减少加载时间并提高常用模型的响应延迟
• 🗂️ KV 缓存卸载：高级内存管理，将 KV 缓存 (KV Cache) 卸载到 CPU/磁盘，高效处理长序列
• 📈 自动扩缩容：基于请求的自动扩缩容 (Autoscaling) 能力，针对生成式工作负载模式进行了优化
• 🔧 Hugging Face 就绪：原生支持 Hugging Face 模型，简化部署流程

预测式 AI

• 🧮 多框架：支持 TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等
• 🔀 智能路由：预测器、转换器和解释器组件之间无缝的请求路由，以及自动流量管理
• 🔄 高级部署：配合 InferenceGraph 实现金丝雀发布 (Canary)、推理管道和集成
• ⚡ 自动扩缩容：基于请求的自动扩缩容 (Autoscaling)，支持预测式工作负载的缩容至零 (Scale-to-zero)
• 🔍 模型可解释性：内置模型解释和特征归因支持，理解预测推理
• 📊 高级监控：启用载荷日志记录、异常检测、对抗检测和漂移检测
• 💰 成本效益：在不使用时对昂贵资源进行缩容至零 (Scale-to-zero)，降低基础设施成本

了解更多

要了解有关 KServe 的更多信息、如何使用各种支持的功能以及如何参与 KServe 社区，请遵循 KServe 网站文档。此外，我们还整理了一份 演讲和演示 列表，以便深入了解各种细节。

:hammer_and_wrench: 安装

独立安装

• 标准 Kubernetes 安装：与无服务器安装相比，这是一种更轻量级的安装方式。但是，此选项不支持金丝雀部署和基于请求的带缩容至零 (Scale-to-zero) 的自动扩缩容。
• Knative 安装：KServe 默认安装 Knative 以用于 InferenceService 的无服务器 (Serverless) 部署。
• ModelMesh 安装：您可以选择安装 ModelMesh 以启用高扩展性、高密度和频繁变更的模型服务用例。
• 快速安装：在本地机器上安装 KServe。

Kubeflow 安装

KServe 是 Kubeflow 的重要附加组件，请从 Kubeflow KServe 文档 了解更多。查看以下指南以了解如何在 AWS 或 OpenShift 容器平台 上运行。

:flight_departure: 创建您的第一个 InferenceService

:bulb: 路线图

:blue_book: InferenceService API 参考

:toolbox: 开发者指南

:writing_hand: 贡献者指南

:handshake: 采用者

Star 历史记录

贡献者

感谢所有杰出的贡献者！

KServe 快速上手指南

KServe 是一个标准化的分布式生成式和预测式 AI 推理平台，支持在 Kubernetes 上进行可扩展的多框架部署。作为 CNCF 孵化项目，它统一了生成式 AI（如 LLM）和预测式 AI 的推理服务。

---

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 集群要求: 已运行的 Kubernetes 集群（版本建议 v1.20+）。
• 工具依赖:
  • kubectl: 用于管理集群资源。
  • helm: 推荐使用 Helm 进行组件安装（v3.x+）。
• 网络配置:
  • 由于涉及拉取镜像，国内开发者可能需要配置 Docker 镜像加速或代理，以确保能顺利拉取 kserve 相关镜像。
  • 如需本地测试，可使用 Minikube 或 Kind 搭建本地集群。

---

2. 安装步骤

KServe 支持多种安装模式，您可以根据需求选择。默认推荐 Knative Serverless 模式以启用自动扩缩容功能。

方式一：Knative 安装（默认推荐）

此模式支持请求驱动的自动扩缩容（Scale-to-Zero），适合企业级负载。

# 添加仓库
helm repo add kserve https://kserve.github.io/kserve

# 更新仓库
helm repo update

# 安装 KServe (默认包含 Knative)
helm install kserve kserve/kserve --namespace kserve --create-namespace

方式二：标准 Kubernetes 安装（轻量级）

如果您不需要 Knative 的 Serverless 特性（如不支持 Canary 发布），可选择此模式。

详细参数请参考 Standard Kubernetes Installation。

方式三：ModelMesh 安装

适用于高并发、高密度及模型频繁变更的场景。

参考 ModelMesh Installation。

方式四：Kubeflow 集成

KServe 也是 Kubeflow 的重要组件。

参考 Kubeflow KServe 文档。

---

3. 基本使用

安装完成后，创建一个最简单的 InferenceService 来部署一个预测模型。以下示例展示了如何部署一个基于 PyTorch 的模型。

创建 InferenceService 资源

将以下内容保存为 my-model.yaml：

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: my-model
spec:
  predictor:
    sklearn:
      storageUri: "gs://kfserving-samples/models/sklearn/iris"
      resources:
        requests:
          cpu: 100m
          memory: 128Mi

应用该资源：

kubectl apply -f my-model.yaml

验证服务状态

检查服务是否就绪：

kubectl get isvc my-model

当状态显示为 Ready 时，即可通过 HTTP 端点发送推理请求。

---

4. 更多资源

• 完整文档: KServe Website
• API 参考: InferenceService API Reference
• 开发者指南: Developer Guide
• 社区交流: Slack Join Chat