大规模部署模块化、以数据为中心的AI应用

💡 关于

Seldon Core 2 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 中部署、管理和扩展 AI 系统——从单个模型到模块化、以数据为中心的应用。借助 Core 2，您可以以标准化的方式部署各种类型的模型，无论是在本地还是在任何云环境中，并且开箱即用即可投入生产。

如需就商业用途与 Seldon 联系，请访问我们的 网站。

📚 文档

Seldon Core 2 的文档可以在这里找到：https://docs.seldon.ai/seldon-core-2。对于最具体的章节，请参阅以下内容：

🔧 安装   •   ⛽ 服务器   •   🤖 模型   •   🔗 流水线   •   🧑‍🔬 实验   •   📊 性能调优

🧩 特性

• 流水线：部署可组合的 AI 应用，利用 Kafka 在组件之间进行实时数据流传输。
• 自动扩缩容：根据原生或自定义逻辑对模型和应用组件进行自动扩缩容。
• 多模型服务：通过将多个模型整合到共享的推理服务器上，降低基础设施成本。
• 超量部署：部署超出可用内存容量的模型数量，从而节省未使用模型的基础设施成本。
• 实验：在候选模型或流水线之间路由数据，支持 A/B 测试和影子部署。
• 自定义组件：通过即插即用的方式与其他 Seldon 的机器学习/人工智能产品生态系统集成，实现自定义逻辑、漂移与异常检测、大语言模型等功能！

🔬 研究

这些特性受到我们关于下一代 ML 模型服务框架的立场论文的影响：

👉 下一代 ML 模型服务的需求

📜 许可证

Seldon 根据商业源代码许可证条款进行分发。完整的许可证版本可在本仓库的 LICENSE 文件 中找到。对该项目的任何贡献都将依据商业源代码许可证进行授权。

Seldon Core 2 快速上手指南

Seldon Core 2 是一个专为 Kubernetes 设计的 MLOps 和 LLMOps 框架，支持从单一模型到模块化、数据驱动型 AI 应用的大规模部署与管理。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker Desktop)。
• Kubernetes 集群: 需要一个正在运行的 Kubernetes 集群 (版本 1.23+)。
  • 本地开发推荐：Kind, Minikube, 或 Docker Desktop。
  • 生产环境推荐：EKS, GKE, AKS 或自建集群。
• kubectl: 已安装并配置好与集群的通信。
• Helm: 版本 3.0+ (用于安装 Seldon Core)。
• 容器镜像源 (国内加速):
  • 由于 Seldon 官方镜像位于 Docker Hub，国内访问可能较慢。建议配置国内镜像加速器（如阿里云、腾讯云等）或在 values.yaml 中指定国内镜像仓库地址。

安装步骤

使用 Helm 是安装 Seldon Core 2 最便捷的方式。

1. 添加 Seldon Helm 仓库

   helm repo add seldon https://storage.googleapis.com/seldon-charts
   helm repo update
   

2. 创建命名空间

   kubectl create namespace seldon-system
   

3. 安装 Seldon Core

   执行以下命令进行默认安装：

   helm install seldon-core seldon/seldon-core \
     --namespace seldon-system \
     --set prefix=seldon
   

   提示：若需自定义配置（如指定镜像源以加速下载），可先拉取 values 文件修改后再安装：

   helm show values seldon/seldon-core > values.yaml
   # 编辑 values.yaml 修改 image.repository 等字段
   helm install seldon-core seldon/seldon-core -f values.yaml --namespace seldon-system
   

4. 验证安装

   等待所有 Pod 状态变为 Running：

   kubectl get pods -n seldon-system
   

基本使用

以下示例展示如何部署一个简单的机器学习模型（例如一个预训练的 SkLearn 模型）。

1. 准备模型定义文件

创建一个名为 model.yaml 的文件，定义一个 SeldonDeployment 资源。此示例使用 Seldon 提供的内置测试镜像。

apiVersion: mlops.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: example-model
  namespace: default
spec:
  predictors:
  - graph:
      implementation: SKLEARN_SERVER
      modelUri: gs://seldon-models/v1.21.0-dev/sklearn/mnist
      name: classifier
    name: default
    replicas: 1

注意: modelUri 指向 Google Cloud Storage。国内用户若无法访问，可替换为托管在国内对象存储（如 OSS/COS）上的模型路径，或使用本地构建的容器镜像 (type: "container")。

2. 部署模型

应用配置文件到 Kubernetes 集群：

kubectl apply -f model.yaml

3. 检查部署状态

查看部署状态，直到 STATUS 显示为 Available：

kubectl get sdep example-model

4. 发送预测请求

获取服务的入口地址（假设已配置 Ingress 或使用端口转发）。若使用端口转发进行测试：

kubectl port-forward svc/example-model-default-0 8000:8000

使用 curl 发送测试请求：

curl -X POST http://localhost:8000/v2/models/classifier/infer \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"name": "input", "shape": [1, 64], "datatype": "FP32", "data": [[0.0]*64]}]}'

如果返回包含 outputs 的 JSON 响应，则说明模型部署成功并开始提供服务。