2018年1月更新

• Seldon Core 开源。
  • Seldon Core 专注于在 Kubernetes 上部署各种机器学习模型，允许在生产环境中管理复杂的运行时服务图。Seldon Core 是 Seldon-Server 项目目标的延续，但其侧重点更加明确，即解决机器学习项目中的最后一步——在生产环境中部署和提供模型服务。请访问项目页面，其中包含丰富的文档，供您进一步了解。

Seldon Server：* * 已归档 * *

本项目已不再积极维护，请参阅 Seldon Core。

Seldon Server 是一个机器学习平台，可帮助您的数据科学团队将模型部署到生产环境。

它提供了一个开源的数据科学栈，可在 Kubernetes 集群中运行。您可以使用 Seldon 将机器学习和深度学习模型部署到本地或云端的生产环境中（例如 GCP、AWS、Azure）。

Seldon 支持使用 TensorFlow、Keras、Vowpal Wabbit、XGBoost、Gensim 以及其他任何模型构建工具训练的模型——甚至支持那些可以导出模型的商业工具和服务所构建的模型。

它包含一个具有两个关键端点的 API：

1. 预测 - 使用容器和 微服务，大规模构建并部署由任何机器学习库或框架创建的监督学习模型。
2. 推荐 - 高性能的基于用户行为和内容的推荐引擎，内置多种算法，开箱即用。

其他功能包括：

• 复杂动态的 算法配置与组合，无需停机：进行 A/B 测试和多变量测试，级联算法并创建集成模型。
• 命令行界面 (CLI)，用于配置和管理 Seldon Server。
• 安全的 OAuth 2.0 REST 和 gRPC API，以简化与您的数据和应用程序的集成。
• 基于 Kafka Streams、Fluentd 和 InfluxDB 构建的 Grafana 仪表板，用于 实时分析。

Seldon 被世界上一些最具创新性的组织所采用——它是初创企业的理想机器学习部署平台，并且能够扩展以满足大型企业的需求。

开始使用

在 Kubernetes 集群上安装 Seldon 只需几分钟。请访问我们的 安装指南 并阅读我们的 技术文档。

社区与支持

• 加入 Seldon 用户组。
• 注册我们的新闻通讯，第一时间获取有关我们产品和活动的最新信息。
• 访问 我们的官网、关注 Twitter 上的 @seldon_io 并点赞 我们的 Facebook 页面。
• 如果您在伦敦，欢迎参加 TensorFlow London 活动——这是一个由我们共同组织的、拥有超过 1200 名数据科学家的社区。
• 我们还提供 商业支持计划和托管服务。

许可证

Seldon 根据 Apache 许可证 2.0 版 提供。

Seldon Server 快速上手指南

⚠️ 重要提示：本项目（Seldon Server）已归档，不再积极维护。官方推荐迁移至其继任项目 Seldon Core，后者专注于在 Kubernetes 上部署各类机器学习模型。本指南仅作为历史版本参考或旧系统维护使用。

Seldon Server 是一个运行在 Kubernetes 集群上的开源机器学习平台，支持将 TensorFlow、Keras、XGBoost 等框架训练的模型部署为生产级微服务，提供预测（Predict）和推荐（Recommend）两大核心功能。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统：Linux (Ubuntu/CentOS) 或 macOS。
• Kubernetes 集群：需要一个正在运行的 Kubernetes 集群 (v1.6+)。
  • 本地开发推荐使用 Minikube。
  • 云端支持 GCP (Google Cloud Platform), AWS, Azure 等。
• 命令行工具：
  • kubectl：已配置并连接到您的集群。
  • helm (可选但推荐)：用于简化包管理（视具体安装方式而定）。
  • docker：用于构建和推送自定义模型镜像。
• 网络要求：集群节点需能访问 Docker Hub 以拉取 Seldon 基础镜像。
  • 国内加速建议：若拉取镜像缓慢，请配置 Docker 国内镜像加速器（如阿里云、腾讯云、中科大源），或在 daemon.json 中配置 registry-mirrors。

安装步骤

Seldon Server 的安装主要通过向 Kubernetes 集群部署资源文件完成。以下是基于官方文档的快速安装流程：

1. 克隆仓库或获取资源文件 您可以直接应用官方提供的 Kubernetes 配置文件。

2. 部署 Seldon Server 使用 kubectl 应用核心配置。以下命令将创建必要的命名空间、服务账户及核心组件：

   kubectl create namespace seldon-system
   kubectl apply -f https://raw.githubusercontent.com/SeldonIO/seldon-server/master/kube/config/seldon.yaml
   

   注：如果上述链接失效（因项目归档），请下载对应版本的 seldon.yaml 文件到本地后执行 kubectl apply -f seldon.yaml。

3. 验证安装状态 等待所有 Pod 运行就绪：

   kubectl get pods -n seldon-system
   

   当所有状态显示为 Running 时，表示安装成功。

4. 安装 CLI 工具 (可选) 为了方便管理，建议安装 Seldon 命令行工具：

   pip install seldon-cli
   

基本使用

安装完成后，您可以通过部署一个示例模型来测试预测功能。以下是一个最简单的使用流程，演示如何部署一个预训练的模型并发起预测请求。

1. 部署示例模型

Seldon 提供了多种示例模型。这里以部署一个简单的逻辑回归模型为例。创建一个名为 model.json 的配置文件中，定义模型参数（此处假设使用内置示例镜像）：

{
  "kind": "Deployment",
  "apiVersion": "apps/v1",
  "metadata": {
    "name": "my-model"
  },
  "spec": {
    "replicas": 1,
    "selector": {
      "matchLabels": {
        "app": "my-model"
      }
    },
    "template": {
      "metadata": {
        "labels": {
          "app": "my-model"
        }
      },
      "spec": {
        "containers": [
          {
            "image": "seldonio/mock_classifier:1.0",
            "name": "classifier"
          }
        ]
      }
    }
  }
}

应用该配置到集群：

kubectl apply -f model.json

或者使用 Seldon CLI (如果已安装) 进行更高级的部署管理：

seldon-cli setup --namespace default
seldon-cli create --model-name my-model --image seldonio/mock_classifier:1.0

2. 暴露服务

为了从集群外部访问模型，需要暴露服务。可以使用 kubectl port-forward 进行本地测试：

kubectl port-forward svc/my-model 8080:8080

3. 发送预测请求

使用 curl 向预测端点发送 JSON 数据。Seldon 的 Predict API 通常接收包含数据的 JSON 负载。

curl -X POST http://localhost:8080/api/0.1/predictions \
  -H "Content-Type: application/json" \
  -d '{
    "data": {
      "names": ["a", "b"],
      "ndarray": [[1.0, 2.0]]
    }
  }'

预期响应： 如果部署成功，您将收到包含预测概率或类别的 JSON 响应，例如：

{
  "meta": {
    "puid": "example-uuid",
    "tags": {},
    "routing": {},
    "requestPath": {}
  },
  "data": {
    "names": ["proba"],
    "ndarray": [[0.15, 0.85]]
  }
}

至此，您已成功在 Kubernetes 上运行 Seldon Server 并完成了第一次模型预测。对于更复杂的推荐系统配置、A/B 测试或多模型编排，请参考官方遗留文档中的 Advanced Recommender Config 部分。