MLServer

一个用于部署机器学习模型的开源推理服务器。

概述

MLServer 旨在通过 REST 和 gRPC 接口，以一种简单的方式启动您的机器学习模型服务，并完全符合 KFServing 的 V2 数据平面 规范。您可以在这里观看一段简短的项目介绍视频。

• 多模型服务：允许用户在同一进程中运行多个模型。
• 能够通过推理工作线程池，在多个模型之间并行执行推理，实现垂直扩展。
• 支持自适应批处理，以便动态地将推理请求分组在一起。
• 可在 Kubernetes 原生框架中部署，具有良好的可扩展性，包括 Seldon Core 和 KServe（原名 KFServing）。MLServer 是用于服务机器学习模型的核心 Python 推理服务器。
• 同时支持 gRPC 和 REST 风格的标准 V2 推理协议，该协议已被标准化并被多种模型服务框架采用。

您可以在初始设计文档中了解更多关于该项目目标的信息。

使用方法

您可以运行以下命令来安装 mlserver 包：

pip install mlserver

请注意，要使用任何可选的推理运行时，您需要安装相应的包。例如，要服务一个 scikit-learn 模型，您需要安装 mlserver-sklearn 包：

pip install mlserver-sklearn

有关如何使用 MLServer 的更多信息，您可以查看任何可用示例。

推理运行时

推理运行时允许您定义模型在 MLServer 中的使用方式。您可以将其视为 MLServer 与您选择的机器学习框架之间的后端桥梁。您可以在推理运行时的文档页面中了解更多信息。

开箱即用时，MLServer 提供了一组预打包的运行时，使您能够与一些常见的框架进行交互。这使得您可以立即开始服务这些框架中保存的模型。然而，您也可以**编写自定义运行时**。

开箱即用时，MLServer 提供以下框架的支持：

框架	支持状态	文档
Scikit-Learn	✅	MLServer SKLearn
XGBoost	✅	MLServer XGBoost
Spark MLlib	✅	MLServer MLlib
LightGBM	✅	MLServer LightGBM
CatBoost	✅	MLServer CatBoost
Tempo	✅	github.com/SeldonIO/tempo
MLflow	✅	MLServer MLflow
Alibi-Detect	✅	MLServer Alibi Detect
Alibi-Explain	✅	MLServer Alibi Explain
HuggingFace	✅	MLServer HuggingFace

MLServer 采用 Apache License, Version 2.0 许可证。但请注意，与 MLServer 结合或同时使用的软件可能采用不同的许可证条款。例如，Alibi Detect 和 Alibi Explain 均采用 Business Source License 1.1 许可证。有关与 MLServer 结合或同时使用的其他产品的法律条款，请参阅其各自的文档。

支持的 Python 版本

🔴 不支持

🟠 已弃用：将在未来版本中移除

🟢 支持

🔵 未测试

Python 版本	状态
3.7	🔴
3.8	🔴
3.9	🟢
3.10	🟢
3.11	🟢
3.12	🟢
3.13	🔴

示例

要查看 MLServer 的实际应用，请参阅我们的完整示例列表。以下是一些精选示例，展示了如何利用 MLServer 开始服务您的机器学习模型。

• 服务一个 scikit-learn 模型
• 服务一个 xgboost 模型
• 服务一个 lightgbm 模型
• 服务一个 catboost 模型
• 服务一个 tempo 流水线
• 服务一个自定义模型
• 服务一个 alibi-detect 模型
• 服务一个 HuggingFace 模型
• 多框架多模型服务
• 从模型仓库加载/卸载模型

开发者指南

版本管理

主 mlserver 包和推理运行时包都遵循相同的版本号方案。要为所有包同步更新版本，可以使用./hack/update-version.sh脚本。

我们通常将版本号保留为即将发布的版本占位符。

例如：

./hack/update-version.sh 0.2.0.dev1

测试

要运行 MLServer 和所有运行时的全部测试，可以使用：

make test

要单独运行某个文件的测试，可以使用类似以下的命令：

tox -e py3 -- tests/batch_processing/test_rest.py

MLServer 快速上手指南

MLServer 是一个开源的机器学习模型推理服务器，支持通过 REST 和 gRPC 接口提供服务，完全兼容 KFServing V2 数据平面协议。它支持多模型服务、并行推理、自适应批处理，并可无缝集成到 Kubernetes 生态（如 Seldon Core 和 KServe）。

环境准备

• 操作系统：Linux / macOS / Windows（推荐 Linux 生产环境）
• Python 版本：3.9、3.10、3.11 或 3.12（3.7/3.8 已不再支持，3.13 尚未测试）
• 包管理工具：pip（建议使用虚拟环境）
• 可选依赖：根据你要服务的模型框架安装对应的运行时包（如 mlserver-sklearn、mlserver-xgboost 等）

💡 国内用户可使用清华或阿里云镜像加速 pip 安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package-name>

安装步骤

1. 安装核心包：

pip install mlserver

2. 根据模型类型安装对应运行时（以 Scikit-Learn 为例）：

pip install mlserver-sklearn

其他常见运行时：

pip install mlserver-xgboost
pip install mlserver-lightgbm
pip install mlserver-huggingface
pip install mlserver-mlflow

基本使用

以下以部署一个 Scikit-Learn 模型为例：

1. 准备模型文件

假设你已有一个训练好的 model.pkl 文件，存放在当前目录。

2. 创建配置文件 settings.json

{
  "models": [
    {
      "name": "sklearn-model",
      "implementation": "mlserver_sklearn.SKLearnModel",
      "model_uri": "./model.pkl",
      "parameters": {
        "version": "v1"
      }
    }
  ]
}

3. 启动 MLServer

mlserver start .

服务器默认在 http://localhost:8080 提供 REST 接口，在 grpc://localhost:9000 提供 gRPC 接口。

4. 发送推理请求（REST 示例）

curl -X POST http://localhost:8080/v2/models/sklearn-model/infer \
  -H "Content-Type: application/json" \
  -d '{
    "inputs": [
      {
        "name": "input-0",
        "shape": [1, 4],
        "datatype": "FP32",
        "data": [[5.1, 3.5, 1.4, 0.2]]
      }
    ]
  }'

你将收到模型的预测结果。

---

✅ 现在你已成功使用 MLServer 部署了一个机器学习模型！
更多框架示例（XGBoost、HuggingFace、自定义模型等）请参考官方文档中的 Examples 章节。