OpenVINO™ 模型服务器

模型服务器用于托管模型，并通过标准网络协议使其可供软件组件访问：客户端向模型服务器发送请求，模型服务器执行模型推理并将响应返回给客户端。模型服务器为高效部署模型提供了诸多优势：

• 远程推理允许使用仅具备必要功能的轻量级客户端，通过 API 调用与边缘或云端部署进行交互。
• 应用程序与模型框架、硬件设备和基础设施无关。
• 支持 REST 或 gRPC 调用的任何编程语言的客户端应用程序均可用于在模型服务器上远程执行推理。
• 客户端所需的更新较少，因为客户端库很少发生变化。
• 模型拓扑和权重不会直接暴露给客户端应用程序，从而更容易控制对模型的访问权限。
• 是基于微服务的应用程序以及云环境（包括 Kubernetes 和 OpenShift 集群）部署的理想架构。
• 通过水平和垂直推理扩展实现高效的资源利用。

OpenVINO™ 模型服务器 (OVMS) 是一个高性能的模型推理服务系统。它采用 C++ 实现以支持可扩展性，并针对 Intel 架构进行了优化。OVMS 使用类似于 OpenAI 和 Cohere 的生成式 API、KServe 和 TensorFlow Serving，同时利用 OpenVINO 执行推理。推理服务通过 gRPC 或 REST API 提供，使得部署新算法和 AI 实验变得简单易行。

服务器所使用的模型可以存储在本地、由对象存储服务远程托管，或从 HuggingFace Hub 中拉取。更多详细信息，请参阅 准备模型仓库 和 部署 文档。模型服务器可在 Docker 容器、裸金属服务器以及 Kubernetes 环境中运行。

您可以通过 快速入门指南 或 LLM 快速入门指南 中的快速演示示例开始使用 OpenVINO 模型服务器。

请阅读 发布说明，了解最新功能。

核心特性：

• [新增] 使用 OpenAI API 进行语音生成和语音识别
• [新增] 支持 AI 代理
• [新增] 兼容 OpenAI API 的图像生成
• 原生 Windows 支持。请查看更新后的 部署指南
• 兼容 OpenAI API 的文本嵌入
• 兼容 Cohere API 的重排序
• 通过 OpenAI API 实现高效文本生成
• Python 代码执行
• gRPC 流式传输
• MediaPipe 图谱服务
• 模型管理——包括 模型版本控制 和 运行时模型更新
• 动态模型输入
• 有向无环图调度器，以及 DAG 流水线中的自定义节点
• 指标——兼容 Prometheus 标准的指标
• 支持多种框架，如 TensorFlow、PaddlePaddle 和 ONNX
• 支持 AI 加速器

完整特性列表请参阅 特性文档。

注意： OVMS 已在 RedHat、Ubuntu 和 Windows 上经过测试。公开的 Docker 镜像存储于：

• Dockerhub
• RedHat 生态系统目录 Linux 和 Windows 的二进制包可在 Github 上找到。

运行 OpenVINO 模型服务器

有关如何使用 OpenVINO 模型服务器的演示，请参阅我们的 视觉用例快速入门指南 和 LLM 文本生成快速入门指南。

此外，请参考以下说明：

• 准备模型仓库
• 部署
• 编写客户端代码
• 演示

参考文献

• OpenVINO™
• 通过 CPU 优化推动生成式 AI 发展
• 使用 OpenVINO 模型服务器管理深度学习模型
• 借助 OpenVINO 模型服务器轻松且经济地构建 RAG 组件
• 使用 KServe API 简单部署
• 基准测试结果

联系方式

如果您有任何问题、功能请求或错误报告，请随时提交 Github 问题。

---

* 其他名称和品牌可能属于其各自所有者。

OpenVINO Model Server (OVMS) 快速上手指南

OpenVINO Model Server (OVMS) 是一个高性能的模型服务系统，专为在 Intel 架构上部署深度学习模型而优化。它支持通过 gRPC 或 REST API 提供推理服务，兼容 OpenAI、KServe 和 TensorFlow Serving 等主流接口标准，适用于云原生、微服务及边缘计算场景。

环境准备

系统要求

• 操作系统：Ubuntu, RedHat Enterprise Linux (RHEL), 或 Windows (原生支持)。
• 硬件架构：Intel CPU (推荐)，支持多种 AI 加速器。
• 运行环境：
  • Docker (推荐)：需安装 Docker Engine 和 Docker Compose。
  • 裸金属 (Bare Metal)：需具备 C++ 运行环境。
  • Kubernetes：适用于 K8s 或 OpenShift 集群部署。

前置依赖

• 若使用 Docker 方式，无需额外安装 OpenVINO toolkit，镜像已包含所有依赖。
• 若需从 HuggingFace Hub 拉取模型，请确保网络通畅（国内用户建议配置代理或使用镜像源）。
• 客户端开发：任意支持 REST 或 gRPC 调用的编程语言环境（如 Python, C++, Java 等）。

安装步骤

推荐使用 Docker 容器化部署，这是最简便且隔离性最好的方式。

1. 拉取官方 Docker 镜像

从 Docker Hub 拉取最新稳定版镜像：

docker pull openvino/model_server:latest

提示：国内用户若拉取缓慢，可尝试配置 Docker 镜像加速器，或使用 RedHat Ecosystem Catalog 镜像（需注册账号）。

2. 准备模型仓库

OVMS 支持本地存储、对象存储或直接从 HuggingFace Hub 加载模型。以下以本地模型为例：

假设你已将 OpenVINO 格式模型（.xml 和 .bin 文件）放置在本地目录 /home/user/models/resnet50/1（其中 1 为版本号）。

目录结构示例：

models/
└── resnet50/
    └── 1/
        ├── model.xml
        └── model.bin

3. 启动模型服务

使用 docker run 命令挂载模型目录并启动服务。以下示例将本地模型目录映射到容器内，并开放 gRPC (9000) 和 REST (8000) 端口：

docker run -d --rm -p 8000:8000 -p 9000:9000 \
  -v /home/user/models:/models \
  openvino/model_server:latest \
  --model_path /models \
  --port 8000 \
  --rest_port 8000 \
  --grpc_port 9000 \
  --model_name resnet50

注：若需加载多个模型或配置复杂策略，建议使用 JSON 配置文件并通过 --config_path 参数指定。

基本使用

启动成功后，即可通过 REST API 或 gRPC 客户端发送推理请求。以下展示最简单的 REST API 调用示例。

发送推理请求 (REST API)

假设使用 curl 向上述启动的 ResNet-50 模型发送一张预处理后的图片数据（此处以占位符表示输入张量）：

curl http://localhost:8000/v1/models/resnet50:predict \
  -d '{
    "instances": [
      {"input": [0.1, 0.2, 0.3, ...]} 
    ]
  }'

注意：实际使用时，input 数组应为经过预处理（归一化、Resize 等）并展平的图片像素数据，具体形状需参考模型的输入要求。

查看模型状态

检查模型是否加载成功：

curl http://localhost:8000/v1/models/resnet50

若返回包含 "version": "1" 和 "state": "AVAILABLE" 的 JSON 响应，则表示服务就绪。

进阶场景提示

• LLM 文本生成：OVMS 兼容 OpenAI API 格式，可直接使用标准的 OpenAI Python SDK 连接 OVMS 进行大模型推理。
• 动态批处理：支持在运行时调整 Batch Size 和输入形状，无需重启服务。
• 多框架支持：除 OpenVINO IR 格式外，还支持直接加载 TensorFlow SavedModel、ONNX 和 PaddlePaddle 模型。

更多详细用例（如语音生成、图像生成、RAG 架构搭建等），请参考官方 Demos 文档。