• 推理优化：在计算机视觉、自动语音识别、生成式AI、自然语言处理（包括大型和小型语言模型）以及其他常见任务中，大幅提升深度学习性能。
• 灵活的模型支持：支持使用 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax 等主流框架训练的模型。通过 Optimum Intel 直接集成 Hugging Face Hub 中基于 Transformer 和 Diffusers 构建的模型；也可对无原始框架的模型进行转换并部署。
• 广泛的平台兼容性：降低资源需求，在从边缘到云端的多种平台上高效部署。OpenVINO™ 支持在 CPU（x86、ARM）、GPU（英特尔集成及独立 GPU）以及 AI 加速器（英特尔 NPU）上进行推理。
• 社区与生态：加入活跃的社区，共同推动各领域深度学习性能的提升。

请查看 OpenVINO 备忘录 和 核心特性，以快速了解相关信息。

安装

获取您偏好的 OpenVINO 发行版，或使用以下命令快速安装：

pip install -U openvino

有关详细信息，请查阅 系统要求 和 支持的设备。

教程与示例

OpenVINO 快速入门示例 将引导您完成首次模型部署的基础操作。

通过 OpenVINO 笔记本📚 学习如何优化并部署热门模型：

• 使用 OpenVINO 构建 LLM 驱动的聊天机器人
• YOLOv11 优化
• 文本到图像生成
• 结合 LLaVa 与 OpenVINO 的多模态助手
• 使用 Whisper 和 OpenVINO 进行自动语音识别

更多示例请参阅 OpenVINO 示例（Python & C++） 和 笔记本（Python）。

以下是使用 OpenVINO 运行 PyTorch 和 TensorFlow 模型推理的简单代码示例：

PyTorch 模型

import openvino as ov
import torch
import torchvision

# 将 PyTorch 模型加载到内存中
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")

# 将模型转换为 OpenVINO 格式
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))

# 在 CPU 设备上编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 对随机数据进行推理
output = compiled_model({0: example.numpy()})

TensorFlow 模型

import numpy as np
import openvino as ov
import tensorflow as tf

# 将 TensorFlow 模型加载到内存中
model = tf.keras.applications.MobileNetV2(weights='imagenet')

# 将模型转换为 OpenVINO 格式
ov_model = ov.convert_model(model)

# 在 CPU 设备上编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 对随机数据进行推理
data = np.random.rand(1, 224, 224, 3)
output = compiled_model({0: data})

OpenVINO 支持 CPU、GPU 和 NPU 设备，并可与 PyTorch、TensorFlow、ONNX、TensorFlow Lite、PaddlePaddle 和 JAX/Flax 框架 兼容。它提供 API 接口，涵盖 C++、Python、C、NodeJS，并推出 GenAI API，用于优化模型流水线和性能。

使用 OpenVINO 的生成式 AI

开始使用 OpenVINO GenAI 的安装指南，并参考详细指南，以探索利用 OpenVINO 实现生成式 AI 的能力。

通过 OpenVINO™ GenAI 仓库 中的示例，了解如何运行 LLM 和生成式 AI。您还可以通过 Jupyter 笔记本查看生成式 AI 的实际应用：基于 LLM 的聊天机器人和LLM 指令遵循流水线。

文档

用户文档 提供了关于 OpenVINO 的详细信息，指导您完成从安装到优化及部署模型以用于 AI 应用的全过程。

开发者文档 专注于 OpenVINO 的架构，并介绍了构建和贡献流程。

OpenVINO 生态系统

OpenVINO 工具

• 神经网络压缩框架 (NNCF) - 包含量化和稀疏化等高级模型优化技术。
• GenAI 仓库 和 OpenVINO 分词器 - 用于开发和优化生成式 AI 应用的资源与工具。
• OpenVINO™ 模型服务器 (OVMS) - 一种可扩展、高性能的解决方案，用于服务针对 Intel 架构优化的模型。
• Intel® Geti™ - 一款面向计算机视觉应用场景的交互式视频和图像标注工具。

集成

• 🤗Optimum Intel - 在 Hugging Face API 中获取并使用利用 OpenVINO 的模型。
• Torch.compile - 通过将代码即时编译为优化后的内核，使 Python 原生应用能够使用 OpenVINO。
• ExecuTorch - 结合 ExecuTorch 与 OpenVINO，高效优化并运行 AI 模型。
• OpenVINO LLM 推理与服务结合 vLLM​ - 利用 OpenVINO 后端增强 vLLM 快速便捷的模型服务功能。
• OpenVINO 执行提供者用于 ONNX Runtime - 将 OpenVINO 作为后端与您现有的 ONNX Runtime 代码结合使用。
• LlamaIndex - 使用 LlamaIndex 框架构建上下文增强的生成式 AI 应用，并借助 OpenVINO 提升运行时性能。
• LangChain - 将 OpenVINO 与 LangChain 框架集成，以提升生成式 AI 应用的运行时性能。
• Keras 3 - Keras 3 是一个支持多种后端的深度学习框架。用户可以通过 Keras API 将模型推理切换至 OpenVINO 后端。

请查看 Awesome OpenVINO 仓库，发现由社区基于 OpenVINO 构建的一系列 AI 项目！

性能

浏览 OpenVINO 性能基准测试，了解最佳硬件配置，并根据经过验证的数据规划您的 AI 部署。

贡献与支持

有关更多详情，请参阅贡献指南。 如果您正在寻找入门贡献的机会，请阅读首次贡献问题部分。我们欢迎各种形式的贡献！

您可以在以下渠道提问并获得支持：

• GitHub Issues。
• Intel DevHub Discord 服务器上的 OpenVINO 频道 (discord.gg/7pVRxUwdWG)。
• Stack Overflow 上的 openvino 标签*。

资源

• 发行说明
• OpenVINO 博客
• Medium 上的 OpenVINO™ 工具包

遥测

OpenVINO™ 会收集软件性能和使用数据，以改进 OpenVINO™ 工具。这些数据由 OpenVINO™ 直接收集，或通过 Google Analytics 4 收集。您可以随时通过运行以下命令选择退出：

opt_in_out --opt_out

更多信息请参阅 OpenVINO™ 遥测。

许可证

OpenVINO™ 工具包采用 Apache License Version 2.0 许可。通过参与该项目，您同意其中的许可和版权条款，并在此基础上发布您的贡献。

---

* 其他名称和品牌可能属于其各自所有者。

OpenVINO 快速上手指南

OpenVINO™ 是一个开源软件工具包，用于优化和部署深度学习模型。它支持在 CPU、GPU（Intel 集成/独立显卡）和 NPU 等多种硬件上高效运行，兼容 PyTorch、TensorFlow、ONNX 等主流框架。

1. 环境准备

系统要求

• 操作系统：Linux (Ubuntu/CentOS), Windows, macOS
• 处理器：
  • CPU: x86_64 或 ARM64
  • GPU: Intel® Integrated Graphics 或 Discrete Graphics (需安装对应驱动)
  • NPU: Intel® AI Boost (适用于最新酷睿 Ultra 处理器)
• Python 版本：3.9 - 3.12

前置依赖

确保已安装 pip 和构建工具。对于 Linux 用户，建议先更新系统包：

sudo apt update && sudo apt install -y python3-pip python3-dev

(Windows/macOS 用户通常无需额外安装系统级依赖，只需确保 Python 环境正常)

国内加速提示：如果遇到网络问题，建议使用国内镜像源安装（见下文安装步骤）。

2. 安装步骤

方式一：使用 pip 安装（推荐）

通用命令：

pip install -U openvino

使用国内镜像源加速（推荐中国开发者）：

pip install -U openvino -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 Conda 安装

conda install -c conda-forge openvino

(国内用户可配置 conda 清华源以加速下载)

验证安装

安装完成后，运行以下命令检查版本：

python -c "import openvino as ov; print(ov.__version__)"

3. 基本使用

OpenVINO 的核心工作流分为三步：加载模型 -> 转换模型 -> 编译并推理。

以下是最简单的代码示例，展示如何将 PyTorch 和 TensorFlow 模型转换为 OpenVINO 格式并运行推理。

示例 A：运行 PyTorch 模型

import openvino as ov
import torch
import torchvision

# 1. 加载预训练的 PyTorch 模型
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")

# 2. 准备示例输入并转换模型为 OpenVINO 格式
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))

# 3. 初始化核心并编译模型到 CPU 设备
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 4. 执行推理
output = compiled_model({0: example.numpy()})
print("Inference successful!")

示例 B：运行 TensorFlow 模型

import numpy as np
import openvino as ov
import tensorflow as tf

# 1. 加载预训练的 TensorFlow 模型
model = tf.keras.applications.MobileNetV2(weights='imagenet')

# 2. 转换模型为 OpenVINO 格式
ov_model = ov.convert_model(model)

# 3. 初始化核心并编译模型到 CPU 设备
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 4. 准备随机数据并执行推理
data = np.random.rand(1, 224, 224, 3).astype(np.float32)
output = compiled_model({0: data})
print("Inference successful!")

进阶提示

• 更换设备：将 compile_model 中的 'CPU' 替换为 'GPU' 或 'NPU' 即可利用相应硬件加速（需确保硬件驱动已正确安装）。
• 模型来源：除了直接转换，还可以通过 Hugging Face (optimum-intel) 或直接加载 ONNX/PaddlePaddle 模型。
• 生成式 AI：如需运行 LLM 或 Stable Diffusion，请额外安装 openvino-genai 包并参考官方 GenAI 教程。