Optimum Intel

🤗 Optimum Intel 是 🤗 Transformers 和 Diffusers 库与 OpenVINO 提供的各种工具和库之间的接口，旨在加速 Intel 架构上的端到端流水线 (pipelines)。

OpenVINO 是一个开源工具包，支持 Intel CPU、GPU 和专用深度学习 (DL) 推理加速器的高性能推理能力（参见 完整的支持设备列表）。它附带了一组工具，可使用量化 (quantization)、剪枝 (pruning) 和知识蒸馏 (knowledge distillation) 等压缩技术来优化您的模型。Optimum Intel 提供了一个简单的接口来优化您的 Transformers 和 Diffusers 模型，将它们转换为 OpenVINO 中间表示 (IR) 格式，并使用 OpenVINO 运行时 (Runtime) 运行推理。

Installation

要安装带有相应所需依赖项的 🤗 Optimum Intel 最新发行版，您可以使用 pip 如下：

python -m pip install -U "optimum-intel[openvino]"

Optimum Intel 是一个快速迭代的项目，会定期添加对新模型的支持，因此您可能希望使用以下命令从源码安装：

python -m pip install "optimum-intel"@git+https://github.com/huggingface/optimum-intel.git

弃用通知： openvino 的 extras（可选依赖）（例如 pip install optimum-intel[openvino,nncf]），nncf, neural-compressor, ipex 已弃用，并将在未来的版本中移除。

Export:

To export your model to OpenVINO IR format, use the optimum-cli tool. Below is an example of exporting TinyLlama/TinyLlama_v1.1 model:

optimum-cli export openvino --model TinyLlama/TinyLlama_v1.1 ov_TinyLlama_v1_1

Additional information on exporting models is available in the documentation.

Inference:

To load an exported model and run inference using Optimum Intel, use the corresponding OVModelForXxx class instead of AutoModelForXxx:

from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer, pipeline

model_id = "ov_TinyLlama_v1_1"
model = OVModelForCausalLM.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
results = pipe("Hey, how are you doing today?", max_new_tokens=100)

For more details on Optimum Intel inference, refer to the documentation.

Note: Alternatively, an exported model can also be inferred using OpenVINO GenAI framework, that provides optimized execution methods for highly performant Generative AI.

Quantization:

Post-training static quantization can also be applied. Here is an example on how to apply static quantization on a Whisper model using the LibriSpeech dataset for the calibration step.

from optimum.intel import OVModelForSpeechSeq2Seq, OVQuantizationConfig

model_id = "openai/whisper-tiny"
q_config = OVQuantizationConfig(dtype="int8", dataset="librispeech", num_samples=50)
q_model = OVModelForSpeechSeq2Seq.from_pretrained(model_id, quantization_config=q_config)

# The directory where the quantized model will be saved
save_dir = "nncf_results"
q_model.save_pretrained(save_dir)

You can find more information in the documentation.

Running the examples

Check out the notebooks directory to see how 🤗 Optimum Intel can be used to optimize models and accelerate inference.

Do not forget to install requirements for every example:

cd <example-folder>
pip install -r requirements.txt

Optimum Intel 快速上手指南

🤗 Optimum Intel 是连接 Hugging Face Transformers/Diffusers 库与 OpenVINO 的接口，旨在利用 Intel CPU、GPU 及专用 DL 推理加速器加速端到端流水线。

环境准备

• 操作系统：支持 Linux, Windows, macOS。
• 硬件要求：Intel 处理器（CPU）、Intel Arc 显卡或其他支持的 Intel DL 加速器。
• 软件依赖：Python 3.8+，确保已安装 pip。

安装步骤

推荐使用 pip 安装最新稳定版及其所需依赖：

python -m pip install -U "optimum-intel[openvino]"

注意：旧版的 extras（如 nncf, neural-compressor, ipex）已被弃用，未来版本将移除，请勿在 pip install 命令中混合使用这些额外包。

如需获取最新开发功能，可从源码安装：

python -m pip install "optimum-intel"@git+https://github.com/huggingface/optimum-intel.git

基本使用

1. 模型导出

首先将 Hugging Face 模型转换为 OpenVINO IR 格式。以下示例导出 TinyLlama 模型：

optimum-cli export openvino --model TinyLlama/TinyLlama_v1.1 ov_TinyLlama_v1_1

2. 推理运行

加载导出的模型并使用 OVModelForXxx 类进行推理（替代标准的 AutoModelForXxx）：

from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer, pipeline

model_id = "ov_TinyLlama_v1_1"
model = OVModelForCausalLM.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
results = pipe("Hey, how are you doing today?", max_new_tokens=100)

更多高级功能（如量化优化）请参考官方文档。