简介

OpenVINO™ 训练扩展是一个面向计算机视觉领域的低代码迁移学习框架。该框架的 API 和 CLI 命令使用户即使在深度学习领域经验有限的情况下，也能轻松快速地进行模型训练、推理、优化和部署。OpenVINO™ 训练扩展基于 PyTorch 和 OpenVINO™ 工具套件，提供了多样化的模型架构、学习方法和任务类型的组合。

OpenVINO™ 训练扩展为每种支持的任务类型提供了一套“配方”，其中整合了构建模型所需的所有必要信息。这些模型模板已在多种数据集上进行了验证，能够为用户提供一站式的解决方案，帮助他们获得通用场景下的最佳模型。

自 OTX v2.4.5 起，我们引入了新的仓库结构和更灵活的后端概念。我们很高兴地宣布支持多后端——首先推出了 OpenVINO™ 后端，而此前的所有 OTX 功能现在都归入“原生”后端之下。

未来，我们计划集成诸如 Anomalib <https://github.com/open-edge-platform/anomalib>_、Transformers <https://huggingface.co/docs/transformers/index>_ 等流行的第三方库，并将其无缝整合到本仓库中。这将使用户能够使用相同的 CLI 命令和统一的 API，在不需重新实现的情况下，从不同后端训练、测试、导出和优化各种模型。

主要特性

OpenVINO™ 训练扩展支持以下计算机视觉任务：

• 分类，包括多类、多标签及层次化图像分类任务。
• 目标检测，包括旋转边界框和支持分块处理。
• 语义分割，包括分块算法支持。
• 实例分割，包括分块算法支持。
• 异常检测任务，包括异常分类、检测和分割。

OpenVINO™ 训练扩展还提供以下易用性功能：

• 原生 Intel GPU（XPU）支持。OpenVINO™ 训练扩展可安装 XPU 支持，以利用 Intel GPU 进行训练和测试。
• Datumaro 数据前端：OpenVINO™ 训练扩展支持每种任务中最常见的学术领域数据集格式。我们正不断努力扩展支持的格式，以便用户拥有更大的数据集格式选择自由。
• 分布式训练，可在拥有多块 GPU 时加速训练过程。
• 混合精度训练，可节省 GPU 显存并允许使用更大的批量大小。
• 类别增量学习，可向现有模型添加新类别。
• 模型部署至 OpenVINO™ IR 和 ONNX 格式，并通过 OpenVINO™ ModelAPI 进行推理。
• 多后端支持，可轻松将来自第三方实现的模型适配到 OpenVINO™ 训练扩展仓库中。

安装

请参阅 安装指南。如果您希望对库进行修改，建议进行本地安装。

# 不带 GPU 支持（仅 CPU）
pip install otx[cpu]

# 带 Intel GPU 支持（XPU）
pip install otx[xpu]

# 带 NVIDIA GPU 支持（CUDA）
pip install otx[cuda]

# 克隆仓库
git clone https://github.com/open-edge-platform/training_extensions.git
cd training_extensions

# 安装（可选：传递 '-e' 标志以启用可编辑模式
# 如果您有 Intel GPU，请使用 'xpu' 启用支持。
# 如果您有 NVIDIA GPU，请使用 'cuda' 启用支持。
pip install -e .[cpu]

快速入门

OpenVINO™ 训练扩展同时支持基于 API 和 CLI 的训练方式。API 更加灵活，允许更多自定义；而 CLI 训练则通过命令行界面进行，对于希望直接使用现成解决方案的用户来说可能更为简便。

对于 CLI，以下命令提供了子命令及其用法说明等信息：

# 查看可用子命令
otx --help

# 打印 train 子命令的帮助信息
otx train --help

# 打印帮助信息以获取更多详细信息
otx train --help -v   # 打印所需参数
otx train --help -vv  # 打印所有可配置参数

您可以在CLI 指南和API 快速指南中找到包含示例的详细信息。

以下是使用自动配置进行训练的方法，该方法适用于拥有数据集和任务的用户：

from otx.engine import create_engine

# 获取所有任务的所有可用配方
from otx.backend.native.cli.utils import list_models
model_lists = list_models(print_table=True)

# 使用 ATSS 模型实例化用于目标检测的原生 OTX 引擎
engine = create_engine(data="path/to/dataset/root", model="src/otx/recipe/detection/atss_mobilenetv2.yaml")
engine.train()
engine.test()
exported_path = engine.export()

# 默认情况下，所有工件都存储在“./otx-workspace”目录中。
# 可以指定工作目录
engine = create_engine(data="path/to/dataset/root", model="src/otx/recipe/detection/atss_mobilenetv2.yaml", work_dir="my_workdir")


# 使用 OpenVINO 后端来验证和优化导出的 OpenVINO IR 模型
ov_engine = create_engine(data="path/to/dataset/root", model=exported_path)
ov_engine.test()
ov_engine.optimize()

# 获取所有配方列表
otx find

# otx 训练
otx train --config src/otx/recipe/detection/atss_mobilenetv2.yaml --data_root data/wgisd

# 默认情况下，工作目录是“./otx-workspace”。可以通过“--work_dir”参数指定
otx test --config src/otx/recipe/detection/atss_mobilenetv2.yaml --data_root data/wgisd --checkpoint otx-workspace/.latest/train/best_checkpoint.ckpt
otx export --config src/otx/recipe/detection/atss_mobilenetv2.yaml --data_root data/wgisd --checkpoint otx-workspace/.latest/train/best_checkpoint.ckpt

# 或者使用 work_dir
otx test --work_dir otx-workspace/.latest/train
otx export --work_dir otx-workspace/.latest/train

# 直接从工作目录运行
cd otx-workspace
otx test
otx export

除了上述示例之外，请参阅文档中的教程，了解如何使用自定义模型、覆盖训练参数以及按任务类型划分的教程（教程：如何训练）等内容。

发布历史

请参阅 CHANGELOG.md

许可证

OpenVINO™ 工具包根据 Apache 许可证 2.0 版授权。通过为本项目做出贡献，您同意其中的许可和版权条款，并在此基础上发布您的贡献。

问题 / 讨论

请使用问题选项卡提交错误报告、功能请求或任何疑问。

免责声明

英特尔致力于尊重人权并避免参与侵犯人权的行为。请参阅英特尔的全球人权原则。英特尔的产品和软件仅适用于不会导致或促成违反国际公认人权的应用场景。

贡献

对于希望为本库做出贡献的人员，请参阅CONTRIBUTING.md以获取详细信息。

感谢您的支持！

OpenVINO™ Training Extensions 快速上手指南

OpenVINO™ Training Extensions (OTX) 是一个面向计算机视觉的低代码迁移学习框架。它基于 PyTorch 和 OpenVINO™ 工具包，支持分类、目标检测、语义分割、实例分割及异常检测等任务。通过统一的 API 和 CLI，用户可以轻松完成模型的训练、推理、优化和部署，即使没有深厚的深度学习背景也能快速上手。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 Windows。
• Python: 3.11 或更高版本。
• PyTorch: 2.7 或更高版本。
• OpenVINO: 2025.2 或更高版本。
• 硬件加速 (可选):
  • Intel GPU (XPU): 需安装相应的 Intel GPU 驱动。
  • NVIDIA GPU (CUDA): 需安装匹配的 CUDA toolkit 和 NVIDIA 驱动。

提示：建议使用虚拟环境（如 venv 或 conda）来隔离依赖，避免与其他项目冲突。

安装步骤

您可以通过 PyPI 直接安装，也可以从源码安装以进行二次开发。

方式一：通过 PyPI 安装（推荐）

根据您的硬件环境选择对应的安装命令：

# 仅 CPU 模式
pip install otx[cpu]

# Intel GPU 支持 (XPU)
pip install otx[xpu]

# NVIDIA GPU 支持 (CUDA)
pip install otx[cuda]

国内加速建议：如果遇到下载速度慢的问题，可以使用清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple otx[cuda]

方式二：从源码安装

如果您需要修改库代码或体验最新功能，请克隆仓库并安装：

# 克隆仓库
git clone https://github.com/open-edge-platform/training_extensions.git
cd training_extensions

# 安装可编辑模式 (根据硬件选择 cpu, xpu 或 cuda)
pip install -e .[cpu]

基本使用

OTX 提供了 CLI (命令行) 和 Python API 两种使用方式。以下以目标检测任务为例，展示最简化的使用流程。

方法 A：使用 CLI 命令行（最简单）

CLI 适合快速验证和标准化流程。

1. 查看可用模型配方 (Recipes)：

   otx find
   

2. 训练模型： 使用内置的 atss_mobilenetv2 模型配置和数据集路径进行训练。

   otx train --config src/otx/recipe/detection/atss_mobilenetv2.yaml --data_root data/wgisd
   

   注：默认工作目录为 ./otx-workspace，可通过 --work_dir 指定。

3. 测试与导出： 训练完成后，使用生成的最佳检查点进行测试和导出（转为 OpenVINO IR 或 ONNX）。

   # 测试
   otx test --work_dir otx-workspace/.latest/train
   
   # 导出模型
   otx export --work_dir otx-workspace/.latest/train
   

方法 B：使用 Python API（更灵活）

API 适合需要自定义逻辑或集成到现有 Python 项目中的场景。

from otx.engine import create_engine

# 1. 创建引擎实例
# 指定数据集路径和模型配置文件 (此处以 ATSS MobileNetV2 检测模型为例)
engine = create_engine(
    data="path/to/dataset/root", 
    model="src/otx/recipe/detection/atss_mobilenetv2.yaml"
)

# 2. 训练模型
engine.train()

# 3. 测试模型
engine.test()

# 4. 导出模型 (默认导出为 OpenVINO IR 格式)
exported_path = engine.export()

# 5. (可选) 使用 OpenVINO 后端对导出的模型进行验证和优化
ov_engine = create_engine(data="path/to/dataset/root", model=exported_path)
ov_engine.test()
ov_engine.optimize()

后续步骤： 模型导出后，您可以使用 OpenVINO™ ModelAPI 进行高效的推理部署。更多高级用法（如自定义模型、增量学习、混合精度训练等）请参考官方文档。