ONNX Runtime 是一个跨平台的机器学习推理与训练加速器。

ONNX Runtime 推理 可以带来更快的用户体验和更低的成本，支持来自 PyTorch、TensorFlow/Keras 等深度学习框架以及 scikit-learn、LightGBM、XGBoost 等传统机器学习库的模型。ONNX Runtime 兼容不同的硬件、驱动程序和操作系统，并在适用的情况下利用硬件加速器，结合图优化和变换，实现最佳性能。了解更多 →

ONNX Runtime 训练 通过为现有的 PyTorch 训练脚本添加一行代码，即可加速多节点 NVIDIA GPU 上的 Transformer 模型训练时间。了解更多 →

开始使用与资源

• 基本信息: onnxruntime.ai

• 使用文档和教程: onnxruntime.ai/docs

• YouTube 视频教程: youtube.com/@ONNXRuntime

• 即将发布的路线图

• 配套示例仓库:

  • ONNX Runtime 推理: microsoft/onnxruntime-inference-examples
  • ONNX Runtime 训练: microsoft/onnxruntime-training-examples

发布版本

当前及历史版本可在以下链接查看：https://github.com/microsoft/onnxruntime/releases。

有关即将发布的版本详情，包括发布日期、公告、新特性以及提交功能请求的指南，请访问发布路线图：https://onnxruntime.ai/roadmap。

数据/遥测

该项目的 Windows 版本可能会收集使用数据并发送至 Microsoft，以帮助改进我们的产品和服务。更多详情请参阅 隐私声明。

贡献与反馈

我们欢迎各类贡献！请参阅 贡献指南。

如需提交功能请求或报告问题，请创建 GitHub 问题。

如需进行一般性讨论或提问，请使用 GitHub 讨论区。

行为准则

本项目已采纳 微软开源行为准则。 更多信息请参阅 行为准则常见问题解答 或通过 opencode@microsoft.com 联系我们，提出任何其他问题或意见。

许可证

本项目采用 MIT 许可证 许可。

ONNX Runtime 快速上手指南

ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。它支持来自 PyTorch、TensorFlow/Keras 等深度学习框架以及 scikit-learn、LightGBM、XGBoost 等传统机器学习库的模型，能够通过利用硬件加速器（如 GPU）和图优化技术提供最佳性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、Linux 或 macOS。
• Python 版本：推荐 Python 3.8 - 3.11。
• 前置依赖：
  • 已安装 pip 包管理工具。
  • （可选）若需使用 GPU 加速，请确保已安装对应的 NVIDIA 驱动程序和 CUDA/cuDNN（针对 NVIDIA GPU 版本）。

安装步骤

根据您的硬件环境选择合适的安装包。国内用户如遇下载缓慢，可配置清华源或阿里源加速安装。

1. 安装 CPU 版本（通用）

适用于大多数基础推理场景，无需额外显卡驱动。

pip install onnxruntime
# 国内加速安装
pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 GPU 版本（NVIDIA）

适用于拥有 NVIDIA 显卡且需要高性能推理的场景。请确保系统已正确配置 CUDA 环境。

pip install onnxruntime-gpu
# 国内加速安装
pip install onnxruntime-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：从 ONNX Runtime 1.16 版本起，GPU 包名为 onnxruntime-gpu。旧版本可能直接使用 onnxruntime 包含 GPU 支持，具体请参考官方发布说明。

基本使用

以下是最简单的推理示例，展示如何加载一个现有的 ONNX 模型并执行推理。

示例代码

假设您已经有了一个名为 model.onnx 的模型文件：

import onnxruntime as ort
import numpy as np

# 1. 创建推理会话 (Inference Session)
# 自动检测并使用可用的执行提供者 (CPU 或 GPU)
session = ort.InferenceSession("model.onnx")

# 2. 获取模型的输入和输出名称
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name

# 3. 准备输入数据 (示例为随机生成的浮点数数组)
# 请根据实际模型的输入形状调整数据
input_data = np.random.rand(1, 3, 224, 224).astype(np.float32)

# 4. 执行推理
outputs = session.run([output_name], {input_name: input_data})

# 5. 处理结果
result = outputs[0]
print(f"推理完成，输出形状：{result.shape}")
print(f"前 5 个预测值：{result[0][:5]}")

关键说明

• 自动加速：InferenceSession 默认会尝试加载可用的执行提供者（Execution Providers）。如果安装了 onnxruntime-gpu 且检测到 GPU，它将自动使用 CUDA 进行加速；否则回退到 CPU。
• 模型来源：您可以将 PyTorch (torch.onnx.export) 或 TensorFlow (tf2onnx) 模型导出为 .onnx 格式后在此运行。