ONNX Runtime 推理示例

此仓库包含演示如何使用 ONNX Runtime (ORT) 进行推理的示例。

示例

概述仓库中的示例。

示例	描述	流水线状态
C/C++ 示例	ONNX Runtime C/C++ API 示例
移动端示例	演示如何在移动应用程序中使用 ONNX Runtime 的示例。
JavaScript API 示例	演示如何使用 ONNX Runtime 的 JavaScript API 的示例。
量化示例	演示如何为 CPU EP 和 TensorRT EP 使用量化的示例

贡献

本项目欢迎贡献和建议。大多数贡献要求您同意贡献者许可协议（CLA），声明您有权并且确实授予我们使用您的贡献的权利。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人将自动确定您是否需要提供 CLA 并相应地装饰 PR（例如，状态检查、评论）。只需按照机器人提供的说明操作即可。您只需在所有使用我们 CLA 的仓库中执行此操作一次。

本项目采用了 Microsoft 开源行为准则。 有关更多信息，请参阅 行为准则常见问题解答 或联系 opencode@microsoft.com 提出任何其他问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。经授权使用 Microsoft 商标或徽标必须遵守 Microsoft 商标和品牌指南。 在本项目的修改版本中使用 Microsoft 商标或徽标不得引起混淆或暗示 Microsoft 的赞助。任何第三方商标或徽标的使用均受该第三方的政策约束。

ONNX Runtime Inference Examples 快速上手指南

环境准备

系统要求

• 操作系统：支持 Linux、Windows 和 macOS。
• Python：建议使用 Python 3.7 或更高版本。
• C/C++ 开发环境（如需运行 C/C++ 示例）：
  • Linux：需安装 gcc/g++ 和 CMake。
  • Windows：需安装 Visual Studio 2019 或更高版本。

前置依赖

1. Git：用于克隆代码仓库。
2. ONNX Runtime：核心推理引擎。可通过 pip 安装或从源码构建。

安装步骤

1. 克隆仓库

git clone https://github.com/microsoft/onnxruntime-inference-examples.git
cd onnxruntime-inference-examples

2. 安装 ONNX Runtime

推荐使用国内镜像源加速安装：

pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

如需 GPU 支持，请安装 onnxruntime-gpu：

pip install onnxruntime-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装其他 Python 依赖

根据具体示例需求，可能需要安装额外的包（如 numpy、pillow 等）：

pip install numpy pillow -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个使用 Python API 进行图像分类推理的简单示例：

1. 准备模型和输入：

   • 下载一个 ONNX 格式的模型（例如 ResNet-50）并保存为 resnet50.onnx。
   • 准备一张测试图像 test.jpg。

2. 运行推理脚本： 创建一个名为 simple_inference.py 的文件，内容如下：

   import numpy as np
   import onnxruntime as ort
   from PIL import Image
   
   # 加载模型
   session = ort.InferenceSession("resnet50.onnx")
   
   # 预处理图像
   image = Image.open("test.jpg").resize((224, 224))
   image_data = np.array(image).transpose(2, 0, 1).astype(np.float32)
   image_data = np.expand_dims(image_data, axis=0)
   
   # 运行推理
   input_name = session.get_inputs()[0].name
   output_name = session.get_outputs()[0].name
   outputs = session.run([output_name], {input_name: image_data})
   
   # 输出结果
   print("推理完成！输出形状：", outputs[0].shape)
   

3. 执行脚本：

   python simple_inference.py
   

其他示例

• C/C++ 示例：进入 c_cxx 目录，参考其中的 README 编译并运行。
• 移动端示例：进入 mobile 目录，查看 Android/iOS 项目配置。
• JavaScript 示例：进入 js 目录，通过 Node.js 或浏览器运行。

更多详细示例请查看各子目录中的具体文档。