ort 是一个 Rust 接口，用于在 开放神经网络交换 (ONNX) 格式的机器学习模型上执行硬件加速的推理和训练。

基于现已停止维护的 onnxruntime-rs crate，ort 主要是 Microsoft 的 ONNX Runtime 库的封装，但也支持 其他纯 Rust 运行时。

结合 ONNX Runtime 使用时，ort 非常快速，并且几乎支持你所能想到的任何硬件加速器 (查看性能加速器列表)。即便如此，它依然轻量，足以在用户的设备上运行。

当你需要将 PyTorch、TensorFlow、Keras、scikit-learn 或 PaddlePaddle 模型部署到设备端或数据中心时，ort 都能为你提供解决方案。

📖 文档

• 指南
• API 参考
• 示例
• 从 v1.x 迁移到 v2.0

🤔 支持

• Discord: #🦀｜ort-general
• GitHub 讨论区

🌠 后援者

💖 使用 ort 的开源项目

_{提交 PR 将你的项目添加到这里吧 🌟}

• 文本嵌入推理 (TEI) 使用 ort 来高效地运行文本嵌入模型的 ONNX Runtime 推理。
• Magika 使用 ort 进行基于神经网络的文件类型检测。
• retto 使用 ort 在桌面和 WASM 平台上可靠、快速地运行 PaddleOCR 模型的 ONNX 推理。
• edge-transformers 使用 ort 加速边缘端的 Transformer 模型推理。
• sbv2-api 是一个使用 ort 实现的 Style-BERT-VITS2 文本转语音快速实现。
• BoquilaHUB 使用 ort 在生物多样性保护工作中进行本地 AI 部署。
• CamTrap Detector 使用 ort 检测步道相机图像中的动物、人类和车辆。
• Ortex 使用 ort 在 Elixir 中安全地绑定 ONNX Runtime。
• oar-ocr 是一个全面的 OCR 库，基于 Rust 构建，并使用 ort 进行高效推理。
• FastEmbed-rs 使用 ort 在本地生成向量嵌入并重新排序。
• Ahnlich 使用 ort 为其语义搜索应用提供 AI 代理支持。
• Murmure 将 ort 作为其核心引擎，利用 NVIDIA Parakeet 提供完全本地、免费、私密且跨平台的语音转文本服务，并结合 LLM 后处理技术。
• Valentinus 使用 ort 在 LMDB 内部提供嵌入模型推理。
• SilentKeys 使用 ort 结合 NVIDIA Parakeet 和 Silero VAD，在设备端实现快速的实时听写功能。

ort 快速上手指南

ort 是一个高性能的 Rust 库，用于在 ONNX 格式的机器学习模型上执行硬件加速推理与训练。它基于 Microsoft 的 ONNX Runtime，支持广泛的硬件加速器（如 CPU、GPU、NPU），既适合数据中心部署，也轻量到可在用户终端设备运行。

环境准备

系统要求

• 操作系统: Windows, macOS, Linux
• Rust 版本: 建议使用最新稳定版 (可通过 rustup 安装)
• 编译器: 需要 C++ 编译器（如 gcc, clang 或 MSVC），因为底层依赖 ONNX Runtime 的 C API。

前置依赖

通常情况下，ort 会自动处理大部分依赖。但在某些 Linux 发行版上，可能需要手动安装基础开发库：

# Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y build-essential pkg-config libssl-dev

# CentOS/RHEL/Fedora
sudo dnf groupinstall "Development Tools"
sudo dnf install openssl-devel pkg-config

注意：ort 默认会动态链接或静态捆绑 ONNX Runtime 二进制文件，无需手动下载 ONNX Runtime 安装包。

安装步骤

在你的 Rust 项目目录中，使用 cargo 添加依赖：

cargo add ort

或者手动在 Cargo.toml 中添加：

[dependencies]
ort = "2.0"

国内加速建议：如果下载 crates.io 依赖较慢，可配置国内镜像源。 在 ~/.cargo/config.toml 中添加：

[source.crates-io]
replace-with = 'ustc'

[source.ustc]
registry = "sparse+https://mirrors.ustc.edu.cn/crates.io-index/"

基本使用

以下是一个最简单的示例，展示如何加载一个 ONNX 模型并执行推理。假设你有一个名为 model.onnx 的文件。

1. 准备模型

确保你拥有一个 .onnx 格式的模型文件。你可以从 Hugging Face 或其他模型库导出 PyTorch/TensorFlow 模型为 ONNX 格式。

2. 代码示例

创建 src/main.rs：

use ort::{GraphOptimizationLevel, Session};
use ndarray::Array;

fn main() -> ort::Result<()> {
    // 初始化日志（可选，便于调试）
    env_logger::init();

    // 构建会话
    let session = Session::builder()?
        .with_optimization_level(GraphOptimizationLevel::Level3)?
        .with_intra_threads(4)?
        .commit_from_file("model.onnx")?;

    // 准备输入数据 (示例：创建一个简单的浮点数组)
    // 注意：实际形状需根据你的模型输入要求调整
    let input_data = Array::from_shape_vec((1, 3), vec![1.0f32, 2.0, 3.0]).unwrap();
    
    // 获取输入节点名称 (通常第一个输入)
    let input_name = session.inputs[0].name.as_str();

    // 执行推理
    let outputs = session.run(vec![(input_name, input_data.view())])?;

    // 处理输出
    let output_tensor = &outputs[0];
    println!("推理完成，输出形状: {:?}", output_tensor.shape());
    
    // 这里可以将 output_tensor 转换为 ndarray 进行进一步处理
    // let result: Array<f32, _> = output_tensor.try_extract::<f32>().unwrap().view().to_owned();

    Ok(())
}

3. 运行项目

cargo run

关键点说明

• Session 构建: 使用 Session::builder() 可以配置优化级别、线程数等。
• commit_from_file: 直接从文件系统加载 .onnx 模型。
• 数据格式: ort 深度集成 ndarray crate，输入输出均使用 ndarray::Array 进行处理。
• 硬件加速: 若要启用 GPU (CUDA) 或其他执行提供者，需在构建 Session 时链式调用相应方法（例如 .with_cuda(..)），具体请参考官方文档的 Execution Providers 章节。

现在你已经成功使用 ort 运行了第一个 ONNX 模型！