Neuropod

什么是 Neuropod？

Neuropod 是一个库，它提供了一个统一的接口，用于在 C++ 和 Python 中运行来自多个深度学习框架的模型。Neuropod 使研究人员能够轻松地使用自己选择的框架构建模型，同时也简化了这些模型的生产部署。

目前，Neuropod 支持 TensorFlow、PyTorch、TorchScript、Keras 以及 Ludwig。

更多信息：

• Uber 工程博客中介绍 Neuropod 的文章
• NVIDIA GTC Spring 2021 大会上的演讲

为什么使用 Neuropod？

使用同一个 API 运行任何支持框架的模型

运行 TensorFlow 模型与运行 PyTorch 模型看起来完全相同。

x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])

for model_path in [TF_ADDITION_MODEL_PATH, PYTORCH_ADDITION_MODEL_PATH]:
    # 加载模型
    neuropod = load_neuropod(model_path)

    # 进行推理
    results = neuropod.infer({"x": x, "y": y})

    # array([6, 8, 10, 12])
    print(results["out"])

更多示例请参阅 教程、Python 指南 或 C++ 指南。

这样做的好处包括：

• 所有的推理代码都与具体框架无关。
• 如有必要，可以轻松地在不同的深度学习框架之间切换，而无需更改运行时代码。
• 避免学习 C++ libtorch API 和 C/C++ TF API 的复杂性。

任何 Neuropod 模型都可以同时从 C++ 和 Python 中运行（即使是尚未转换为 TorchScript 的 PyTorch 模型）。

定义问题 API

这使您可以更专注于解决的问题，而不是使用的框架。例如，如果您为 2D 物体检测定义了一个问题 API，那么任何实现该 API 的模型都可以复用现有的推理代码和基础设施来处理该问题。

INPUT_SPEC = [
    # BGR 图像
    {"name": "image", "dtype": "uint8", "shape": (1200, 1920, 3)},
]

OUTPUT_SPEC = [
    # 形状：(num_detections, 4)：(xmin, ymin, xmax, ymax)
    # 这些值以像素为单位，原点位于图像的左上角，X 轴向右，Y 轴向下
    {"name": "boxes", "dtype": "float32", "shape": ("num_detections", 4)},

    # 网络可以输出的类别列表
    # 必须是 ['vehicle', 'person', 'motorcycle', 'bicycle'] 的子集
    {"name": "supported_object_classes", "dtype": "string", "shape": ("num_classes",)},

    # 每个检测结果对应每个类别的概率
    # 这些值应介于 0 和 1 之间
    {"name": "object_class_probability", "dtype": "float32", "shape": ("num_detections", "num_classes")},
]

这使您能够：

• 为某个问题构建单一的指标管道；
• 轻松比较解决同一问题的不同模型（即使它们来自不同的框架）；
• 构建优化的推理代码，使其能够运行解决特定问题的任何模型；
• 在不修改代码的情况下，在运行时替换解决同一问题的模型（即使这些模型来自不同的框架）；
• 快速进行实验。

更多详细信息请参阅 教程。

构建通用工具和流水线

如果您有多个模型接受相似的输入集，您可以构建并优化一个与框架无关的输入生成流水线，并在不同模型之间共享。

其他优势

• 完全自包含的模型（包括自定义操作）；
• 高效的零拷贝操作；
• 经过测试的平台，包括：
  • Mac、Linux、Linux（GPU）；
  • 每个支持框架的四到五个版本；
  • Python 的五个版本。
• 使用 进程外执行 实现模型隔离；
  • 可以在同一应用程序中使用不同版本的框架；
    • 例如：同时使用基于 Torch nightly 的实验性模型和基于 Torch 1.1.0 的模型。
• 通过 一行代码 即可从进程内运行切换到进程外运行。

开始使用

请参阅 基础入门教程，了解如何开始使用 Neuropod 的概览。

Python 指南 和 C++ 指南 则更深入地介绍了如何运行 Neuropod 模型。

Neuropod 快速上手指南

Neuropod 是一个由 Uber 开源的深度学习模型推理库，它提供统一的 C++ 和 Python 接口，支持在多种框架（TensorFlow, PyTorch, TorchScript, Keras, Ludwig）之间无缝运行模型。通过 Neuropod，开发者可以编写与框架无关的推理代码，轻松切换底层模型而无需修改业务逻辑。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 16.04/18.04/20.04) 或 macOS。
  • 注：虽然支持 GPU，但基础安装通常先验证 CPU 版本。
• Python 版本：支持 Python 3.5 至 3.9（建议 Python 3.7+）。
• 前置依赖：
  • 已安装对应的深度学习框架（如 tensorflow 或 torch），或者准备好已导出的模型文件（.pb, .pt, .ts 等）。
  • C++ 开发需安装 CMake 和兼容的编译器（GCC/Clang）。

国内加速提示：安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

Neuropod 主要通过 Python pip 进行安装。目前官方 PyPI 源可能更新较慢，若遇到网络问题或版本缺失，建议从 GitHub Release 页面下载对应平台的 .whl 文件进行本地安装。

方法一：通过 pip 安装（推荐）

# 使用国内镜像源加速安装
pip install neuropod -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：手动安装特定版本

如果自动安装失败，请访问 Neuropod GitHub Releases 下载适合您系统（Linux/macOS）和 Python 版本的 .whl 文件，然后执行：

pip install /path/to/downloaded/neuropod-x.x.x-cp3x-cp3x-linux_x86_64.whl

基本使用

Neuropod 的核心优势在于统一的 API。无论底层是 TensorFlow 还是 PyTorch，加载和推理的代码完全一致。

以下是最简单的 Python 使用示例，演示如何加载不同框架的模型并执行推理：

import numpy as np
from neuropod import load_neuropod

# 准备输入数据
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])

# 假设你已经有两个不同框架训练的相同功能模型路径
# TF_ADDITION_MODEL_PATH: TensorFlow 模型路径
# PYTORCH_ADDITION_MODEL_PATH: PyTorch 模型路径
model_paths = [TF_ADDITION_MODEL_PATH, PYTORCH_ADDITION_MODEL_PATH]

for model_path in model_paths:
    # 1. 加载模型 (统一接口)
    neuropod_model = load_neuropod(model_path)

    # 2. 执行推理 (传入字典格式的输入)
    results = neuropod_model.infer({"x": x, "y": y})

    # 3. 获取输出
    # 输出格式为字典，例如: {"out": array([6, 8, 10, 12])}
    print(results["out"])

关键特性说明

• 框架无关性：上述代码中，load_neuropod 会自动识别模型类型，无需针对 TF 或 PyTorch 编写不同的加载逻辑。
• 输入输出规范：输入和输出均通过 Python 字典传递，键名需与模型定义的名称匹配。
• 零拷贝优化：Neuropod 支持高效的零拷贝（zero-copy）操作，减少数据在内存中的复制开销，提升推理性能。

如需更复杂的场景（如定义标准化的问题 API、C++ 调用或进程外执行以隔离环境），请参考官方详细文档。