简单，但强大。

---

英文文档 | 中文文档 | 中文Readme

诚邀帮助。翻译、说唱歌词等皆可。欢迎随时提交问题。

---

Pinferencia 致力于成为史上最简单的机器学习推理服务器！

只需三行代码，你的模型即可上线。

为模型提供 GUI 和 REST API 从未如此简单。

如果你希望

• 为你的模型添加 GUI 和 REST API
• 寻找一种 简单而稳健 的方式来部署你的模型
• 编写 极少量 的代码，同时保持对服务的完全控制
• 避免 使用任何 重量级 解决方案
• 与其它工具或平台 兼容

那么你来对地方了。

功能特性

Pinferencia 的主要特点包括：

• 快速开发，迅速上线。所需代码极少，转换工作量也小。直接基于你现有的内容即可。
• 100% 测试覆盖率：语句覆盖和分支覆盖均达到满分，绝非虚言。你是否见过有哪款模型部署工具经过如此严格的测试？
• 易于使用，易于理解。
• 开箱即用的美观整洁 GUI。
• 自动生成 API 文档页面。所有 API 均有详细说明，并支持在线试用功能。
• 支持任意模型，甚至可以部署一个单独的函数。
• 兼容 Kserve API，与 Kubeflow、TF Serving、Triton 和 TorchServe 等工具无缝对接。在这些工具之间切换毫无压力，而 Pinferencia 在原型开发阶段的速度则更为出色！

安装

推荐安装

pip install "pinferencia[streamlit]"

仅安装后端

pip install "pinferencia"

快速入门

部署任意模型

from pinferencia import Server


class MyModel:
    def predict(self, data):
        return sum(data)


model = MyModel()

service = Server()
service.register(model_name="mymodel", model=model, entrypoint="predict")

只需运行：

pinfer app:service

太棒了！你的服务已经启动。访问 http://127.0.0.1:8501/，尽情体验吧。

深度学习模型呢？ 同样简单。训练或加载你的模型，然后将其注册到服务中，即可立即上线。

Hugging Face

详情请见：HuggingFace Pipeline - 视觉

from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline(task="image-classification")


def predict(data):
    return vision_classifier(images=data)


service = Server()
service.register(model_name="vision", model=predict)

Pytorch

import torch

from pinferencia import Server


# 训练你的模型
model = "..."

# 或者加载已有的模型 (1)
# 从 state_dict 加载
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))

# 整体模型
model = torch.load(PATH)

# TorchScript
model = torch.jit.load('model_scripted.pt')

model.eval()

service = Server()
service.register(model_name="mymodel", model=model)

Tensorflow

import tensorflow as tf

from pinferencia import Server


# 训练你的模型
model = "..."

# 或者加载已有的模型 (1)
# saved_model 格式
model = tf.keras.models.load_model('saved_model/model')

# HDF5 格式
model = tf.keras.models.load_model('model.h5')

# 从权重加载
model = create_model()
model.load_weights('./checkpoints/my_checkpoint')
loss, acc = model.evaluate(test_images, test_labels, verbose=2)

service = Server()
service.register(model_name="mymodel", model=model, entrypoint="predict")

无论使用何种框架的模型，部署方式都完全相同。现在运行 uvicorn app:service --reload，尽情享受吧！

贡献

如果你想参与贡献，详情请参阅 这里。

Pinferencia 快速上手指南

Pinferencia 致力于成为最简单的机器学习推理服务器。只需三行额外代码，即可让你的模型拥有漂亮的 GUI 界面和标准的 REST API，无需重型框架，快速上线。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：3.7 及以上
• 前置依赖：无特殊系统级依赖，仅需 Python 环境

安装步骤

推荐使用 pip 进行安装。为了获得完整的 GUI 功能（基于 Streamlit），建议安装包含 streamlit 的完整版本。

推荐安装（含 GUI 支持）：

pip install "pinferencia[streamlit]"

仅安装后端（无 GUI）：

pip install "pinferencia"

提示：国内用户若下载缓慢，可添加清华或阿里镜像源加速：

pip install "pinferencia[streamlit]" -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 编写服务代码

创建一个名为 app.py 的文件。Pinferencia 的核心逻辑非常简洁：定义模型类（或函数），注册到 Server，即可启动服务。

以下是一个最基础的示例，演示如何封装一个简单的预测逻辑：

from pinferencia import Server


class MyModel:
    def predict(self, data):
        # 这里替换为你真实的模型推理逻辑
        return sum(data)


model = MyModel()

service = Server()
# 注册模型：指定模型名称、模型实例以及入口函数名
service.register(model_name="mymodel", model=model, entrypoint="predict")

支持任意框架： 无论是 PyTorch、TensorFlow 还是 Hugging Face，用法一致。只需在 predict 方法或传入的函数中加载并调用你的模型即可。

2. 启动服务

在终端中运行以下命令启动服务：

pinfer app:service

或者使用 uvicorn 直接运行（支持热重载）：

uvicorn app:service --reload

3. 访问服务

服务启动后，默认运行在 http://127.0.0.1:8501/。

• GUI 界面：直接在浏览器打开上述地址，你将看到一个自动生成的漂亮界面，可直接上传数据测试模型。
• REST API：访问 http://127.0.0.1:8501/docs 查看自动生成的 API 文档，并支持在线调试接口。

现在，你的模型已经成功上线！