统一的模型推理框架

🍱 使用任何开源或自定义的 AI 模型构建模型推理 API 和多模型服务系统。👉 加入我们的论坛！

什么是 BentoML？

BentoML 是一个 Python 库，用于构建针对 AI 应用和模型推理优化的在线服务系统。

• 🍱 轻松为任何 AI/ML 模型构建 API。 只需几行代码和标准的 Python 类型提示，即可将任何模型推理脚本转换为 REST API 服务器。
• 🐳 简化 Docker 容器管理。 再也不用担心依赖地狱！通过一个简单的配置文件管理你的环境、依赖项和模型版本。BentoML 自动生成 Docker 镜像，确保可重复性，并简化你在不同环境中的部署流程。
• 🧭 最大化 CPU/GPU 利用率。 利用内置的服务优化功能（如动态批处理、模型并行、多阶段流水线和多模型推理图编排）构建高性能的推理 API。
• 👩‍💻 完全可定制。 可以轻松实现自己的 API 或任务队列，支持自定义业务逻辑、模型推理和多模型组合。支持任何 ML 框架、模态和推理运行时。
• 🚀 生产就绪。 在本地开发、运行和调试。无缝部署到生产环境，使用 Docker 容器或 BentoCloud。

快速开始

安装 BentoML：

# 需要 Python≥3.9
pip install -U bentoml

在 service.py 文件中定义 API。

import bentoml

@bentoml.service(
    image=bentoml.images.Image(python_version="3.11").python_packages("torch", "transformers"),
)
class Summarization:
    def __init__(self) -> None:
        import torch
        from transformers import pipeline

        device = "cuda" if torch.cuda.is_available() else "cpu"
        self.pipeline = pipeline('summarization', device=device)

    @bentoml.api(batchable=True)
    def summarize(self, texts: list[str]) -> list[str]:
        results = self.pipeline(texts)
        return [item['summary_text'] for item in results]

💻 本地运行

将 PyTorch 和 Transformers 包安装到你的 Python 虚拟环境中。

pip install torch transformers  # 本地运行所需的额外依赖

在本地运行服务代码（默认监听 http://localhost:3000）：

bentoml serve

你应该会看到以下输出。

[INFO] [cli] 从 "service:Summarization" 启动生产 HTTP BentoServer，监听 http://localhost:3000（按 CTRL+C 退出）
[INFO] [entry_service:Summarization:1] 服务 Summarization 已初始化

现在你可以通过浏览器访问 http://localhost:3000 进行推理，或者使用 Python 脚本：

import bentoml

with bentoml.SyncHTTPClient('http://localhost:3000') as client:
    summarized_text: str = client.summarize([bentoml.__doc__])[0]
    print(f"结果：{summarized_text}")

🐳 使用 Docker 部署

运行 bentoml build 将必要的代码、模型和依赖配置打包成一个 Bento——BentoML 中的标准可部署工件：

bentoml build

确保 Docker 正在运行。生成用于部署的 Docker 容器镜像：

bentoml containerize summarization:latest

运行生成的镜像：

docker run --rm -p 3000:3000 summarization:latest

☁️ 在 BentoCloud 上部署

BentoCloud 提供计算基础设施，助力快速可靠地采用 GenAI 技术。它利用云上计算资源加速你的 BentoML 开发流程，并简化你在生产环境中部署、扩展和运维 BentoML 的方式。

注册 BentoCloud 获取个人访问权限；对于企业级应用，请 联系我们的团队。

# 注册后，运行以下命令创建 API 令牌：
bentoml cloud login

# 从当前目录部署：
bentoml deploy

有关详细说明，请阅读 Hello World 示例。

示例

• LLM：Llama 3.2、Mistral、DeepSeek Distil 等。
• 图像生成：Stable Diffusion 3 Medium、Stable Video Diffusion、Stable Diffusion XL Turbo、ControlNet 和 LCM LoRAs 等。
• 嵌入：SentenceTransformers 和 ColPali。
• 音频：ChatTTS、XTTS、WhisperX 和 Bark。
• 计算机视觉：YOLO 和 ResNet。
• 高级示例：函数调用、LangGraph 和 CrewAI。

查看 完整列表，获取更多示例代码和使用方法。

高级主题

• 模型组合
• 工作进程与模型并行化
• 自适应批处理
• GPU 推理
• 分布式服务系统
• 并发与自动扩缩容
• 模型加载与 Model Store
• 可观测性
• BentoCloud 部署

更多教程和指南请参阅 文档。

社区

欢迎参与并加入我们的 社区论坛 💬，这里汇聚了数千名 AI/ML 工程师，大家互相帮助、共同为项目贡献力量，并探讨如何构建 AI 产品。

如需报告 bug 或提出功能请求，请使用 GitHub Issues。

贡献方式

您可以通过多种方式为项目做出贡献：

• 报告与您相关的 bug，并为 issues 点赞。
• 查看 issues 并评审其他开发者的 pull requests。
• 通过提交 GitHub pull request，为项目贡献代码或 文档。
• 请查阅 贡献指南 和 开发指南，了解更多详情。
• 在我们的 论坛 分享您的反馈，并讨论项目路线图计划。

感谢所有优秀的贡献者！

使用情况跟踪与反馈

BentoML 框架会收集匿名的使用数据，以帮助社区改进产品。仅记录 BentoML 的内部 API 调用，不包含任何敏感信息，例如用户代码、模型数据、模型名称或堆栈跟踪。用于使用情况跟踪的 代码 如下。您可以通过 --do-not-track CLI 选项选择退出使用情况跟踪：

bentoml [命令] --do-not-track

或者设置环境变量：

export BENTOML_DO_NOT_TRACK=True

许可证

Apache License 2.0

BentoML 快速上手指南

BentoML 是一个用于构建和优化 AI 应用模型推理服务的统一框架。它能帮助你将任意机器学习模型快速转换为高性能的 REST API，并轻松打包为 Docker 容器或部署到云端。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows (推荐 WSL2)
• Python 版本：Python ≥ 3.9
• 前置依赖：
  • pip (Python 包管理工具)
  • (可选) Docker：如果你计划将服务容器化部署，需预先安装并运行 Docker Desktop 或 Docker Engine。

💡 国内开发者提示：为避免下载依赖包时速度过慢，建议配置国内镜像源（如清华源或阿里源）。

pip install -U bentoml -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

使用 pip 安装最新版本的 BentoML：

pip install -U bentoml

基本使用

以下是构建一个基于 Hugging Face Transformers 的文本摘要服务的极简流程。

1. 定义服务

创建名为 service.py 的文件，编写以下代码。BentoML 允许你使用标准的 Python 类和方法来定义 API，并通过装饰器自动处理批处理和依赖管理。

import bentoml

@bentoml.service(
    image=bentoml.images.Image(python_version="3.11").python_packages("torch", "transformers"),
)
class Summarization:
    def __init__(self) -> None:
        import torch
        from transformers import pipeline

        device = "cuda" if torch.cuda.is_available() else "cpu"
        self.pipeline = pipeline('summarization', device=device)

    @bentoml.api(batchable=True)
    def summarize(self, texts: list[str]) -> list[str]:
        results = self.pipeline(texts)
        return [item['summary_text'] for item in results]

2. 本地运行

首先安装运行所需的额外依赖（PyTorch 和 Transformers）：

pip install torch transformers

启动本地服务（默认监听 http://localhost:3000）：

bentoml serve

当看到以下日志时，表示服务已就绪：

[INFO] [cli] Starting production HTTP BentoServer from "service:Summarization" listening on http://localhost:3000 (Press CTRL+C to quit)
[INFO] [entry_service:Summarization:1] Service Summarization initialized

3. 调用测试

你可以直接在浏览器访问 http://localhost:3000 查看交互式文档，或使用 Python 脚本进行调用：

import bentoml

with bentoml.SyncHTTPClient('http://localhost:3000') as client:
    summarized_text: str = client.summarize([bentoml.__doc__])[0]
    print(f"Result: {summarized_text}")

4. 打包与部署 (可选)

BentoML 可将上述服务一键打包为标准化的构建产物（Bento），并生成 Docker 镜像：

# 1. 构建 Bento 包
bentoml build

# 2. 生成 Docker 镜像
bentoml containerize summarization:latest

# 3. 运行 Docker 容器
docker run --rm -p 3000:3000 summarization:latest