Triton 模型分析器

Triton 模型分析器是一款命令行工具，可在给定硬件上帮助您为在 Triton 推理服务器 上运行的单模型、多模型、集成模型或 BLS 模型找到更优的配置。模型分析器还会生成报告，帮助您更好地理解不同配置之间的权衡及其计算和内存需求。

功能

搜索模式

• Optuna 搜索 -阿尔法版本- 允许您使用超参数优化框架搜索模型配置中可指定的每一个参数。如果您想了解该算法的具体工作原理，请参阅 Optuna 官网。

• 快速搜索 将以稀疏方式搜索 最大批大小、 动态批处理 和 实例组 参数空间，利用启发式爬山算法帮助您快速找到更优配置。

• 自动暴力搜索 将穷举式搜索您的模型配置中的 最大批大小、 动态批处理 和 实例组 参数。

• 手动暴力搜索 允许您为模型配置中可指定的每个参数创建手动扫描范围。

模型类型

• 集成模型: 模型分析器可以帮助您在剖析集成模型时找到最优设置。

• BLS 模型: 模型分析器可以帮助您在剖析 BLS 模型时找到最优设置。

• 多模型: 模型分析器可以帮助您在剖析多个并发模型时找到最优设置。

• LLM 模型: 模型分析器可以帮助您在剖析大型语言模型时找到最优设置。

其他功能

• 详细与摘要报告: 模型分析器能够生成汇总和详细报告，帮助您更好地理解可用于您模型的不同配置之间的权衡。

• QoS 约束: 约束可以根据您的 QoS 要求筛选模型分析器的结果。例如，您可以指定延迟预算，以过滤掉不符合指定延迟阈值的模型配置。

示例与教程

单模型

请参阅 单模型快速入门，了解如何使用模型分析器对一个简单的 PyTorch 模型进行性能剖析、分析并生成报告。

多模型

请参阅 多模型快速入门，了解如何使用模型分析器对在同一 GPU 上并发运行的两个模型进行性能剖析、分析并生成报告。

集成模型

请参阅 集成模型快速入门，了解如何使用模型分析器对一个简单的集成模型进行性能剖析、分析并生成报告。

BLS 模型

请参阅 BLS 模型快速入门，了解如何使用模型分析器对一个简单的 BLS 模型进行性能剖析、分析并生成报告。

文档

• 安装
• 模型分析器 CLI
• 启动模式
• 配置模型分析器
• 模型分析器指标
• 模型配置搜索
• 模型类型
• 检查点
• 模型分析器报告
• Kubernetes 部署

术语

以下是模型分析器中一些常用术语的定义：

• 模型类型 - 正在剖析的模型类别。例如，单模型、多模型、集成模型、BLS 等。
• 搜索模式 - 模型分析器在剖析时探索可能配置空间的方式。可以是穷举式（暴力）或启发式（快速/Optuna）。
• 模型配置搜索 - 模型类型与搜索模式的交叉组合。
• 启动模式 - Triton 服务器由模型分析器部署和使用的模式。

报告问题、提问

我们非常感谢您对该项目的任何反馈、问题或错误报告。当需要代码方面的帮助时，请遵循 Stack Overflow (https://stackoverflow.com/help/mcve) 文档中概述的流程。请确保发布的示例：

• 最小化——尽可能使用最少的代码，但仍能重现相同的问题。
• 完整性——提供所有用于重现问题的部分。检查是否可以在去除外部依赖的情况下仍然展示问题。我们花在复现问题上的时间越少，就越有更多时间来修复它。
• 可验证性——在提供代码之前先测试一下，确保它确实能重现问题。移除所有与您的请求或问题无关的其他问题。

Triton Model Analyzer 快速上手指南

环境准备

• 系统要求：Linux (Ubuntu 20.04+)
• 前置依赖：
  • NVIDIA GPU 和 CUDA Toolkit 11.8+
  • Python 3.8+
  • pip 工具

安装步骤

pip install triton-model-analyzer -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

分析单个模型仓库的最简示例：

model_analyzer --model-repository /path/to/model_repository

将 /path/to/model_repository 替换为实际模型仓库路径（需提前配置好 Triton Inference Server）。