ComfyUI 的 TensorRT 节点

此节点通过利用 NVIDIA TensorRT，为 Stable Diffusion 在 NVIDIA RTX™ 显卡（GPU）上提供最佳性能。

支持：

• Stable Diffusion 1.5
• Stable Diffusion 2.1
• Stable Diffusion 3.0
• SDXL
• SDXL Turbo
• Stable Video Diffusion
• Stable Video Diffusion-XT
• AuraFlow
• Flux

要求：

• GeForce RTX™ 或 NVIDIA RTX™ GPU
• 对于 SDXL 和 SDXL Turbo，由于其模型大小和计算强度，建议使用具有 12 GB 或更多显存（VRAM）的 GPU 以获得最佳性能。
• 对于 Stable Video Diffusion (SVD)，建议使用具有 16 GB 或更多显存的 GPU。
• 对于 Stable Video Diffusion-XT (SVD-XT)，建议使用具有 24 GB 或更多显存的 GPU。
• 对于 Flux，目前需要超过 24GB 的显存。

安装

推荐的安装方式是使用 ComfyUI Manager 轻松地将这些节点安装到你的 ComfyUI 实例中。

你也可以通过以下方式手动安装：将仓库 git clone 到你的 ComfyUI/custom_nodes 文件夹，并安装依赖项，例如：

cd custom_nodes
git clone https://github.com/comfyanonymous/ComfyUI_TensorRT
cd ComfyUI_TensorRT
pip install -r requirements.txt

描述

NVIDIA TensorRT 允许你针对特定的 NVIDIA RTX GPU 优化 AI 模型的运行方式，从而解锁最高性能。为此，我们需要生成一个专属于你 GPU 的 TensorRT 引擎。

你可以选择构建动态或静态的 TensorRT 引擎：

• 动态引擎 支持一系列分辨率和批次大小（batch size），由最小和最大参数指定。当使用最优（opt）分辨率和批次大小时，性能最佳，因此请为你最常用的分辨率和批次大小指定 opt 参数。

 

• 静态引擎 仅支持单一的分辨率和批次大小。它们能提供与动态引擎最优设置相同的性能提升。

注意：大多数用户会更喜欢动态引擎，但如果你大部分时间都使用特定的分辨率 + 批次大小组合，静态引擎会很有用。静态引擎也消耗更少的显存；动态范围越宽，消耗的显存就越多。

使用说明

你可以在本仓库的 workflows 文件夹中找到不同的工作流。这些 .json 文件可以在 ComfyUI 中加载。

从检查点构建 TensorRT 引擎

1. 添加一个 "Load Checkpoint" 节点。
2. 向 ComfyUI 添加一个 "Static Model TensorRT Conversion" 节点或一个 "Dynamic Model TensorRT Conversion" 节点。
3. 
4. 将 "Load Checkpoint" 节点的 "Model" 输出连接到 "TensorRT Conversion" 节点的 "Model" 输入。
5. 
6. 
7. 为了帮助识别转换后的 TensorRT 模型，请提供一个有意义的文件名前缀，将其添加到 "tensorrt/" 之后。
8. 
9. 点击 "Queue Prompt" 开始构建 TensorRT 引擎。
10. 

在构建 TensorRT 引擎时，"Model Conversion" 节点会高亮显示。

可以在控制台中查看有关模型转换过程的更多信息。

首次为某个检查点生成引擎需要一些时间。之后为同一检查点生成的其他引擎会快得多。图像生成模型的引擎生成时间可能在 3-10 分钟，SVD 模型可能在 10-25 分钟。SVD-XT 是一个极其庞大的模型——引擎构建时间可能长达一小时。

---

使用 TensorRT 引擎进行加速图像生成

TensorRT 引擎使用 "TensorRT Loader" 节点加载。

常见问题/限制

ComfyUI TensorRT 引擎目前尚不兼容 ControlNets 或 LoRAs。兼容性将在未来的更新中启用。

1. 添加一个 "TensorRT Loader" 节点。
2. 注意，如果在 ComfyUI 会话期间创建了 TensorRT 引擎，它不会立即显示在 "TensorRT Loader" 节点的下拉列表中，直到刷新 ComfyUI 界面（按 F5 刷新浏览器）。
3. 
4. 从 unet_name 下拉菜单中选择一个 TensorRT 引擎。
5. 动态引擎的文件名格式为：

 

1. dyn-b-min-max-opt-h-min-max-opt-w-min-max-opt
2. dyn=动态, b=批次大小, h=高度, w=宽度

 

6. 静态引擎的文件名格式为：

 

1. stat-b-opt-h-opt-w-opt
2. stat=静态, b=批次大小, h=高度, w=宽度

 

7. 
8. model_type 必须与 TensorRT 引擎的模型类型匹配。
9. 
10. 工作流中的 CLIP 和 VAE 需要从原始模型检查点中获取，"TensorRT Loader" 节点的 "MODEL" 输出将连接到 "Sampler"。

ComfyUI_TensorRT 快速上手指南

环境准备

硬件要求：

• 显卡：必须为 NVIDIA GeForce RTX™ 或 NVIDIA RTX™ 系列 GPU。
• 显存建议：
  • SDXL / SDXL Turbo：建议 12 GB 或以上显存以获得最佳性能。
  • Stable Video Diffusion (SVD)：建议 16 GB 或以上显存。
  • Stable Video Diffusion-XT (SVD-XT)：建议 24 GB 或以上显存。
  • Flux：目前需要超过 24 GB 显存。

支持模型：

• Stable Diffusion 1.5/2.1/3.0
• SDXL
• SDXL Turbo
• Stable Video Diffusion
• Stable Video Diffusion-XT
• AuraFlow
• Flux

安装步骤

推荐安装方式（通过 ComfyUI Manager）：

1. 在 ComfyUI 中安装并打开 ComfyUI Manager。
2. 使用其搜索和安装功能，查找并安装 ComfyUI_TensorRT 节点。

手动安装方式：

1. 打开终端，进入你的 ComfyUI 安装目录下的 custom_nodes 文件夹。
2. 依次执行以下命令：

cd custom_nodes
git clone https://github.com/comfyanonymous/ComfyUI_TensorRT
cd ComfyUI_TensorRT
pip install -r requirements.txt

3. 重启 ComfyUI。

基本使用

第一步：构建 TensorRT 引擎

TensorRT 引擎需要针对你的特定 GPU 和模型进行优化生成。你可以选择构建动态引擎（支持一定范围内的分辨率和批大小）或静态引擎（仅支持单一分辨率与批大小，更省显存）。

1. 在 ComfyUI 工作流中添加一个 Load Checkpoint 节点，加载你的模型（如 sd_xl_base_1.0.safetensors）。
2. 添加一个 TensorRT 转换节点：在节点菜单中找到并添加 Static Model TensorRT Conversion（静态）或 Dynamic Model TensorRT Conversion（动态）。
3. 将 Load Checkpoint 节点的 MODEL 输出连接到 TensorRT 转换节点的 model 输入。
4. （重要） 在转换节点的 filename_prefix 输入框中，为你即将生成的引擎指定一个易于识别的名称（例如 tensorrt/my_sdxl_engine）。
5. 点击 Queue Prompt 开始构建引擎。首次为某个模型构建引擎可能需要较长时间（图像模型约3-10分钟，SVD约10-25分钟，SVD-XT可能长达1小时），后续构建会快很多。
6. 构建过程中，转换节点会高亮显示，你可以在控制台查看详细进度信息。

第二步：使用 TensorRT 引擎加速生成

引擎构建完成后，即可用它来加速推理。

1. 在节点菜单中找到并添加 TensorRT Loader 节点。
2. 注意：如果在当前 ComfyUI 会话中新构建了引擎，需要刷新界面（在浏览器中按 F5）后，引擎才会出现在加载器的下拉列表中。
3. 在 TensorRT Loader 节点的 unet_name 下拉菜单中，选择你刚才构建的引擎文件。动态引擎文件名格式为 dyn-b-min-max-opt-h-min-max-opt-w-min-max-opt，静态引擎为 stat-b-opt-h-opt-w-opt。
4. 在 model_type 中选择与引擎匹配的模型类型（如 SDXL）。
5. 将 TensorRT Loader 节点的 MODEL 输出连接到采样器（如 KSampler）的 model 输入。
6. CLIP 和 VAE 仍需使用原始模型检查点中的对应组件，连接到工作流的相应位置。
7. 配置其他参数（如提示词、采样步数等），然后执行队列即可享受 TensorRT 带来的加速。