ComfyUI 的分块扩散与 VAE

更多信息请查看 SD-WebUI 扩展。

此扩展通过以下技术实现 在有限显存下绘制和放大超大图像：

• 复现了当前最优的分块扩散方法
  • MultiDiffusion
  • Mixture of Diffusers
• pkuliyi2015 和 Kahsolt 的分块 VAE 算法
• pkuliyi2015 和 Kahsolt 的分块噪声反演方法

[!NOTE]
尺寸/维度以像素为单位，随后转换为潜在空间尺寸。

特性

• 支持的模型
  • SD1.x、SD2.x、SDXL、SD3
  • FLUX
• ControlNet 支持
• StableSR 支持
• 分块噪声反演
• 分块 VAE
• 区域提示控制
• 图像到图像的放大
• 超大图像生成

分块扩散

[!TIP]

• 将 tile_overlap 设置为 0，denoise 设置为 1，即可看到分块接缝，然后根据需求调整选项。
• 增加 tile_batch_size 可提高速度（如果您的机器能够承受）。
• 如果颜色看起来不对，请使用 colorfix 节点。

选项

名称	描述
method	分块策略。
tile_width	分块的宽度
tile_height	分块的高度
tile_overlap	分块的重叠部分
tile_batch_size	每批处理的分块数量

如何指定分块的排列方式？

如果您有 Math Expression 节点（或类似工具），可以使用它来接收传入 KSampler 的潜在变量，并将 tile_height/tile_width 除以您希望的行数/列数。

C = 您希望的列数
R = 您希望的行数

输入图像或潜在变量的像素宽度 // C = tile_width
输入图像或潜在变量的像素高度 // R = tile_height

SpotDiffusion

论文

一种分块算法，通过在每个时间步随机移动去噪窗口来尝试消除接缝。它主要用于快速推理，此时可将 tile_overlap 设置为 0；否则，建议使用其他分块策略，因为它们能产生更好的结果。

此附加功能目前处于实验阶段，正在测试中，并可能随时更改。

分块 VAE

推荐的分块尺寸会在创建节点时根据可用显存给出。

[!NOTE]
启用解码器的 fast 模式可能会使图像对比度和亮度略微提高。

选项

名称	描述
tile_size	图像会被分割成若干分块，随后在解码器/编码器中对每一块填充 11/32 像素。
fast	当禁用快速模式时： 原始 VAE 前向传播会被分解为任务队列和任务工作者，后者开始逐块处理。 当需要 GroupNorm 时，会暂停执行，保存当前的 GroupNorm 均值和方差，将所有数据移至 RAM，然后转到下一组块。 汇总所有 GroupNorm 的均值和方差后，再对各组块应用 GroupNorm 并继续处理。 采用之字形执行顺序以减少不必要的数据传输。 当启用快速模式时： 原始输入会被下采样并传递给一个独立的任务队列。 其 GroupNorm 参数会被记录下来，并由所有分块的任务队列共享。 每一块都会被单独处理，无需进行 RAM-显存之间的数据传输。 所有分块处理完成后，结果会被写入一个缓冲区并返回。
color_fix	仅在下采样前估算 GroupNorm，即以半快速模式运行。 仅适用于编码器。若分块过小，可恢复颜色。

工作流

以下图像可以直接在 ComfyUI 中加载。

许可证

非常感谢所有贡献者！🎉🎉🎉
MultiDiffusion、Mixture of Diffusers 和分块 VAE 代码的实现目前采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议，因为它们借用了优秀的 SD-WebUI 扩展。其余部分则采用 GPLv3 许可协议。

引用

@article{jimenez2023mixtureofdiffusers,
  title={用于场景构图和高分辨率图像生成的扩散模型混合},
  author={阿尔瓦罗·巴贝罗·希门尼斯},
  journal={arXiv 预印本 arXiv:2302.02412},
  year={2023}
}

@article{bar2023multidiffusion,
  title={多扩散：融合扩散路径以实现可控图像生成},
  author={巴尔-塔尔，奥默；亚里夫，利奥尔；利普曼，亚伦；德克尔，塔莉},
  journal={arXiv 预印本 arXiv:2302.08113},
  year={2023}
}

ComfyUI-TiledDiffusion 快速上手指南

ComfyUI-TiledDiffusion 是一个专为 ComfyUI 设计的扩展节点，旨在通过分块扩散（Tiled Diffusion）和分块 VAE（Tiled VAE）技术，在有限的显存（VRAM）下实现超大分辨率图像的生成与高清放大。它支持 SD1.x/2.x、SDXL、SD3 及 FLUX 等主流模型。

环境准备

• 系统要求：
  • 已安装并正常运行的 ComfyUI。
  • 操作系统：Windows / Linux / macOS。
  • 显卡：推荐 NVIDIA GPU（支持 CUDA），显存大小决定了可生成的最大分辨率，但该插件能显著降低显存需求。
• 前置依赖：
  • Python 3.10+ (ComfyUI 默认环境)。
  • 无需额外安装复杂的系统级依赖，插件管理器会自动处理 Python 包。

安装步骤

推荐使用 ComfyUI 自带的管理器进行安装，这是最稳定且适合国内网络环境的方式（若管理器配置了国内镜像源）。

方法一：通过 ComfyUI Manager 安装（推荐）

1. 启动 ComfyUI，点击右侧菜单中的 Manager 按钮。
2. 选择 Install Custom Nodes。
3. 在搜索框中输入 TiledDiffusion。
4. 找到 ComfyUI-TiledDiffusion (作者通常为 shiimizu)，点击 Install。
5. 安装完成后，重启 ComfyUI 以加载节点。

方法二：手动命令行安装

如果无法使用管理器，可进入 ComfyUI 的 custom_nodes 目录手动克隆：

cd ComfyUI/custom_nodes
git clone https://github.com/shiimizu/ComfyUI-TiledDiffusion.git

安装完成后，请重启 ComfyUI。

基本使用

本插件主要提供两类核心功能：分块扩散生成/放大 和 分块 VAE 编解码。

1. 基础工作流构建

在 ComfyUI 画布右键搜索并添加以下核心节点：

• 生成分块放大：搜索 Tiled Diffusion 或 Multidiffusion Upscale。
• 显存优化解码：搜索 Tiled VAE。

2. 简单放大示例 (Img2img Upscale)

这是一个最基础的 4 倍放大流程，适用于显存不足以直接生成大图的情况：

1. 加载图像：使用 Load Image 节点加载一张低分辨率图片。
2. 连接分块扩散节点：
   • 将 Load Image 的输出连接到 Tiled Diffusion 节点的 image 输入。
   • 连接 Checkpoint Loader (模型)、CLIP Text Encode (提示词) 到对应接口。
   • 关键参数设置：
     • method: 选择 MultiDiffusion (质量较好) 或 Mixture of Diffusers。
     • tile_width / tile_height: 设置为 512 或 768 (根据显存调整)。
     • tile_overlap: 设置为 64 或更高以减少拼接痕迹。
     • denoise: 设为 1.0 (完全重绘) 或 0.4-0.6 (保留原图细节进行放大)。
3. 连接分块 VAE 节点：
   • 将 Tiled Diffusion 输出的 latent 连接到 Tiled VAE 节点的 samples 输入。
   • 将 VAE Loader 连接到 Tiled VAE 的 vae 输入。
   • 作用：防止大分辨率图像在解码时发生 OOM (显存溢出)。
4. 保存图像：将 Tiled VAE 的输出连接到 Save Image。

3. 参数调优建议

• 消除拼接痕迹：如果生成的图像有明显的网格接缝，请增加 tile_overlap 的值，或尝试将 denoise 略微调低。
• 提升速度：若显存充裕，可增加 tile_batch_size 以并行处理更多图块。
• 色彩修正：如果发现分块导致颜色不一致，可在工作流中加入 Color Fix 相关节点（如 StableSR Color Fix），或在 Tiled VAE 中启用 color_fix 选项（仅针对编码器）。
• 指定行列布局：若需精确控制分块数量，可结合 Math Expression 节点计算 tile_width 和 tile_height：
  • tile_width = 输入图像宽度 // 期望列数
  • tile_height = 输入图像高度 // 期望行数

注意：所有尺寸参数单位为像素，插件内部会自动转换为潜空间（Latent）尺寸。