ComfyUI SUPIR 超分辨率封装节点

更新3：

现已在此处提供采用 safetensors 格式的剪枝模型： https://huggingface.co/Kijai/SUPIR_pruned/tree/main

更新2：

新增了一种更优的 SDXL 模型加载方式，同时支持使用 LoRA。旧版节点暂时保留，以免破坏现有工作流，并与单节点一同命名为“Legacy”，因为我无意继续维护它们。

更新：

通过这个项目，我学到了很多，现在已将单个节点拆分为多个更符合 ComfyUI 使用逻辑的节点，从而更清晰地展示 SUPIR 的工作原理。尽管这仍然是一个封装节点，但整体已经偏离了原始设计，具备更广泛的硬件支持、更高效的模型加载、更低的内存占用以及更多的采样器选项。这里有一个快速示例（包含工作流），展示了如何使用 Lightning 模型——虽然画质会有所下降，但速度非常快，我建议从它开始，因为更快的采样能让您更容易理解各个参数的作用。

在底层实现上，SUPIR 是基于 SDXL 的 img2img 流程，其中最大的自定义部分是其 ControlNet。他们所谓的“第一阶段”实际上是一个去噪过程，使用他们特有的“去噪编码器”VAE 完成。这与 Gradio 演示中的“第一阶段”不同，后者是为了 Llava 预处理而标注的名称，而 Gradio 中的“第二阶段”仍然会执行去噪过程。在我们的节点中，这一过程可以完全跳过，或者用其他预处理节点替代，比如模型超分辨率或其他任何您想要的功能。

https://github.com/kijai/ComfyUI-SUPIR/assets/40791699/5cae2a24-d425-462c-b89d-df7dcf01595c

安装

您可以使用管理器直接从 Git 安装，也可以将此仓库克隆到 custom_nodes 目录下并运行：

pip install -r requirements.txt

如果您使用的是便携版，请在 ComfyUI_windows_portable 文件夹内运行：

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-SUPIR\requirements.txt

PyTorch 版本也应尽量新一些，目前最新的稳定版本（2.2.1）即可正常工作。

如果检测到 xformers 库，将会自动启用，但这并非必需；在某些情况下，它可能会使性能略有提升：

pip install -U xformers --no-dependencies （对于便携版：python_embeded\python.exe -m pip install -U xformers --no-dependencies）

请从下方提供的原始链接获取 SUPIR 模型，这些模型将被加载到常规的 ComfyUI/models/checkpoints 文件夹中。

此外，您还需要一个 SDXL 模型，同样从该文件夹加载。

我没有在此处集成 Llava，但您可以向节点输入任意描述文本，从而使用任何工具生成这些文本，或者干脆不输入，实验表明即使没有描述文本，效果依然出色。

内存需求与输入图像的分辨率直接相关。节点中的“scale_by”参数仅用于缩放输入图像，您可以将其保持为 1.0，然后通过其他节点调整输入图像的大小。在我的测试中，使用 10GB 显存的 3080 显卡可以处理 512x512 至 1024x1024 的图像，而在 24GB 显存的设备上则可处理高达 3072x3072 的图像。系统内存的需求也很高，具体数值尚不清楚，但我估计低于 32GB 可能会出现问题，我是在 64GB 内存的机器上进行测试的。

更新：

• fp8 格式似乎对 UNET 效果不错，我能够在显存占用不到 10GB 的情况下完成 512p 到 2048p 的处理。但对于 VAE 来说，fp8 会导致一些伪影出现，因此建议改用 tiled_vae。
• CLIP 模型不再需要单独加载，而是直接从您选择的 SDXL 检查点中加载。

---

模型镜像地址：https://huggingface.co/camenduru/SUPIR/tree/main

测试

视频超分辨率测试（目前节点会逐帧处理输入批次）：

原图：https://github.com/kijai/ComfyUI-SUPIR/assets/40791699/33621520-a429-4155-aa3a-ac5cd15bda56

3 倍超分辨率后：https://github.com/kijai/ComfyUI-SUPIR/assets/40791699/d6c60e0a-11c3-496d-82c6-a724758a131a

512p 图像经 3 倍超分辨率后的效果：https://github.com/kijai/ComfyUI-SUPIR/assets/40791699/545ddce4-8324-45cb-a545-6d1f527d8750

---

原始仓库： https://github.com/Fanghua-Yu/SUPIR

我们提供的模型：

• SUPIR-v0Q：百度网盘、Google Drive

  采用论文中的默认训练设置，具有较高的泛化能力和在大多数情况下的高质量输出。

• SUPIR-v0F：百度网盘、Google Drive

  采用轻度退化条件进行训练。SUPIR-v0F 的第一阶段编码器在面对轻微退化时能够更好地保留细节。

BibTeX

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

---

📧 联系方式

如有任何疑问，请发送邮件至 fanghuayu96@gmail.com。

---

仅限非商业用途声明

本 SUPIR（“软件”）仅供非商业性使用、复制和分发。在本声明中，“非商业性”指不以商业利益或经济补偿为主要目的的行为。

通过使用、复制或分发本软件，即表示您同意遵守此限制，不得在未事先获得顾金津博士书面许可的情况下将本软件用于任何商业用途。

本声明绝不限制适用于本软件的任何开源许可证所赋予的权利；它仅增加了一个条件，即本软件不得用于商业目的。

在任何情况下，作者或版权所有者均不对因本软件或其使用而产生的任何索赔、损害赔偿或其他责任承担法律责任，无论该责任是基于合同、侵权行为或其他原因。

如需咨询或申请商业用途许可，请联系顾金津博士（hellojasongt@gmail.com）。

ComfyUI-SUPIR 快速上手指南

ComfyUI-SUPIR 是一个基于 SDXL img2img 流程的高级图像超分工具，通过独特的 ControlNet 和去噪编码器实现照片级真实的图像修复与放大。相比原版，本插件优化了显存占用，支持更广泛的硬件，并提供了更灵活的节点工作流。

环境准备

系统要求

• GPU 显存：
  • 最低：10GB（可处理 512x512 至 1024x1024 输入，配合 fp8 模式可放大至 2048）。
  • 推荐：24GB 及以上（可处理高达 3072x3072 的分辨率）。
• 系统内存 (RAM)：建议 32GB 以上（测试环境为 64GB，低于 32GB 可能遇到内存不足问题）。
• PyTorch 版本：建议使用较新版本，最新稳定版 2.2.1 已验证可用。

前置依赖

• 已安装 ComfyUI 及基础运行环境。
• xformers（可选）：自动检测并启用，部分情况下可提升速度。
  • 安装命令：pip install -U xformers --no-dependencies

安装步骤

方法一：使用 ComfyUI Manager（推荐）

在 ComfyUI Manager 中搜索 ComfyUI-SUPIR 并点击安装，系统将自动从 Git 克隆并处理依赖。

方法二：手动安装

1. 进入 ComfyUI 的 custom_nodes 目录：

   cd ComfyUI/custom_nodes
   

2. 克隆仓库：

   git clone https://github.com/kijai/ComfyUI-SUPIR.git
   

3. 安装依赖：
   • 标准环境：

     pip install -r ComfyUI-SUPIR/requirements.txt
     

   • Portable 便携版用户（在 ComfyUI_windows_portable 目录下执行）：

     python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-SUPIR\requirements.txt
     

   • 可选：安装 xformers 加速（便携版）：

     python_embeded\python.exe -m pip install -U xformers --no-dependencies
     

模型下载

需下载以下两类模型并放入 ComfyUI/models/checkpoints 文件夹：

1. SUPIR 主模型（任选其一）：

   • SUPIR-v0Q（默认推荐）：通用性强，画质高。
     • HuggingFace 镜像
     • Kijai 剪枝版 (Safetensors) (推荐，加载更快)
   • SUPIR-v0F：针对轻微退化图像训练，保留更多细节。

2. SDXL 底模：

   • 任意标准的 SDXL Checkpoint 模型（如 sd_xl_base_1.0.safetensors），用于提供生成基础。

注意：CLIP 模型将直接从你选择的 SDXL Checkpoint 中加载，无需单独下载。LLaVA captioning 功能未内置，你可以手动输入提示词或使用其他节点生成提示词传入，实测无提示词也能获得良好效果。

基本使用

核心工作流逻辑

SUPIR 本质是一个特殊的 SDXL img2img 流程。

• 第一阶段 (First Stage)：使用专用的 "denoise encoder" VAE 进行去噪预处理。此步骤可在节点中跳过，或替换为任意其他预处理节点（如普通放大模型）。
• 第二阶段：执行核心的去噪与超分生成。

快速开始示例

1. 加载节点：

   • 推荐使用新版拆分节点（支持 LoRA 且更清晰），而非旧的 "Legacy" 单节点。
   • 添加 SUPIR_Model_Loader 加载 SUPIR 模型。
   • 添加 SUPIR_FirstStage (可选) 或直接连接图像到主处理节点。
   • 添加主处理节点（通常命名为 SUPIR_Upscale 或类似），连接 SDXL 模型、SUPIR 模型和输入图像。

2. 参数设置建议：

   • scale_by：控制放大倍数。若已在外部调整图像尺寸，可设为 1.0。
   • 采样器 (Sampler)：初学者建议使用 Lightning 类模型或快速采样器，虽然画质略有牺牲，但能极大加快调试速度，帮助理解各参数作用。
   • VAE 设置：若开启 fp8 模式，UNet 运行正常，但 VAE 可能出现伪影。建议在 VAE 部分启用 tiled_vae (分块 VAE) 以避免此问题。

3. 运行工作流：

   • 连接好图像输入与模型后，点击 "Queue Prompt"。
   • 对于视频超分，当前节点支持批量输入帧，逐帧处理即可。

性能优化提示

• 低显存方案：启用 UNet 的 fp8 精度，可将 512p 图像放大至 2048 分辨率且显存占用控制在 10GB 以内。
• 高分辨率方案：确保系统内存充足，配合 24GB+ 显存显卡可挑战 3072x3072 输出。