ComfyUI-MultiGPU v2：基于DisTorch的通用.safetensors与GGUF多GPU分布式方案

将几乎所有的显存释放出来，用于真正重要的任务：最大化潜在空间处理能力

ComfyUI-MultiGPU v2的核心：

[^1]：这增强了内存管理，而非并行计算。工作流步骤仍然按顺序执行，但其组件会以全部或部分的形式加载到您指定的设备上。性能提升源于在显存受限时避免重复加载和卸载模型；能力提升则在于尽可能将模型的大部分（VAE/CLIP/UNet）从您的主要计算设备上卸载，从而让您能够最大化用于实际计算的潜在空间。

1. 通用.safetensors支持：原生支持所有.safetensors模型的DisTorch2分布式加载。
2. GGUF推理速度较DisTorch1提升高达10%：新的DisTorch2逻辑为GGUF模型带来了相较于DisTorch V1方法的潜在提速。
3. 定制化的WanVideoWrapper集成：与WanVideoWrapper紧密集成，提供稳定的八节点MultiGPU支持。
4. 全新的模型驱动分配选项：新增两种直观的模型驱动专家模式，可精确控制模型在所有可用设备上的分布——“字节”和“比例”。

DisTorch的工作原理

DisTorch 2.0实战演示

什么是DisTorch？DisTorch是“distributed torch”的缩写，该自定义节点提供了一种将图像生成主模型中被称为UNet的静态部分从您的主要计算显卡上移至速度较慢但不会占用可用于更长视频或更多并发图像的显存区域的方法。通过选择一个或多个捐赠设备——例如系统CPU的DRAM或其他CUDA/XPS设备的显存——您可以决定将多少模型加载到这些设备上，而不是留在您的主要compute显卡上。只需设置您希望释放多少显存，剩下的工作就由DisTorch自动完成。

• 两种模式：
  • 普通模式：标准的virtual_vram_gb滑块继续允许您选择一个捐赠设备（如系统RAM）进行卸载。您添加的虚拟显存越多，就有更多的模型被推送到捐赠设备上。简单而有效。
  • 专家模式：专为追求极致性能的用户设计，包含两种专家模式——byte和ratio，允许您精确指定模型本身如何在所有可用设备间拆分，同时保留传统的fraction方式，让您的设备获得精确的显存分配。这些模式均通过一个灵活的文本字符串实现：
    • 字节（推荐）：最直接的模型拆分方式。受Hugging Face的device_map启发，您可以为每个设备指定确切的GB或MB数量。通配符*会将剩余的模型分配给某个设备，便于轻松卸载。（若未指定，则默认使用CPU作为通配符。）
      • 示例：cuda:0,2.5gb;cpu,*会将模型的前2.50GB加载到cuda:0上，其余部分则加载到cpu上。
      • 示例：cuda:0,500mb;cuda:1,3.0g;cpu,5gb*会将0.50GB放在cuda:0上，3.00GB放在cuda:1上，而5.00GB（或剩余部分）则放在cpu上。
    • 比例：喜欢llama.cpp的tensor_split简洁性吗？这个模式正适合您。只需指定比例即可将模型均匀分配到各设备上。
      • 示例：cuda:0,25%;cpu,75%会按照1:3的比例拆分模型，25%加载到cuda:0上，75%加载到cpu上。
      • 示例：cuda:0,8%;cuda:1,8%;cpu,4%采用8:8:4的比例，将40%的模型放在cuda:0上，40%放在cuda:1上，20%放在cpu上。
    • 分数：最初的DisTorch专家模式。该模式根据每个设备总显存的使用比例来拆分模型。
      • 示例：cuda:0,0.1;cpu,0.5会使用cuda:0显存的10%和cpu显存的50%来承载模型。
      • 示例：cuda:0,0.0207;cuda:1,0.1273;cpu,0.0808会使用cuda:0显存的2.1%，cuda:1显存的12.7%，以及cpu显存的8.1%来承载模型。

🎯 主要优势

• 无需复杂设置，即可立即释放GPU显存。
• 通过将模型层卸载到其他系统内存，运行更大规模的模型。
• 将主GPU的所有显存用于真正的compute/潜在空间处理，或者仅填充到满足需求的程度，其余部分则留给快速访问的模型模块。
• 在有多块GPU的情况下，无缝地将.safetensors和GGUF层分布到不同显卡上。
• 您只需简单调整一个数值，就能轻松在___设备内速度___与___开放设备的潜在空间能力___之间切换。

DisTorch节点只需一个简单的数字，即可根据您的需求调整虚拟显存

🚀 兼容性

适用于所有.safetensors及GGUF量化的模型。

⚙️ 对于高级用户：如果您使用.gguf或exl2/3 LLM加载器，请使用expert_mode_alloaction模式，以便在您配置的所有设备上对模型碎片进行精确分配！

新的虚拟显存功能甚至允许您将整个模型卸载，同时仍能在CUDA设备上进行计算！

安装

建议通过ComfyUI-Manager进行安装。只需在节点列表中搜索ComfyUI-MultiGPU，并按照安装说明操作即可。

手动安装

将此仓库克隆到ComfyUI/custom_nodes/目录下。

节点

该扩展会自动创建多 GPU 版本的加载节点。每个多 GPU 节点的功能与原始节点相同，但新增了一个 device 参数，允许您指定要使用的 GPU。

当前支持的节点（如有可用则会自动检测）：

• 标准 ComfyUI 模型加载器：
  • CheckpointLoaderAdvancedMultiGPU / CheckpointLoaderAdvancedDisTorch2MultiGPU
  • CheckpointLoaderSimpleMultiGPU / CheckpointLoaderSimpleDisTorch2MultiGPU
  • UNETLoaderMultiGPU / UNETLoaderDisTorch2MultiGPU
  • UNetLoaderLP
  • VAELoaderMultiGPU / VAELoaderDisTorch2MultiGPU
  • CLIPLoaderMultiGPU / CLIPLoaderDisTorch2MultiGPU
  • DualCLIPLoaderMultiGPU / DualCLIPLoaderDisTorch2MultiGPU
  • TripleCLIPLoaderMultiGPU / TripleCLIPLoaderDisTorch2MultiGPU
  • QuadrupleCLIPLoaderMultiGPU / QuadrupleCLIPLoaderDisTorch2MultiGPU
  • CLIPVisionLoaderMultiGPU / CLIPVisionLoaderDisTorch2MultiGPU
  • ControlNetLoaderMultiGPU / ControlNetLoaderDisTorch2MultiGPU
  • DiffusersLoaderMultiGPU / DiffusersLoaderDisTorch2MultiGPU
  • DiffControlNetLoaderMultiGPU / DiffControlNetLoaderDisTorch2MultiGPU
• WanVideoWrapper（需安装 ComfyUI-WanVideoWrapper）：
  • WanVideoModelLoaderMultiGPU
  • WanVideoVAELoaderMultiGPU
  • WanVideoTinyVAELoaderMultiGPU
  • WanVideoBlockSwapMultiGPU
  • WanVideoImageToVideoEncodeMultiGPU
  • WanVideoEncodeMultiGPU
  • WanVideoDecodeMultiGPU
  • WanVideoSamplerMultiGPU
  • WanVideoVACEEncodeMultiGPU
  • WanVideoClipVisionEncodeMultiGPU
  • WanVideoControlnetLoaderMultiGPU
  • WanVideoUni3C_ControlnetLoaderMultiGPU
  • WanVideoTextEncodeMultiGPU
  • WanVideoTextEncodeCachedMultiGPU
  • WanVideoTextEncodeSingleMultiGPU
  • LoadWanVideoT5TextEncoderMultiGPU
  • LoadWanVideoClipTextEncoderMultiGPU
  • FantasyTalkingModelLoaderMultiGPU
  • Wav2VecModelLoaderMultiGPU / DownloadAndLoadWav2VecModelMultiGPU
• GGUF 加载器（需安装 ComfyUI-GGUF）：
  • UNet 系列：UnetLoaderGGUFMultiGPU / UnetLoaderGGUFDisTorch2MultiGPU
  • UNet 高级组合包：UnetLoaderGGUFAdvancedMultiGPU / UnetLoaderGGUFAdvancedDisTorch2MultiGPU
  • CLIP 系列：CLIPLoaderGGUFMultiGPU / CLIPLoaderGGUFDisTorch2MultiGPU
  • 双 CLIP：DualCLIPLoaderGGUFMultiGPU / DualCLIPLoaderGGUFDisTorch2MultiGPU
  • 三重 CLIP：TripleCLIPLoaderGGUFMultiGPU / TripleCLIPLoaderGGUFDisTorch2MultiGPU
  • 四重 CLIP：QuadrupleCLIPLoaderGGUFMultiGPU / QuadrupleCLIPLoaderGGUFDisTorch2MultiGPU
• XLabAI FLUX ControlNet（需安装 x-flux-comfy）：
  • LoadFluxControlNetMultiGPU
• Florence2（需安装 ComfyUI-Florence2）：
  • Florence2ModelLoaderMultiGPU
  • DownloadAndLoadFlorence2ModelMultiGPU
• LTX Video 自定义检查点加载器（需安装 ComfyUI-LTXVideo）：
  • LTXVLoaderMultiGPU
• NF4 检查点格式加载器（需安装 ComfyUI_bitsandbytes_NF4）：
  • CheckpointLoaderNF4MultiGPU
• MMAudio（需安装 ComfyUI-MMAudio）：
  • MMAudioModelLoaderMultiGPU
  • MMAudioFeatureUtilsLoaderMultiGPU
  • MMAudioSamplerMultiGPU
• Pulid（需安装 PuLID_ComfyUI）：
  • PulidModelLoaderMultiGPU
  • PulidInsightFaceLoaderMultiGPU
  • PulidEvaClipLoaderMultiGPU

所有适用于您安装的多 GPU 节点均可在节点菜单的“multigpu”类别中找到。

节点文档

针对所有自动检测到的核心 MultiGPU 和 DisTorch2 节点，我们提供了详细的技术文档，涵盖 70 多个已记录的节点，包含全面的参数说明、输出规格以及适用时的 DisTorch2 分配指南。

• 访问文档方法：在 ComfyUI 中点击任意核心 MultiGPU 或 DisTorch2 节点，然后从弹出的菜单中选择“帮助”（圆圈内的问号）。
• 覆盖范围：所有标准 ComfyUI 加载器节点（UNet、VAE、检查点、CLIP、ControlNet、Diffusers），以及流行的 GGUF 加载器变体。
• 内容：输入参数及其数据类型和描述、输出规格、使用示例，以及 DisTorch2 分布式加载的说明，包括分配模式和策略。
• 注意：文档仅涵盖 ComfyUI-MultiGPU 的核心功能。第三方自定义节点集成（如 WanVideoWrapper、Florence2 等）拥有各自的独立文档。

示例工作流

所有工作流均已在以下环境中测试通过：两块 3090 显卡加一块 1060ti 显卡的 Linux 系统、配备 4070 显卡的 Windows 11 系统，以及由 3090 和 1070ti 显卡组成的 Linux 系统。

DisTorch2

LTX Video + CheckpointLoaderSimple (DisTorch2)	Mochi + CheckpointLoaderAdvanced (DisTorch2)	Qwen Image UNet + CLIP (DisTorch2)
Qwen Image Edit UNet + CLIP (DisTorch2)	WanVideo 2.2 双 UNet，无 CPU (DisTorch2)	WanVideo 2.2 T2I LightX2V LoRA (DisTorch2)
WanVideo 2.2 T2V LightX2V LoRA (DisTorch2)

WanVideoWrapper

WanVideoWrapper T2V

WanVideoWrapper 1.3B 控制 LoRA

WanVideoWrapper 2.2 I2V A14B GGUF

MultiGPU

FLUX UNet + 双 CLIP + VAE 加载器 (MultiGPU)

SD15 CheckpointLoaderSimple (MultiGPU)

SDXL CheckpointLoaderAdvanced (MultiGPU)

GGUF

FLUX UNet + 双 CLIP GGUF

Qwen Image UNet DisTorch2 GGUF

HunyuanVideoWrapper / Florence2

HunyuanVideoWrapper DisTorch（旧版，已弃用）

Florence2 详细描述转 FLUX 流程

支持

如果您遇到问题，请提交 issue。如果可能，请附上工作流文件。

致谢

目前由 pollockjj 维护。 最初由 Alexander Dzhoganov 创建。 衷心感谢 City96。

ComfyUI-MultiGPU 快速上手指南

ComfyUI-MultiGPU 是一个用于优化显存管理的 ComfyUI 自定义节点插件。它通过 DisTorch 技术，将模型（如 UNet、VAE、CLIP）的静态部分卸载到系统内存（RAM）或其他 GPU 上，从而释放主计算显卡的显存，用于处理更大的潜空间（如更高分辨率或更长视频）。

注意：本工具主要增强显存管理能力，而非并行加速。工作流步骤仍按顺序执行，但模型组件可跨设备加载。

1. 环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统: Windows, Linux 或 macOS (需支持 CUDA 的设备以获得最佳效果)。
• 核心软件: 已安装并配置好的 ComfyUI。
• 硬件要求:
  • 至少一张 NVIDIA GPU (推荐)。
  • 充足的系统内存 (RAM)，用于接收从 GPU 卸载的模型层。
• 前置依赖 (可选):
  • 若需使用 GGUF 模型多卡分布，需安装 ComfyUI-GGUF。
  • 若需使用 WanVideo 相关功能，需安装 ComfyUI-WanVideoWrapper。

2. 安装步骤

推荐使用 ComfyUI-Manager 进行安装，这是最简便的方式。

方法一：通过 ComfyUI-Manager 安装（推荐）

1. 启动 ComfyUI，点击右侧菜单中的 Manager 按钮。
2. 选择 Install Custom Nodes。
3. 在搜索框中输入 ComfyUI-MultiGPU。
4. 找到由 pollockjj 开发的插件，点击 Install。
5. 安装完成后，重启 ComfyUI 以生效。

方法二：手动安装

如果你无法使用 Manager，可以通过命令行手动克隆仓库：

cd ComfyUI/custom_nodes
git clone https://github.com/pollockjj/ComfyUI-MultiGPU.git

国内用户若下载缓慢，可尝试使用镜像源：

cd ComfyUI/custom_nodes
git clone https://gitee.com/mirrors/ComfyUI-MultiGPU.git 
# 注意：若上述镜像不存在，请使用官方源或配置 git proxy

安装完成后，重启 ComfyUI。

3. 基本使用

安装成功后，ComfyUI 会自动检测可用的加载器节点，并生成对应的 MultiGPU 版本（通常原名后附带 MultiGPU 或 DisTorch2MultiGPU 后缀）。

核心概念：虚拟显存 (Virtual VRAM)

该插件的核心是通过设置 virtual_vram_gb 参数，告诉系统需要从主显卡“腾出”多少显存。腾出的空间将由系统内存或其他指定设备承担。

最简单的使用示例

假设你有一张显存紧张的显卡，想要运行一个大模型：

1. 新建工作流：打开 ComfyUI。
2. 替换加载器：
   • 找到原本的 Checkpoint Loader Simple 节点。
   • 双击空白处搜索，替换为 CheckpointLoaderSimpleDisTorch2MultiGPU (或 CheckpointLoaderSimpleMultiGPU)。
3. 配置参数：
   • 在新节点中，你会看到一个名为 virtual_vram_gb (或类似名称的滑块/输入框)。
   • 普通模式 (Normal Mode)：直接输入你想释放的显存大小（单位 GB）。
     • 例如：输入 4，表示强制将模型的一部分移出主显卡，占用约 4GB 的系统 RAM 或其他设备空间，从而为主显卡腾出 4GB 显存用于计算。
   • 设备选择：部分节点允许指定 device，默认为自动或主显卡，可保持默认。
4. 运行工作流：连接后续节点并点击 "Queue Prompt"。插件会自动处理模型的切分与加载。

进阶：专家模式 (Expert Mode)

对于需要精确控制模型在各设备间分布的用户，可以在分配字符串中使用以下格式（通常在高级节点的 allocation 输入框中）：

• 按字节分配 (Bytes - 推荐):

  cuda:0,2.5gb;cpu,*
  

  含义: 将模型前 2.5GB 加载到 cuda:0，剩余部分 (*) 加载到 cpu。

• 按比例分配 (Ratio):

  cuda:0,25%;cpu,75%
  

  含义: 模型 25% 在 cuda:0，75% 在 cpu。

• 按显存占比分配 (Fraction):

  cuda:0,0.1;cpu,0.5
  

  含义: 使用 cuda:0 总显存的 10% 和 cpu 总内存的 50% 来存放模型。

支持的模型类型

• .safetensors: 原生支持 DisTorch2 分发。
• GGUF: 支持量化模型的多卡/多设备分布，推理速度较旧版提升约 10%。
• WanVideo: 深度集成 WanVideoWrapper，提供专用的多 GPU 节点。

通过简单调整一个数值，即可在“单卡速度”与“多设备大显存能力”之间灵活切换。