ComfyUI-layerdiffuse

ComfyUI 对 https://github.com/layerdiffusion/LayerDiffuse 的实现。

安装

下载仓库并解压到 ComfyUI 安装目录下的 custom_nodes 文件夹中。

或者从 ComfyUI 安装目录使用 GIT 克隆：

cd custom_nodes
git clone git@github.com:huchenlei/ComfyUI-layerdiffuse.git

运行 pip install -r requirements.txt 来安装 Python 依赖。如果你有其他依赖不同版本 diffusers 的扩展，可能会遇到版本冲突。在这种情况下，建议设置独立的 Python 虚拟环境。

工作流

生成前景

生成前景（RGB + alpha）

如果你想更精细地分别获取 RGB 图像和 alpha 通道掩码，可以使用这个工作流。

混合（FG/BG）

混合给定的 FG

混合给定的 BG

从混合 + BG 中提取 FG

从混合 + FG 中提取 BG

Forge 实现的自检 将 Stop at 设置为 0.5，以获得更高质量的 BG。此工作流可能不如其他物体移除工作流效果好。

从混合 + FG 中提取 BG（Stop at 0.5）

在 SD Forge 实现 中，有一个 stop at 参数，用于决定层扩散在去噪过程中何时停止。在后台，该参数的作用是在达到一定步骤阈值后取消应用 LoRA 和 c_concat cond。这在 ComfyUI 中直接实现较为困难或有风险，因为它需要手动加载一个仅应用了除层扩散之外所有更改的模型。在 ComfyUI 中的一个变通方法是再进行一次 img2img 处理，以模拟 stop at 参数的效果。

从 BG 组合中生成 FG

结合之前的流程，在给定 BG 的情况下生成混合图像和 FG。我们发现提取出的 FG 存在一些颜色差异。需要向 Layer Diffusion 的作者确认这是否属于预期现象。

[2024-3-9] 给定 BG 生成 FG + 混合图像

需要批量大小 = 2N。目前仅适用于 SD15。

[2024-3-9] 给定 FG 生成 BG + 混合图像

需要批量大小 = 2N。目前仅适用于 SD15。

[2024-3-9] 同时生成 BG + FG + 混合图像

需要批量大小 = 3N。目前仅适用于 SD15。

注意事项

• 目前仅支持 SDXL/SD15。更多详情请参阅 https://github.com/layerdiffuse/sd-forge-layerdiffuse#model-notes。
• 若要解码 RGBA 结果，生成尺寸必须是 64 的倍数。否则会收到解码错误：

ComfyUI-layerdiffuse 快速上手指南

ComfyUI-layerdiffuse 是 LayerDiffusion 技术在 ComfyUI 中的实现，支持生成带透明通道的图像（前景）、背景合成与分离等高级图层操作。

环境准备

• 系统要求：已安装 ComfyUI 的环境。
• 模型支持：目前仅支持 SDXL 和 SD1.5 模型。
• 前置依赖：
  • Python 环境（建议为 ComfyUI 配置独立的虚拟环境 venv，以避免 diffusers 库的版本冲突）。
  • Git（用于克隆仓库）。
• 注意：若需解码 RGBA 结果，生成图像的分辨率宽高必须是 64 的倍数，否则会导致解码错误。

安装步骤

方法一：手动安装

1. 下载本项目的代码压缩包。
2. 将其解压至 ComfyUI 安装目录下的 custom_nodes 文件夹中。

方法二：Git 克隆（推荐）

在终端中进入 ComfyUI 安装目录，执行以下命令：

cd custom_nodes
git clone git@github.com:huchenlei/ComfyUI-layerdiffuse.git

安装依赖

进入插件目录并安装 Python 依赖：

cd ComfyUI-layerdiffuse
pip install -r requirements.txt

提示：如果系统中其他扩展依赖不同版本的 diffusers 导致冲突，请务必使用独立的 Python 虚拟环境运行 ComfyUI。

基本使用

安装完成后重启 ComfyUI，即可在节点列表中找到 LayerDiffuse 相关节点。以下是几种核心工作流的使用方式：

1. 生成带透明通道的前景 (Generate Foreground)

这是最基础的用法，直接生成带有 Alpha 通道的 PNG 图像。

• 工作流示例：加载 layer_diffusion_fg_example_rgba.json。
• 效果：输入提示词，直接输出背景透明的主体图像。

2. 前景与背景合成 (Blending)

将生成的前景（FG）与指定背景（BG）进行自然融合。

• 工作流示例：加载 layer_diffusion_cond_example.json。
• 操作：
  • 给定前景：上传前景图，让 AI 生成匹配的背景并融合。
  • 给定背景：上传背景图，让 AI 生成匹配的前景并融合。

3. 从合成图中分离图层 (Extract FG/BG)

从一张已有的合成图中，分离出独立的前景或背景。

• 提取前景：使用 layer_diffusion_diff_fg.json。
• 提取背景：使用 layer_diffusion_diff_bg.json。
  • 进阶技巧：为了获得更高质量的背景，可参考 SD Forge 的实现，通过二次 img2img 流程模拟 Stop at 0.5 参数效果（见工作流 layer_diffusion_diff_bg_stop_at.json）。

4. 联合生成 (Joint Generation)

针对 SD1.5 模型，支持一次性生成前景、背景及合成图。

• 要求：Batch Size 必须设置为偶数（如 2N 或 3N，具体视工作流而定）。
• 工作流示例：
  • 给定背景生成前景 + 合成图：layer_diffusion_cond_joint_bg.json (Batch Size = 2N)
  • 给定前景生成背景 + 合成图：layer_diffusion_cond_joint_fg.json (Batch Size = 2N)
  • 同时生成三者：layer_diffusion_joint.json (Batch Size = 3N)

建议直接从项目仓库的 example_workflows 文件夹导入对应的 .json 工作流文件，以获得最佳实践配置。