关于本项目

DyPE 是一种无需训练的方法，它可以让预训练的 DiT 模型以远超其训练数据分辨率的尺寸生成图像，且不会增加额外的采样成本。

其原理是利用扩散过程固有的频谱渐进特性。通过在每一步动态调整模型的位置编码，DyPE 使其频率谱与当前生成过程阶段相匹配——早期专注于低频结构，后期再逐步细化高频细节。这样可以避免在将模型推向超出其原生分辨率时常见的重复性伪影和结构退化现象。

该节点提供了一种无缝的“即插即用”式集成方式，可轻松将 DyPE 纳入您的工作流。

✨ 主要特性：

• 多架构支持: 支持 FLUX（标准版）、Nunchaku（量化 Flux）、Qwen Image 和 Z-Image（Lumina 2）。
• 高分辨率生成: 可将模型输出扩展至 4096x4096 及以上。
• 单节点集成: 只需在模型加载节点后放置 DyPE for FLUX 节点即可完成模型补丁，无需复杂的流程改动。
• 完全兼容: 可与您现有的 ComfyUI 工作流、采样器、调度器以及其他优化节点无缝配合。
• 精细控制: 公开了关键的 DyPE 超参数，允许您根据不同的目标分辨率调整算法强度和行为，以获得最佳效果。
• 零推理开销: DyPE 的调整是在运行时即时进行的，对性能几乎没有影响。

示例输出

(返回顶部)

开始使用

最简便的安装方式是通过 ComfyUI Manager。搜索 ComfyUI-DyPE 并点击“安装”。

或者，您也可以手动安装：

1. 克隆仓库：

   导航到您的 ComfyUI/custom_nodes/ 目录，并克隆此仓库：

   git clone https://github.com/wildminder/ComfyUI-DyPE.git
   

2. 启动/重启 ComfyUI： 启动 ComfyUI 即可。无需再安装其他依赖项。

(返回顶部)

🛠️ 使用方法

该节点的使用非常简单，旨在尽量减少对现有工作流的干扰。

1. 加载您的模型： 使用您偏好的加载节点（例如，Flux 的 Load Checkpoint、Nunchaku Flux DiT Loader 或 ZImage 加载节点）。
2. 添加 DyPE 节点： 将 DyPE for FLUX 节点添加到您的图中（位于 model_patches/unet 下）。
3. 连接模型： 将加载节点的 MODEL 输出连接到 DyPE 节点的 model 输入。
4. 设置分辨率： 在 DyPE 节点上设置 width 和 height，使其与您的 Empty Latent Image 分辨率一致。
5. 连接到 KSampler： 将 DyPE 节点的 MODEL 输出作为您 KSampler 的输入。
6. 开始生成！ 就这样。您的工作流现已启用 DyPE 功能。

[!注意] 该节点专门用于修补 扩散模型（UNet） 的位置嵌入，不会修改 CLIP 或 VAE 模型。

节点输入

1. 模型配置

• model_type:
  • auto: 尝试自动检测模型架构。推荐使用。
  • flux: 强制使用 Standard Flux 逻辑。
  • nunchaku: 强制使用 Nunchaku（量化 Flux）逻辑。
  • qwen: 强制使用 Qwen Image 逻辑。
  • zimage: 强制使用 Z-Image（Lumina 2）逻辑。
• base_resolution: 模型训练时的原生分辨率。
  • Flux / Z-Image: 1024
  • Qwen: 1328（Qwen 模型的推荐设置）

2. 方法选择

• method:
  • vision_yarn: 一种专为宽高比鲁棒性设计的新变体。它将结构与纹理分离：低频（形状）会根据您的画布宽高比进行缩放，而高频（细节）则均匀缩放。它使用动态注意力调度来确保清晰度。
  • yarn: 标准的 YaRN 方法。整体表现良好，但在极端宽高比下可能会出现问题。
  • ntk: 神经切线核缩放。非常稳定，但在高分辨率下往往显得柔和/模糊。
  • base: 不进行位置插值（标准行为）。

缩放选项

• yarn_alt_scaling（仅影响 yarn 方法）：
  • 各向异性（高分辨率）： 高度和宽度独立缩放。如果宽高比与训练数据差异较大，可能导致几何拉伸。
  • 各向同性（稳定默认）： 基于最大轴同时缩放两个维度。
  • 注意：vision_yarn 会在内部自动处理这一平衡，因此当选择 vision_yarn 时，此开关将被忽略。

[!提示] Z-Image（Lumina 2）特有说明：

• Z-Image 模型使用非常低的 RoPE 基础频率（theta=256）。
• 几何拉伸： 为防止垂直方向的拉伸，节点会自动对 Z-Image 强制执行 各向同性缩放，无论用户设置如何。
• 方法选择： 推荐使用 vision_yarn 或 ntk。标准的 yarn 可能会产生伪影。

3. 动态控制

• enable_dype: 启用或禁用 DyPE 的 动态、时间感知 组件。
  • 启用（True）： 在采样过程中，噪声调度和 RoPE 都会动态调整。这是完整的 DyPE 算法。
  • 禁用（False）： 节点只会应用动态噪声调度偏移。RoPE 将使用静态外推。
• dype_scale: (λs) 控制 DyPE 调制的“幅度”。默认值为 2.0。
• dype_exponent: (λt) 控制动态效果随时间的“强度”。
  • 2.0: 推荐用于 4K+ 分辨率。激进的调度方案会快速过渡以清除伪影。
  • 1.0: 是 ~2K-3K 分辨率的良好起点。
  • 0.5: 对略高于原生分辨率的图像采用更温和的调度方案。

4. 高级噪声调度

• base_shift / max_shift: 这些参数控制噪声调度偏移（mu）。在本实现中，max_shift（默认 1.15）作为任何大于基础分辨率的分辨率的目标偏移量。

(返回顶部)

更改日志

v2.3.0

• Z-Image 大修： 修复了几何拉伸伪影
• 方法修复

v2.2.0

• Z-Image 支持： 添加了对 Z-Image（Lumina 2） 架构的实验性支持。

v2.1.0

• 新架构支持： 新增对 Qwen Image 和 Nunchaku（量化 Flux）模型的支持。
• 模块化架构： 将代码库重构为模块化适配器模式（src/models/），以确保稳定性并便于未来模型的更新。
• UI 更新： 添加了用于明确指定模型类型的 model_type 选择器。

v2.0.0

• Vision-YaRN： 引入了 vision_yarn 方法，用于解耦宽高比处理。
• 动态注意力： 实现了二次衰减调度，用于平衡 sharpness 和伪影。
• 起始 Sigma： 添加了 dype_start_sigma 控制。

v1.0.0

• 初始发布： 为 Standard Flux 模型实现了核心 DyPE。
• 基本模式： 支持 yarn（各向同性/各向异性）和 ntk。

(返回顶部)

❗ 重要提示与最佳实践

[!重要] 极端分辨率（4K）下的局限性 尽管 DyPE 显著扩展了 DiT 模型的能力，但生成完全干净的 4096x4096 图像仍然是基础模型本身的局限性。即使使用 DyPE，您仍然在推动一个基于约 100 万像素训练的模型去生成 1600 万像素的内容。在这些极端尺度下，您仍可能遇到轻微的伪影。

[!提示] 处理斑点噪声 在极端分辨率（4K+）下，您可能会注意到在聚焦区域（如头发、眼睛）出现高频“斑点”噪声。这是由于将模型的注意力机制缩放到其训练极限之外所导致的副作用。

解决方法：

1. 增加 dype_exponent： 尝试将其提高到 3.0 或 4.0，或其他更高的值。
2. 使用 LoRA： 平滑或“细节增强”LoRA 可以帮助抑制高频伪影。

[!提示] 需要不断试验 并不存在适用于所有提示和所有分辨率的“神奇设置”。要获得最佳效果：

• 尝试不同的方法： 从 vision_yarn 开始，但如果遇到问题，可以尝试 yarn。
• 调整 dype_exponent： 这是您用来平衡清晰度与伪影的主要调节旋钮。

══════════════════════════════════

除了代码之外，我也相信社区和持续学习的力量。诚邀您加入‘TokenDiff AI News’和‘TokenDiff Community Hub’

TokenDiff AI News AI 为每个家庭服务，创意为每个人带来灵感！

TokenDiff Community Hub 问题解答、帮助以及深入讨论。

══════════════════════════════════

(返回顶部)

致谢

• 诺姆·伊萨哈尔、盖伊·亚里夫及合著者，感谢他们开创性的研究以及将 DyPE 项目开源。
• ComfyUI 团队，感谢他们打造了如此强大且可扩展的平台，用于扩散模型的研究与创作。

(返回顶部)

ComfyUI-DyPE 快速上手指南

ComfyUI-DyPE 是一个无需训练的自定义节点，通过动态位置外推（DyPE）技术，让 FLUX、Qwen Image、Z-Image 等 Diffusion Transformer (DiT) 模型能够生成 4K 及以上超高分辨率图像，同时保持卓越的结构连贯性和细节，且几乎不增加推理成本。

环境准备

• 系统要求：支持运行 ComfyUI 的 Windows、Linux 或 macOS 系统。
• 前置依赖：
  • 已安装并配置好 ComfyUI。
  • 已下载支持的模型权重（如 FLUX.1, Qwen Image, Z-Image/Lumina 2 等）。
  • 注意：本插件无需额外安装 Python 依赖库，启动 ComfyUI 即可自动加载。

安装步骤

方法一：使用 ComfyUI Manager（推荐）

1. 启动 ComfyUI，点击右侧菜单中的 Manager 按钮。
2. 选择 Install Custom Nodes。
3. 在搜索框输入 ComfyUI-DyPE。
4. 找到对应插件，点击 Install。
5. 安装完成后，重启 ComfyUI 使插件生效。

方法二：手动安装

1. 打开终端或命令行工具，进入 ComfyUI 的自定义节点目录：

   cd ComfyUI/custom_nodes/
   

2. 克隆仓库代码：

   git clone https://github.com/wildminder/ComfyUI-DyPE.git
   

3. 启动或重启 ComfyUI。

基本使用

本插件采用“即插即用”设计，只需在现有工作流中插入一个节点即可。

1. 构建工作流连接

按照以下顺序连接节点：

1. 加载模型：使用你常用的模型加载器（例如 Load Checkpoint (Flux), Nunchaku Flux DiT Loader, 或 ZImage Loader）。
2. 添加 DyPE 节点：
   • 双击空白处搜索 DyPE for FLUX。
   • 该节点位于 model_patches/unet 分类下。
3. 连接模型：将模型加载器的 MODEL 输出端连接到 DyPE 节点的 model 输入端。
4. 设置分辨率：
   • 在 DyPE 节点上设置 width 和 height，确保其与下游 Empty Latent Image 节点的分辨率一致（例如 4096x4096）。
   • 提示：base_resolution 通常保持默认（Flux/Z-Image 为 1024，Qwen 为 1328）。
5. 连接采样器：将 DyPE 节点的 MODEL 输出端连接到 KSampler 的 model 输入端。
6. 生成图像：点击 Queue Prompt 开始生成。

2. 核心参数简析

为了获得最佳效果，可根据需求微调以下参数：

• model_type: 建议设为 auto 自动识别架构。若识别错误，可手动指定 flux, nunchaku, qwen, 或 zimage。
• method (插值算法):
  • vision_yarn: 推荐。专为高纵横比鲁棒性设计，能解耦结构与纹理，适合大多数超高分辨率场景。
  • yarn: 标准方法，通用性好。
  • ntk: 稳定性高，但画面可能偏柔和。
• dype_exponent (动态强度):
  • 2.0: 推荐用于 4K+ 分辨率，能快速清除伪影。
  • 1.0: 适合 2K-3K 分辨率。
  • 0.5: 适合略高于原生分辨率的场景。

最佳实践提示：

• 对于 Z-Image (Lumina 2) 模型，插件会自动强制使用各向同性缩放以防止几何拉伸，推荐搭配 vision_yarn 或 ntk 方法。
• 若在 4K 生成中发现高频噪点（如头发处的斑点），尝试将 dype_exponent 提高至 3.0 或 4.0，或配合使用细节修复类 LoRA。