ComfyUI 的 AnimateDiff

针对 ComfyUI 改进了 AnimateDiff 集成，并新增了名为“Evolved Sampling”的高级采样选项，该选项也可在非 AnimateDiff 工作流中使用。有关其核心工作原理的详细信息，请参阅 AnimateDiff 仓库的 README 和 Wiki。

在 AnimateDiff 工作流中，以下这些实用节点包通常会被用到：

• ComfyUI-Advanced-ControlNet，用于让 ControlNet 支持上下文选项，并控制哪些潜在变量会受到 ControlNet 输入的影响。包含 SparseCtrl 支持。由我维护。
• ComfyUI-VideoHelperSuite，用于加载视频、将图像拼接成视频，以及执行各种图像/潜在变量操作，如追加、拆分、复制、选择或计数等。由 AustinMroz 和我共同维护。
• comfyui_controlnet_aux，提供原生 ComfyUI 中未包含的 ControlNet 预处理模块。由 Fannovel16 维护。
• ComfyUI_IPAdapter_plus，用于支持 IPAdapter。由 cubiq (matt3o) 维护。
• ComfyUI-KJNodes，提供多种辅助节点，包括为动画 GLIGEN 选择坐标等功能。由 kijai 维护。
• ComfyUI_FizzNodes，通过 BatchPromptSchedule 节点提供一种替代的提示词迁移功能。由 FizzleDorf 维护。

安装

如果使用 ComfyUI Manager：

1. 搜索 AnimateDiff Evolved，并确保作者是 Kosinkadink。安装它。

如果手动安装：

1. 将本仓库克隆到 custom_nodes 文件夹中。

模型设置：

1. 下载运动模块。您至少需要一个。不同的模块会产生不同的效果。
   • 原始模型 mm_sd_v14, mm_sd_v15, mm_sd_v15_v2, v3_sd15_mm：HuggingFace | Google Drive | CivitAI
   • mm_sd_v14 的稳定化微调版本，mm-Stabilized_mid 和 mm-Stabilized_high，由 manshoety 制作：HuggingFace
   • mm_sd_v15_v2 的微调版本，mm-p_0.5.pth 和 mm-p_0.75.pth，由 manshoety 制作：HuggingFace
   • 更高分辨率的微调版本，temporaldiff-v1-animatediff，由 CiaraRowles 制作：HuggingFace
   • 原生运动模型的 FP16/safetensor 版本，由 continue-revolution 托管（占用存储空间更少，但 VRAM 消耗与 ComfyUI 默认以 FP16 加载模型时相同）：HuffingFace
2. 将模型放置在以下任一位置（您可以根据需要重命名模型）：
   • ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
   • ComfyUI/models/animatediff_models
3. 您还可以选择使用运动 LoRA 来影响基于 v2 的运动模型，例如 mm_sd_v15_v2 的行为。
   • Google Drive | HuggingFace | CivitAI
   • 将运动 LoRA 放置在以下任一位置（您可以根据需要重命名运动 LoRA）：
     • ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora
     • ComfyUI/models/animatediff_motion_lora
4. 大胆发挥创意吧！如果某种方法对普通图像生成有效，那么它很可能也适用于 AnimateDiff 生成。潜在变量放大？尽管尝试。叠加一个或多个 ControlNet？当然可以！甚至可以只对动画的一部分应用 ControlNet 的条件约束——完全可行。多试几种组合，您一定会对能实现的效果感到惊喜。下方附有使用这些工作流的示例。

注意：您也可以通过 ComfyUI 的 extra_model_paths.yaml 文件指定自定义的模型或运动 LoRA 存放路径。运动模型文件夹的标识符是 animatediff_models，而运动 LoRA 文件夹的标识符是 animatediff_motion_lora。

功能特性

• 兼容几乎任何原版或自定义的 KSampler 节点。
• 支持 ControlNet、SparseCtrl 和 IPAdapter。
• 通过在整个 UNet 上滑动上下文窗口（上下文选项）和/或在运动模块内滑动（视图选项），支持无限长度的动画生成。
• 可在采样过程的不同阶段调整调度上下文选项。
• 支持 FreeInit 和 FreeNoise（FreeInit 位于迭代选项中，FreeNoise 位于 SampleSettings 的 noise_type 下拉菜单中）。
• 实现了可混合使用的运动 LoRA，来自 原始 AnimateDiff 仓库。注意：这些原始 LoRA 主要适用于基于 v2 的运动模型，如 mm_sd_v15_v2、mm-p_0.5.pth 和 mm-p_0.75.pth。
  • 更新：现在可以通过 AnimateDiff-MotionDirector 仓库 训练新的运动 LoRA，不再受 v2 限制。特别感谢 ExponentialML 为 AnimateDiff 实现了 MotionDirector！
• 使用内置的 Prompt Scheduling 节点或来自 ComfyUI_FizzNodes 的 BatchPromptSchedule 节点进行提示词过渡。
• 提供 Scale 和 Effect 多值输入，用于控制运动强度及运动模型对生成结果的影响。
  • 输入可以是浮点数、浮点数列表或掩码。
• 通过噪声类型、噪声层以及 Sample Settings 和相关节点中的 seed_override/seed_offset/batch_offset，实现自定义噪声调度。
• 支持 AnimateDiff 模型 v1/v2/v3。
• 通过 Gen2 节点同时使用多个运动模型（每个节点支持…
• 支持 HotshotXL（一种 SDXL 运动模块架构），使用 hsxl_temporal_layers.safetensors。
  • 注意：需要使用 autoselect 或 linear (HotshotXL/default) beta_schedule；上下文长度或总帧数的最佳设置为 8 帧（不使用上下文时）；并且需要使用 SDXL 检查点。
• 支持 AnimateDiff-SDXL 及其对应模型。目前仍处于测试阶段，已持续数月。
  • 注意：需要使用 autoselect 或 linear (AnimateDiff-SDXL) beta_schedule。除此之外，AnimateDiff-SDXL 的使用规则与 AnimateDiff 基本相同。
• 支持 AnimateLCM。
  • 注意：需要使用 autoselect、lcm 或 lcm[100_ots] beta_schedule。要充分发挥 LCM 的效果，务必使用合适的 LCM LoRA，在 KSampler 节点中选择 lcm sampler_name，并将 CFG 降低至约 1.0 到 2.0。别忘了减少步数（最少约 4 步），因为 LCM 收敛更快，所需步数更少。若希望增加细节，可适当增加步数。
• 支持 AnimateLCM-I2V，特别感谢 Fu-Yun Wang 在其论文研究期间提供的原始 Diffusers 代码。
  • 注意：设置要求与上述 AnimateLCM 相同。需使用 Apply AnimateLCM-I2V Model Gen2 节点以提供 ref_latent；并使用 Scale Ref Image and VAE Encode 节点预处理输入图像。尽管该模型原本设计为 img2video，但我发现它在 vid2vid 场景中表现最佳，只需将 ref_drift=0.0，并在与其他 Apply AnimateDiff Model (Adv.) 节点串联后，至少运行一步即可切换到其他模型。可将 apply_ref_when_disabled 设置为 True，以便在达到 end_percent 后，img_encoder 仍能继续工作。AnimateLCM-I2V 在高分辨率下保持连贯性方面也非常有用（结合 ControlNet 和 SD LoRA，我可以在一次运行中轻松将 512x512 的源图像放大到 1024x1024）。待补充示例。
• 支持 CameraCtrl，必须使用精简后的模型：CameraCtrl_pruned.safetensors。
  • 注意：需要 AnimateDiff SD1.5 模型，并且该模型专为 v3 模型训练。仅限 Gen2 使用，Gen2/CameraCtrl 子菜单中提供了辅助节点。
• 支持 PIA，使用模型 pia.ckpt。
  • 注意：需要使用 autoselect 或 sqrt_linear (AnimateDiff) beta_schedule。若要实际提供输入图像，需使用 Apply AnimateDiff-PIA Model Gen2 节点。pia_input 可通过论文中的预设（PIA Input [Paper Presets]）或手动输入（PIA Input [Multival]）提供。
• AnimateDiff 关键帧可在采样过程的不同阶段调整 Scale 和 Effect。
• 支持 fp8；需要最新版本的 ComfyUI 和 torch >= 2.1（可降低显存占用，但会改变输出结果）。
• 支持 Mac M1/M2/M3。
• 通过 Gen2 Use Evolved Sampling 节点，可在 AnimateDiff 外部使用 Context Options 和 Sample Settings。
• 可掩码且可调度的 SD LoRA（以及作为 LoRA 的模型），可用于 AnimateDiff 和 StableDiffusion。
• 每帧 GLIGEN 坐标控制。
  • 目前需要使用 KJNodes 中的 GLIGENTextBoxApplyBatch 节点来实现，但我很快会添加原生节点来完成此功能。
• 采样过程中图像注入。
• ContextRef 和 NaiveReuse（新颖的跨上下文一致性技术）

即将推出的功能

• AnimateDiff-Evolved 仓库中 每项功能 的示例流程，节点将配备使用说明（目前 Value/Prompt Scheduling 节点已有说明），并提供 YouTube 教程和文档。
• 支持 UniCtrl。
• 支持 Unet-Ref，以便移植大量相关论文。
• 实现 StoryDiffusion。
• 合并运动模型权重/组件，包括按区块自定义。
• 可掩码的运动 LoRA。
• 时间步可调度的 GLIGEN 坐标。
• 针对在不同 start/end_percents 加载/卸载的运动模型的动态内存管理。
• 其他与 AnimateDiff 相关的新功能。

基本使用与节点

样本

已知问题

部分运动模型会在生成的图像上留下明显水印（尤其是在使用 mm_sd_v15 时）

AnimateDiff 论文作者所使用的训练数据中包含 Shutterstock 水印。由于 mm_sd_v15 是在更精细、更轻微的运动基础上微调的，因此运动模块会尝试复制该水印的透明度，而不会像 mm_sd_v14 那样将其模糊掉。使用其他运动模块，或通过 Advanced KSamplers 将它们组合使用，可以缓解水印问题。

ComfyUI-AnimateDiff-Evolved 快速上手指南

ComfyUI-AnimateDiff-Evolved 是 ComfyUI 中 AnimateDiff 的增强版集成插件，不仅支持高质量的视频生成，还提供了名为"Evolved Sampling"的高级采样选项。本指南将帮助你快速部署并运行第一个动画工作流。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Windows, Linux 或 macOS (支持 M1/M2/M3 芯片)。
• 核心软件: 已安装最新版本的 ComfyUI。
• 依赖库:
  • Python >= 3.10 (推荐)
  • PyTorch >= 2.1 (若需使用 fp8 特性或获得最佳性能)
• 前置插件推荐: 为了获得完整功能，建议同时安装以下社区插件：
  • ComfyUI-VideoHelperSuite: 用于视频加载、合成及潜空间操作。
  • ComfyUI-Advanced-ControlNet: 用于更精细的 ControlNet 控制（含 SparseCtrl）。
  • comfyui_controlnet_aux: 提供额外的 ControlNet 预处理器。

2. 安装步骤

你可以选择通过管理器自动安装或手动克隆仓库。

方法一：使用 ComfyUI Manager (推荐)

1. 启动 ComfyUI，点击右侧菜单中的 Manager 按钮。
2. 选择 Install Custom Nodes。
3. 在搜索框中输入 AnimateDiff Evolved。
4. 重要: 确认作者为 Kosinkadink，然后点击 Install。
5. 安装完成后重启 ComfyUI。

方法二：手动安装

在终端中执行以下命令，将仓库克隆至 custom_nodes 目录：

cd ComfyUI/custom_nodes
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

克隆完成后重启 ComfyUI。

模型配置 (必需)

插件本身不包含运动模型，你需要手动下载至少一个运动模块 (Motion Module) 并放置到指定目录。

1. 下载模型:

   • 基础模型推荐: mm_sd_v15_v2.safetensors 或 v3_sd15_mm.ckpt。
   • 下载地址:
     • HuggingFace (官方): guoyww/animatediff
     • CivitAI: AnimateDiff Motion Modules
     • 国内加速: 若访问受限，可使用镜像站或国内网盘资源搜索对应文件名。

2. 放置模型: 将下载的 .safetensors 或 .ckpt 文件放入以下任一目录：

   ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
   或
   ComfyUI/models/animatediff_models
   

   (可选) 如需使用 Motion LoRA 调整动作风格，请下载对应的 LoRA 文件并放入 motion_lora 子目录中。

3. 基本使用

以下是创建一个最简动画生成工作流的步骤：

步骤 1: 构建基础节点

在画布中添加以下核心节点：

1. Load Checkpoint: 加载一个标准的 SD1.5 大模型 (如 v1-5-pruned-emaonly.ckpt)。
2. CLIP Text Encode (Prompt): 分别连接正负提示词。
3. Empty Latent Image: 设置分辨率 (推荐 512x512) 和 Batch size (即帧数，初学者建议设为 16)。

步骤 2: 接入 AnimateDiff

1. 添加节点 Apply AnimateDiff Model (Adv.) (位于 AnimateDiff 分类下)。
2. 在 model_name 参数中选择你刚才下载的模型 (例如 mm_sd_v15_v2)。
3. 将该节点的 model 输出连接到 Load Checkpoint 的 MODEL 输入端（注意：这会替换原始模型输出，形成串联）。
4. 将该节点的 positive 和 negative 输出分别连接到对应的 CLIP Text Encode 节点（如果节点设计为直接串联在条件编码之后），或者根据具体节点版本，将其作为中间处理层。
   • 标准连接方式: Checkpoint MODEL -> Apply AnimateDiff Model -> KSampler MODEL。

步骤 3: 采样与生成

1. 添加 KSampler 节点。
2. 连接模型、正向/反向条件、潜空间图像。
3. 设置采样参数：
   • steps: 20-25
   • cfg: 7-8
   • sampler_name: euler_a 或 dpmpp_2m_karras
4. 添加 VAE Decode 和 Save Image (或使用 VideoHelperSuite 的 Video Combine) 节点以查看结果。

步骤 4: 运行

点击 Queue Prompt。系统将开始逐帧生成，最终合成为一段动画。

提示: 若要生成更流畅的长视频，请配合使用 Context Options (上下文选项) 节点，它允许通过滑动窗口机制生成无限长度的动画，而不会显存溢出。