ComfyUI 的 AnimateDiff 插件

这是 AnimateDiff 在 ComfyUI 中的集成版本，基于 sd-webui-animatediff 进行适配。更多信息请参阅原始仓库的 README 文件。

使用方法

1. 将此仓库克隆到 custom_nodes 文件夹中。
2. 下载运动模块并将其放置在 comfyui-animatediff/models/ 目录下。

• 原始模块：Google Drive | HuggingFace | CivitAI | Baidu NetDisk
• 社区模块：manshoety/AD_Stabilized_Motion | CiaraRowles/TemporalDiff
• AnimateDiff v2 mm_sd_v15_v2.ckpt

2023年9月25日更新

Motion LoRA 现已支持！

下载 motion LoRA 并将其放置在 comfyui-animatediff/loras/ 文件夹中。

注意：LoRA 仅适用于 AnimateDiff v2 mm_sd_v15_v2.ckpt 模块。

新节点：AnimateDiffLoraLoader

示例工作流：

工作流：lora.json

样本：

2023年9月21日更新

滑动窗口 功能现已可用！

滑动窗口功能允许您生成无帧数限制的 GIF 动画。它会将帧分割成较小的批次，并进行轻微重叠。当生成超过 16 帧时，此功能会自动启用。如需修改触发帧数及其他设置，请使用 SlidingWindowOptions 节点。请参阅下方的 长时长滑动窗口示例工作流。

节点说明

AnimateDiffLoader

AnimateDiffSampler

• 大部分与 KSampler 相同
• motion_module：使用 AnimateDiffLoader 加载运动模块
• inject_method：应保持默认
• frame_number：动画长度
• latent_image：您可以传递一个 EmptyLatentImage
• sliding_window_opts：自定义滑动窗口选项

AnimateDiffCombine

• 组合 GIF 帧并生成最终的 GIF 图像
• frame_rate：每秒帧数
• loop_count：设置为 0 可实现无限循环
• save_image：是否将 GIF 保存到磁盘
• format：支持 image/gif、image/webp（压缩率更高）、video/webm、video/h264-mp4、video/h265-mp4。若要使用视频格式，您需要安装 ffmpeg，并确保其已在系统的 PATH 中可用。

SlidingWindowOptions

自定义滑动窗口选项

• context_length：每个“窗口”包含的帧数。建议使用 16 以获得最佳效果。如果显存较低，请适当减少该值。
• context_stride：
  • 1：逐帧采样
  • 2：隔帧采样
  • 3：每隔两帧再隔三帧采样
  • …
• context_overlap：相邻窗口之间的帧重叠量
• closed_loop：使 GIF 形成闭环，这会增加额外的采样步骤。

LoadVideo

将 GIF 或视频加载为图像序列。可用于将 GIF 作为 ControlNet 的输入。

• frame_start：跳过开头若干帧，从 frame_start 开始
• frame_limit：仅取前 frame_limit 帧

工作流示例

简单的文本转 GIF

工作流：simple.json

样本：

长时长滑动窗口

工作流：sliding-window.json

样本：

隐变量上采样

使用 LatentUpscale 对隐变量输出进行上采样，然后再通过 AnimateDiffSampler 进行第二次处理。

工作流：latent-upscale.json

样本：

与 ControlNet 配合使用

您需要以下额外节点：

• Kosinkadink/ComfyUI-Advanced-ControlNet：为批次中的每个潜在变量应用不同的权重
• Fannovel16/comfyui_controlnet_aux：ControlNet 预处理模块

使用起始和结束图像进行动画制作

• 使用来自 ComfyUI-Advanced-ControlNet 的 LatentKeyframe 和 TimestampKeyframe 来为每个潜在变量索引应用不同的权重。
• 对两张图像使用两个 ControlNet 模块，并将权重设置为相反。

工作流：cn-2images.json

示例：

使用 GIF 作为 ControlNet 输入

将 GIF（或视频、或一系列图片）用作 ControlNet 的输入。

工作流：cn-vid2vid.json

示例：

已知问题

CUDA 错误：无效的配置参数

这是由原始 AnimateDiff CrossAttention 的传递方式意外触发的 xformers 错误。目前的解决方法是在启动 ComfyUI 时使用 --disable-xformers 来禁用 xformers。

GIF 被拆分为多个场景

解决方法：

• 缩短提示词和负面提示词
• 降低分辨率。AnimateDiff 是在 512x512 图像上训练的，因此在 512x512 输出时效果最佳。
• 使用 --disable-xformers 禁用 xformers

GIF 中带有水印（尤其是在使用 mm_sd_v15 时）

详情请参见：https://github.com/continue-revolution/sd-webui-animatediff/issues/31

AnimateDiff 论文作者使用的训练数据中包含 Shutterstock 水印。由于 mm_sd_v15 是在更精细、动作更轻微的数据上微调的，该运动模块会尝试复制那种透明水印的效果，而不会像 mm_sd_v14 那样将其模糊掉。建议尝试其他社区微调的模块。

ComfyUI-AnimateDiff 快速上手指南

AnimateDiff 是 ComfyUI 中用于生成高质量动画（GIF/视频）的开源工具，基于 Stable Diffusion 实现帧间一致性运动。本指南将帮助你快速部署并使用该工具。

环境准备

• 系统要求：Windows / Linux / macOS
• 前置依赖：
  • 已安装并配置好 ComfyUI。
  • 推荐显卡显存 ≥ 8GB（生成高分辨率或长视频需要更多显存）。
  • FFmpeg（可选）：若需输出 MP4/WebM 等视频格式，需安装 FFmpeg 并将其添加到系统环境变量 PATH 中。
• 注意：若遇到 CUDA error: invalid configuration argument 错误，启动 ComfyUI 时请添加参数 --disable-xformers。

安装步骤

1. 安装插件节点

将插件克隆到 ComfyUI 的 custom_nodes 目录中：

cd ComfyUI/custom_nodes
git clone https://github.com/ArtVentureX/comfyui-animatediff.git

下载完成后请重启 ComfyUI。

2. 下载运动模型 (Motion Modules)

下载所需的运动模型文件，并放入 comfyui-animatediff/models/ 目录下。

推荐下载源（国内加速）：

• 百度网盘 (提取码: et8y): 点击下载
• HuggingFace (官方): guoyww/animatediff
• CivitAI: 模型页面

必备模型：

• mm_sd_v15_v2.ckpt (AnimateDiff v2 核心模型，支持 LoRA)

目录结构示例：

comfyui-animatediff/
└── models/
    ├── mm_sd_v15_v2.ckpt
    └── (其他社区模型...)

3. (可选) 下载 Motion LoRA

若需使用镜头控制（如缩放、平移），请下载 Motion LoRA 文件并放入 comfyui-animatediff/loras/ 目录。

• 注意：LoRA 仅配合 AnimateDiff v2 (mm_sd_v15_v2.ckpt) 模型使用。
• 下载地址：HuggingFace - Motion LoRAs

基本使用

以下是生成最简单文生动画 (txt2gif) 的工作流构建步骤：

1. 加载运动模型

添加 AnimateDiffLoader 节点：

• motion_module: 选择已下载的模型（如 mm_sd_v15_v2.ckpt）。

2. 设置采样器

添加 AnimateDiffSampler 节点（替代普通的 KSampler）：

• motion_module: 连接上一步 AnimateDiffLoader 的输出。
• frame_number: 设置动画帧数（例如 16 帧）。
• latent_image: 连接 EmptyLatentImage 节点，设置宽高（推荐 512x512 以获得最佳效果）。
• 其他参数（prompt, negative_prompt, steps, cfg 等）与普通采样器一致。

3. 合成输出

添加 AnimateDiffCombine 节点：

• 连接 AnimateDiffSampler 输出的 images。
• frame_rate: 设置帧率（如 8 或 12）。
• format: 选择输出格式（默认 image/gif；若需 mp4 请选择 video/h264-mp4 并确保已安装 FFmpeg）。
• save_image: 勾选以保存文件到磁盘。

简易工作流逻辑图

[Checkpoint Loader] --> [CLIP Text Encode (Prompt)] --+
                                                      |
[EmptyLatentImage] ----------------------------------> [AnimateDiffSampler] --> [AnimateDiffCombine] --> [Save Image]
                                                      ^
[AnimateDiffLoader] ----------------------------------+

提示：

• 若生成超过 16 帧的长视频，插件会自动启用 Sliding Window（滑动窗口） 技术，无需额外设置。如需自定义窗口大小，可添加 SlidingWindowOptions 节点并连接至 Sampler。
• 推荐使用分辨率 512x512，这是 AnimateDiff 训练的原生分辨率，能有效减少画面撕裂和伪影。