AnimateDiff

本仓库是 AnimateDiff [ICLR2024 Spotlight] 的官方实现。它是一个即插即用的模块，可以将大多数社区提供的文生图模型转化为动画生成器，而无需额外训练。

AnimateDiff：无需特定微调即可为您的个性化文生图扩散模型添加动画效果

Yuwei Guo、 Ceyuan Yang✝、 Anyi Rao、 Zhengyang Liang、 Yaohui Wang、 Yu Qiao、 Maneesh Agrawala、 Dahua Lin、 Bo Dai
(✝通讯作者)

注意： main 分支适用于 Stable Diffusion V1.5；对于 Stable Diffusion XL，请参考 sdxl-beta 分支。

快速演示

更多结果可在 Gallery 中找到。其中部分由社区贡献。

模型：ToonYou

模型：Realistic Vision V2.0

快速入门

注意： AnimateDiff 也得到了 Diffusers 的官方支持。访问 AnimateDiff Diffusers 教程 以获取更多详情。以下说明适用于本仓库的操作。

注意： 对于所有脚本，检查点下载将被 自动 处理，因此首次运行时可能需要更长时间。

1. 设置仓库和环境

git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff

pip install -r requirements.txt

2. 启动采样脚本！

生成的样本可以在 samples/ 文件夹中找到。

2.1 使用社区模型生成动画

python -m scripts.animate --config configs/prompts/1_animate/1_1_animate_RealisticVision.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_2_animate_FilmVelvia.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_3_animate_ToonYou.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_4_animate_MajicMix.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_5_animate_RcnzCartoon.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_6_animate_Lyriel.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_7_animate_Tusun.yaml

2.2 使用 MotionLoRA 控制生成动画

python -m scripts.animate --config configs/prompts/2_motionlora/2_motionlora_RealisticVision.yaml

2.3 通过 SparseCtrl RGB 和草图获得更多控制

python -m scripts.animate --config configs/prompts/3_sparsectrl/3_1_sparsectrl_i2v.yaml
python -m scripts.animate --config configs/prompts/3_sparsectrl/3_2_sparsectrl_rgb_RealisticVision.yaml
python -m scripts.animate --config configs/prompts/3_sparsectrl/3_3_sparsectrl_sketch_RealisticVision.yaml

2.4 Gradio 应用程序

我们创建了一个 Gradio 演示，使 AnimateDiff 更易于使用。默认情况下，该演示将在 localhost:7860 上运行。

python -u app.py

技术说明

技术说明

AnimateDiff

**AnimateDiff 的目标是学习可迁移的运动先验，这些先验可以应用于 Stable Diffusion 系列的其他变体。**为此，我们设计了由三个阶段组成的训练流程。

• 在 1. 减轻负面影响 阶段，我们训练 领域适配器，例如 v3_sd15_adapter.ckpt，以适应训练数据集中存在的视觉瑕疵（如水印）。这也有助于分离运动与空间外观的学习。默认情况下，适配器可以在推理时移除。它也可以集成到模型中，并通过 LoRA 缩放器调整其效果。

• 在 2. 学习运动先验 阶段，我们训练 运动模块，例如 v3_sd15_mm.ckpt，以从视频中学习真实世界的运动模式。

• 在 3. （可选）适应新模式 阶段，我们训练 MotionLoRA，例如 v2_lora_ZoomIn.ckpt，以高效地使运动模块适应特定的运动模式（如镜头拉近、滚动等）。

SparseCtrl

SparseCtrl 的目标是通过采用一些稀疏输入（如少量 RGB 图像或草图输入）来为文生视频模型增加更多控制。 其技术细节可在以下论文中找到：

SparseCtrl：为文生视频扩散模型添加稀疏控制
Yuwei Guo、 Ceyuan Yang✝、 Anyi Rao、 Maneesh Agrawala、 Dahua Lin、 Bo Dai
(✝通讯作者)

模型版本

模型版本

AnimateDiff v3 和 SparseCtrl（2023.12）

在这一版本中，我们使用领域适配器 LoRA 对图像模型进行微调，这在推理时提供了更高的灵活性。我们还实现了两种（RGB 图像/涂鸦）SparseCtrl 编码器，它们可以接受任意数量的条件图来控制动画的内容。

AnimateDiff v3 模型库

名称	HuggingFace	类型	存储空间	描述
v3_adapter_sd_v15.ckpt	链接	领域适配器	97.4 MB
v3_sd15_mm.ckpt.ckpt	链接	运动模块	1.56 GB
v3_sd15_sparsectrl_scribble.ckpt	链接	SparseCtrl 编码器	1.86 GB	涂鸦条件
v3_sd15_sparsectrl_rgb.ckpt	链接	SparseCtrl 编码器	1.85 GB	RGB 图像条件

局限性

1. 细小的抖动较为明显；
2. 为了保持与社区模型的兼容性，针对通用的 T2V 并没有进行专门优化，因此在这种设置下的视觉质量有限；
3. （风格对齐）对于图像动画/插值等用途，建议使用由同一社区模型生成的图像。

示例

输入（由 RealisticVision 提供）	动画	输入	动画

输入涂鸦	输出	输入涂鸦	输出

AnimateDiff SDXL-Beta（2023.11）

我们在 SDXL 上发布了运动模块（beta 版本），可通过以下途径获取：Google Drive / HuggingFace / CivitAI。无论是有无个性化模型，都可以生成高分辨率视频（例如 1024×1024、16 帧，支持多种长宽比）。推理通常需要约 13GB 显存，并且需要调整超参数（如采样步数），具体取决于所选的个性化模型。更多关于推理的细节，请查看 sdxl 分支。

AnimateDiff SDXL-Beta 模型库

名称	HuggingFace	类型	存储空间
mm_sdxl_v10_beta.ckpt	链接	运动模块	950 MB

示例

原始 SDXL	社区 SDXL	社区 SDXL

AnimateDiff v2（2023年9月）

在这一版本中，运动模块 mm_sd_v15_v2.ckpt（Google Drive / HuggingFace / CivitAI）是在更高分辨率和更大批量下训练得到的。 我们发现，这种规模化的训练显著提升了运动质量和多样性。

此外，我们还支持八种基础相机运动的 MotionLoRA。每个 MotionLoRA 检查点仅占用 77 MB 存储空间，可在 Google Drive / HuggingFace / CivitAI 上获取。

AnimateDiff v2 模型库

名称	HuggingFace	类型	参数量	存储空间
mm_sd_v15_v2.ckpt	链接	运动模块	453 M	1.7 GB
v2_lora_ZoomIn.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_ZoomOut.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_PanLeft.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_PanRight.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_TiltUp.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_TiltDown.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_RollingClockwise.ckpt	链接	MotionLoRA	19 M	74 MB
v2_lora_RollingAnticlockwise.ckpt	链接	MotionLoRA	19 M	74 MB

示例（MotionLoRA）

变焦拉近		变焦推远		向左平移变焦		向右平移变焦
仰角提升		俯角下降		逆时针旋转		顺时针旋转

示例（改进后的运动效果）

以下是 mm_sd_v15.ckpt（左）与改进后的 mm_sd_v15_v2.ckpt（右）的对比。

AnimateDiff v1（2023年7月）

AnimateDiff 的首个版本！

AnimateDiff v1 模型库

名称	HuggingFace	参数量	存储空间
mm_sd_v14.ckpt	链接	417 M	1.6 GB
mm_sd_v15.ckpt	链接	417 M	1.6 GB

训练

详细信息请参阅 训练步骤。

相关资源

适用于 Stable Diffusion WebUI 的 AnimateDiff：sd-webui-animatediff（由 @continue-revolution 提供）
适用于 ComfyUI 的 AnimateDiff：ComfyUI-AnimateDiff-Evolved（由 @Kosinkadink 提供）
Google Colab：Colab（由 @camenduru 提供）

免责声明

本项目仅供学术研究使用。 我们对用户生成的内容不承担任何责任。 此外，请注意，我们的官方网站仅为 https://github.com/guoyww/AnimateDiff 和 https://animatediff.github.io，其他所有网站均与 AnimateDiff 无关。

联系我们

郭宇伟：guoyw@ie.cuhk.edu.hk
杨策源：limbo0066@gmail.com
戴博：doubledaibo@gmail.com

BibTeX

@article{guo2023animatediff,
  title={AnimateDiff：无需特定微调即可动画化您的个性化文生图扩散模型},
  author={郭宇伟和杨策源和饶安怡和梁正阳和王耀辉和乔宇和阿格拉瓦拉·马尼什和林大华和戴博},
  journal={国际表示学习会议},
  year={2024}
}

@article{guo2023sparsectrl,
  title={SparseCtrl：为文生视频扩散模型添加稀疏控制},
  author={郭宇伟和杨策源和饶安怡和阿格拉瓦拉·马尼什和林大华和戴博},
  journal={arXiv预印本 arXiv:2311.16933},
  year={2023}
}

致谢

代码库基于 Tune-a-Video 构建。

AnimateDiff 快速上手指南

AnimateDiff 是一个即插即用模块，可将大多数社区版的文本生成图像（Text-to-Image）模型转化为动画生成器，无需额外训练即可让静态模型“动”起来。本项目官方支持 Stable Diffusion V1.5，SDXL 版本请参考 sdxl-beta 分支。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU，显存建议 8GB 以上（运行高分辨率或复杂控制需更多显存）
• 依赖管理: 已安装 git 和 pip

国内开发者提示：为避免下载依赖包超时，建议在安装前配置国内镜像源（如清华源或阿里源）。

2. 安装步骤

2.1 克隆仓库

首先从 GitHub 克隆项目代码：

git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff

2.2 安装依赖

使用 pip 安装所需依赖。国内用户推荐使用以下命令加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：首次运行脚本时，程序会自动下载所需的模型检查点（Checkpoints），这可能需要一些时间，请耐心等待。

3. 基本使用

安装完成后，您可以通过命令行脚本或 Gradio 界面生成动画。生成的样本默认保存在 samples/ 文件夹中。

3.1 命令行生成动画（推荐）

以下是使用不同社区模型生成动画的最简示例。脚本会自动处理模型下载。

生成写实风格动画 (Realistic Vision):

python -m scripts.animate --config configs/prompts/1_animate/1_1_animate_RealisticVision.yaml

生成卡通风格动画 (ToonYou):

python -m scripts.animate --config configs/prompts/1_animate/1_3_animate_ToonYou.yaml

其他预设模型: 项目内置了多种风格配置，可直接替换配置文件运行：

# FilmVelvia, MajicMix, RcnzCartoon, Lyriel, Tusun 等
python -m scripts.animate --config configs/prompts/1_animate/1_2_animate_FilmVelvia.yaml

3.2 进阶控制 (可选)

如果您需要更精细的运动控制或图像引导，可以使用以下功能：

• MotionLoRA 控制镜头运动 (如推拉镜头):

  python -m scripts.animate --config configs/prompts/2_motionlora/2_motionlora_RealisticVision.yaml
  

• SparseCtrl 稀疏控制 (使用参考图或草图控制内容):

  # 图生视频 (Image-to-Video)
  python -m scripts.animate --config configs/prompts/3_sparsectrl/3_1_sparsectrl_i2v.yaml
  
  # 使用草图控制
  python -m scripts.animate --config configs/prompts/3_sparsectrl/3_3_sparsectrl_sketch_RealisticVision.yaml
  

3.3 使用 Gradio 可视化界面

为了方便调试和预览，项目提供了一个本地 Web 界面：

python -u app.py

运行后，在浏览器中访问 http://localhost:7860 即可通过图形化界面调整参数并生成动画。

---

提示：对于图像动画或插值任务，为了保持风格一致性，建议使用由同一个社区模型生成的图片作为输入。