FreeInit：弥合视频扩散模型中的初始化差距

本仓库包含以下论文的实现：

FreeInit：弥合视频扩散模型中的初始化差距
Tianxing Wu、Chenyang Si、Yuming Jiang、Ziqi Huang、Ziwei Liu

来自南洋理工大学 S-Lab 旗下的 MMLab@NTU

:open_book: 概述

我们提出了 FreeInit，这是一种简洁而有效的方法，用于提升扩散模型生成视频的时间一致性。FreeInit无需额外训练，也不引入任何可学习参数，可以轻松地在推理时集成到任意视频扩散模型中。

:fire: 更新

• [2024年1月] FreeInit已集成到 Diffusers 和 ComfyUI-AnimateDiff-Evolved 中。非常感谢 @a-r-r-o-w、@DN6 和 @Kosinkadink!
• [2023年12月] 我们在 Hugging Face🤗 上发布了演示！欢迎体验：[演示链接]。
• [2023年12月] Arxiv论文 已发布。
• [2023年12月] 代码已公开。
• [2023年12月] 项目主页 和 视频 已上线。

:page_with_curl: 使用方法

在本仓库中，我们以 AnimateDiff 为例，展示如何将 FreeInit 集成到现有的文本到视频推理流程中。

在 pipeline_animation.py 中，我们定义了一个继承自 AnimationPipeline 的类 AnimationFreeInitPipeline，展示了如何修改原始管道。

在 freeinit_utils.py 中，我们提供了用于噪声重新初始化的频率滤波代码。

一个示例推理脚本位于 animate_with_freeinit.py。

请参考上述脚本，在将 FreeInit 集成到其他视频扩散模型时作为参考。

:hammer: 快速开始

1. 克隆仓库

git clone https://github.com/TianxingWu/FreeInit.git
cd FreeInit
cd examples/AnimateDiff

2. 准备环境

conda env create -f environment.yaml
conda activate animatediff

3. 下载检查点

请参考 AnimateDiff 的 官方仓库。设置指南列于 这里。

4. 使用 FreeInit 进行推理

下载基础模型、运动模块和个人化 T2I 检查点后，运行以下命令以使用 FreeInit 生成动画。生成结果将保存到 outputs 文件夹。

python -m scripts.animate_with_freeinit \
    --config "configs/prompts/freeinit_examples/RealisticVision_v2.yaml" \
    --num_iters 5 \
    --save_intermediate \
    --use_fp16

其中 num_iters 是 FreeInit 的迭代次数。我们建议使用 3–5 次迭代，以在质量和效率之间取得平衡。为了加快推理速度，可以启用 use_fast_sampling 参数，使用“粗细采样”策略，但这可能会导致效果稍差。

您可以更改配置文件中的文本提示。要调整频率滤波器参数以获得更好的效果，请更改配置文件中的 filter_params 设置。默认设置为 'butterworth' 滤波器，参数为 n=4, d_s=d_t=0.25。对于时间不一致性较大的基础模型，请考虑使用 'guassian' 滤波器。

还提供了更多带有不同运动模块/个性化 T2I 设置的 .yaml 文件，供测试使用。

🤗 Gradio 演示

我们还提供了一个 Gradio 演示，通过用户界面展示我们的方法。运行以下命令即可启动演示。欢迎您随意调整参数以提高生成质量。

python app.py

或者，您也可以尝试 Hugging Face 上的在线演示：[演示链接]。

:framed_picture: 生成结果

请参阅我们的 项目主页 以获取更多可视化对比。

:four_leaf_clover: 社区贡献

• 集成到 ComfyUI 扩展：ComfyUI-AnimateDiff-Evolved（由 @Kosinkadink 提供）
• 集成到 Hugging Face Diffusers：Diffusers（由 @a-r-r-o-w 和 @DN6 提供）
• Google Colab：FreeInit-colab（由 @camenduru 提供）

:fountain_pen: 引用

如果您觉得我们的仓库对您的研究有所帮助，请考虑引用我们的论文：

@article{wu2023freeinit,
     title={FreeInit: Bridging Initialization Gap in Video Diffusion Models},
     author={Wu, Tianxing and Si, Chenyang and Jiang, Yuming and Huang, Ziqi and Liu, Ziwei},
     journal={arXiv preprint arXiv:2312.07537},
     year={2023}

:white_heart: 致谢

本项目采用 MIT 许可证发布。更多信息请参阅 LICENSE 文件。

示例代码基于 AnimateDiff 构建。感谢团队的出色工作！

FreeInit 快速上手指南

FreeInit 是一种无需额外训练即可提升视频扩散模型（如 AnimateDiff）时间一致性的方法。它通过推理时的噪声重初始化策略，有效减少视频闪烁和抖动。

1. 环境准备

• 系统要求: Linux / macOS (Windows 需使用 WSL2 或兼容环境)
• 硬件要求: 推荐 NVIDIA GPU (显存建议 8GB 以上，取决于生成的视频分辨率)
• 前置依赖:
  • Python 3.8+
  • Conda (推荐用于环境管理)
  • Git

注意：本项目基于 AnimateDiff 构建，使用前请确保已准备好 AnimateDiff 所需的底模、运动模块（Motion Module）及个性化 T2I 检查点。

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/TianxingWu/FreeInit.git
cd FreeInit
cd examples/AnimateDiff

2.2 创建并激活虚拟环境

使用项目提供的配置文件一键安装依赖：

conda env create -f environment.yaml
conda activate animatediff

2.3 下载模型检查点

请参考 AnimateDiff 官方仓库 下载以下文件并放置到对应目录：

• Base Model (底模)
• Motion Module (运动模块)
• Personalized T2I Checkpoints (个性化模型)

具体配置路径可参考 AnimateDiff 的 设置指南。

3. 基本使用

3.1 命令行推理

运行以下命令生成视频，结果将保存在 outputs 文件夹中：

python -m scripts.animate_with_freeinit \
    --config "configs/prompts/freeinit_examples/RealisticVision_v2.yaml" \
    --num_iters 5 \
    --save_intermediate \
    --use_fp16

参数说明：

• --num_iters: FreeInit 迭代次数。推荐设置为 3-5 以平衡质量与效率。
• --use_fp16: 启用半精度推理以节省显存并加速。
• --config: 指定提示词和滤波器配置的 YAML 文件。你可以修改该文件中的文本提示词 (prompt)。
• 滤波器调整: 若底模时间不一致性较大，可在 config 文件中将 filter_params 改为 'gaussian'；默认使用 'butterworth' (n=4, d_s=d_t=0.25)。

加速选项: 如需更快推理，可添加 --use_fast_sampling 参数启用“由粗到细”采样策略，但可能会略微降低生成质量。

3.2 启动本地 Gradio 演示界面

如果你更喜欢图形化界面操作，可以运行：

python app.py

启动后在浏览器访问本地地址，即可实时调整参数并预览生成效果。

或者直接体验在线 Demo：Hugging Face Spaces