【CVPR 2025 精选】时间步嵌入揭示：是时候为视频扩散模型启用缓存了

🫖 引言

我们提出了时间步嵌入感知缓存（TeaCache），这是一种无需训练的缓存方法，通过估计并利用模型输出在不同时间步之间的波动差异，从而加速推理过程。TeaCache适用于视频扩散模型、图像扩散模型和音频扩散模型。更多细节和实验结果，请访问我们的项目页面。

🔥 最新消息

• 如果您喜欢我们的项目，请在 GitHub 上为我们点亮一颗星 ⭐，以获取最新动态。
• [2025/06/08] 🔥 更新了【Lumina-Image-2.0】的系数。感谢 @spawner1145。
• [2025/05/26] 🔥 支持【Lumina-Image-2.0】。感谢 @spawner1145。
• [2025/05/25] 🔥 支持【HiDream-I1】。感谢 @YunjieYu。
• [2025/04/14] 🔥 更新了【CogVideoX1.5】的系数。感谢 @zishen-ucap。
• [2025/04/05] 🎉 被推荐为 CVPR 2025 的亮点，在所有接受论文中排名前 3.7%，在入选论文中排名前 16.8%。
• [2025/03/13] 🔥 针对【Wan2.1】优化了 TeaCache。感谢 @zishen-ucap。
• [2025/03/05] 🔥 同时支持【Wan2.1】的 T2V 和 I2V 模式。
• [2025/02/27] 🎉 被CVPR 2025正式接收。
• [2025/01/24] 🔥 同时支持【Cosmos】的 T2V 和 I2V 模式。感谢 @zishen-ucap。
• [2025/01/20] 🔥 同时支持【CogVideoX1.5-5B】的 T2V 和 I2V 模式。感谢 @zishen-ucap。
• [2025/01/07] 🔥 支持【TangoFlux】。TeaCache在音频扩散模型上同样表现出色！
• [2024/12/30] 🔥 支持【Mochi】和【LTX-Video】用于视频扩散模型；同时支持【Lumina-T2X】用于图像扩散模型。
• [2024/12/27] 🔥 支持【FLUX】。TeaCache在图像扩散模型上表现优异！
• [2024/12/26] 🔥 支持【ConsisID】。感谢 @SHYuanBest。
• [2024/12/24] 🔥 支持【HunyuanVideo】。
• [2024/12/19] 🔥 支持【CogVideoX】。
• [2024/12/06] 🎉 发布了 TeaCache 的【代码】，支持【Open-Sora】、【Open-Sora-Plan】和【Latte】。
• [2024/11/28] 🎉 发布了 TeaCache 的【论文】，发表于 arXiv。

🧩 社区贡献

如果您在项目中开发或使用了 TeaCache，并希望让更多人了解它，请告知我们。（liufeng20@mails.ucas.ac.cn）

模型

• FramePack 支持 TeaCache。感谢 @lllyasviel。
• FastVideo 支持 TeaCache。感谢 @BrianChen1129 和 @jzhang38。
• EasyAnimate 支持 TeaCache。感谢 @hkunzhe 和 @bubbliiiing。
• Ruyi-Models 支持 TeaCache。感谢 @cellzero。
• ConsisID 支持 TeaCache。感谢 @SHYuanBest。

ComfyUI

• ComfyUI-TeaCache 用于 TeaCache。感谢 @YunjieYu。
• ComfyUI-WanVideoWrapper 支持 TeaCache4Wan2.1。感谢 @kijai。
• ComfyUI-TangoFlux 支持 TeaCache。感谢 @LucipherDev。
• ComfyUI_Patches_ll 支持 TeaCache。感谢 @lldacing。
• Comfyui_TTP_Toolset 支持 TeaCache。感谢 @TTPlanetPig。
• ComfyUI-TeaCacheHunyuanVideo 用于 TeaCache4HunyuanVideo。感谢 @facok。
• ComfyUI-HunyuanVideoWrapper 支持 TeaCache4HunyuanVideo。感谢 @kijai、ctf05 和 DarioFT。

并行化

• Teacache-xDiT 用于多 GPU 推理。感谢 @MingXiangL。

引擎

• SD.Next 支持 TeaCache。感谢 @vladmandic。
• DiffSynth Studio 支持 TeaCache。感谢 @Artiprocher。

🎉 支持的模型

文本到视频

• TeaCache4Wan2.1
• TeaCache4Cosmos
• TeaCache4CogVideoX1.5
• TeaCache4LTX-Video
• TeaCache4Mochi
• TeaCache4HunyuanVideo
• TeaCache4CogVideoX
• TeaCache4Open-Sora
• TeaCache4Open-Sora-Plan
• TeaCache4Latte

图像到视频

• TeaCache4Wan2.1
• TeaCache4Cosmos
• TeaCache4CogVideoX1.5
• TeaCache4ConsisID

文本到图像

• TeaCache4Lumina2
• TeaCache4HiDream-I1
• TeaCache4FLUX
• TeaCache4Lumina-T2X

文本到音频

• TeaCache4TangoFlux

🤖 其他模型的支持说明

• 欢迎提交 PR 来支持其他模型。
• 如果自定义模型基于我们已支持的模型，或者具有相似的模型结构，您可以尝试直接将 TeaCache 应用到该自定义模型上。例如，CogVideoX-5B 的缩放系数可以直接应用于 CogVideoX1.5 和 ConsisID；FLUX 的缩放系数也可以直接应用于 TangoFlux。
• 否则，您可以参考以下成功案例：1、2。

💐 致谢

本仓库基于 VideoSys、Diffusers、Open-Sora、Open-Sora-Plan、Latte、CogVideoX、HunyuanVideo、ConsisID、FLUX、Mochi、LTX-Video、Lumina-T2X、TangoFlux、Cosmos、Wan2.1、HiDream-I1 以及 Lumina-Image-2.0 构建。感谢他们的贡献！

🔒 许可证

• 本项目的大部分内容采用 Apache 2.0 许可证，详见 LICENSE 文件。
• 对于 VideoSys、Diffusers、Open-Sora、Open-Sora-Plan、Latte、CogVideoX、HunyuanVideo、ConsisID、FLUX、Mochi、LTX-Video、Lumina-T2X、TangoFlux、Cosmos、Wan2.1、HiDream-I1 以及 Lumina-Image-2.0，请遵循其各自的许可证。
• 本服务为研究预览版。如发现任何潜在违规行为，请联系我们。（liufeng20@mails.ucas.ac.cn）

📖 引用

如果您在研究或应用中发现 TeaCache 非常有用，请考虑为我们点亮一颗星 ⭐，并使用以下 BibTeX 条目引用：

@article{liu2024timestep,
  title={时间步嵌入揭示：是时候为视频扩散模型缓存了},
  author={刘峰、张世伟、王晓峰、魏宇杰、邱浩楠、赵宇中、张英亚、叶启祥、万芳},
  journal={arXiv 预印本 arXiv:2411.19108},
  year={2024}
}

TeaCache 快速上手指南

TeaCache 是一种无需训练的缓存加速方法，通过分析扩散模型在不同时间步（Timestep）的输出波动，显著加速视频、图像及音频扩散模型的推理过程。该方案已被 CVPR 2025 收录为 Highlight 论文。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（显存需求取决于具体使用的底模，如 Wan2.1, CogVideoX, FLUX 等）
• 前置依赖:
  • PyTorch (建议 2.0+)
  • Diffusers (建议最新版)
  • Transformers
  • Accelerate

提示：建议使用 conda 创建独立的虚拟环境以避免依赖冲突。

安装步骤

1. 克隆项目代码

git clone https://github.com/LiewFeng/TeaCache.git
cd TeaCache

2. 安装依赖

项目依赖具体的底模框架。您可以选择安装基础依赖，或根据您打算使用的模型安装特定子模块的依赖。

通用基础安装：

pip install -r requirements.txt

针对特定模型的集成示例（以 Wan2.1 为例）：

如果官方 requirements.txt 未覆盖所有最新模型依赖，请参考对应子目录（如 TeaCache4Wan2.1）的说明。通常只需确保已安装对应的底模库（如 wan-video 或 diffusers 最新版本）。

# 示例：更新 diffusers 以支持最新模型
pip install --upgrade diffusers transformers accelerate torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

国内加速建议： 若下载依赖较慢，可使用清华或阿里镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

TeaCache 的核心在于通过修改推理循环中的缓存机制来加速生成。不同模型的集成方式略有差异，但核心逻辑一致：计算时间步嵌入的差异，动态跳过冗余计算。

以下以通用的 Diffusers 框架（适用于 FLUX, Stable Video Diffusion 等）为例，展示如何启用 TeaCache。

代码示例

假设您正在使用 diffusers 加载一个文生图或文生视频管道：

import torch
from diffusers import AutoPipelineForText2Image # 或其他具体 Pipeline
# 引入 TeaCache 相关工具函数 (路径需根据实际项目结构调整，通常在 eval/teacache 或特定模型目录下)
# 此处假设已按照官方文档将 teacache 逻辑集成到 pipeline 或作为 wrapper 使用

# 1. 加载模型
pipeline = AutoPipelineForText2Image.from_pretrained(
    "black-forest-labs/FLUX.1-dev", 
    torch_dtype=torch.bfloat16
).to("cuda")

# 2. 配置 TeaCache 参数
# rel_thresh: 相对阈值，控制缓存力度。值越大速度越快，但可能轻微影响质量。
# 不同模型推荐的 rel_thresh 不同，例如 FLUX 常用 0.04-0.06，CogVideoX 常用 0.09
rel_thresh = 0.05 

# 3. 启用 TeaCache (伪代码示意，具体调用请参考各模型子目录下的 run 脚本)
# 大多数集成方案需要在 pipeline 调用前注册 hook 或替换 forward 方法
# 以下是基于官方实现逻辑的典型调用模式：

def enable_teacache(pipe, threshold):
    # 这里内部会修改 UNet/DiT 的 forward 逻辑，利用 timestep embedding 判断是否复用上一帧特征
    pipe.teacache_threshold = threshold
    # 具体实现需参考 TeaCache4FLUX 或 TeaCache4Wan2.1 中的 patch 代码
    # 例如：apply_teacache_to_model(pipe.unet, threshold)
    pass

# 应用加速 (请以具体模型文件夹下的 README 为准进行微调)
# enable_teacache(pipeline, rel_thresh) 

# 4. 执行推理
prompt = "A cinematic shot of a futuristic city with flying cars"
image = pipeline(
    prompt=prompt,
    num_inference_steps=50, # 步数越多，TeaCache 加速效果越明显
    generator=torch.Generator("cuda").manual_seed(42)
).images[0]

image.save("output.png")

针对不同模型的快速入口

由于不同架构（DiT, U-Net）集成方式不同，强烈建议直接运行官方提供的示例脚本：

• 文生视频 (Wan2.1):

  cd TeaCache4Wan2.1
  python sample.py --prompt "Your prompt here" --rel_thresh 0.09
  

• 文生图 (FLUX):

  cd TeaCache4FLUX
  python sample.py --prompt "Your prompt here" --rel_thresh 0.05
  

• 文生视频 (CogVideoX):

  cd TeaCache4CogVideoX1.5
  python sample.py --prompt "Your prompt here"
  

注意：rel_thresh 是关键超参数。

• 较小值 (如 0.03): 画质保留最好，加速比适中。
• 较大值 (如 0.10): 推理速度极快，但在复杂运动场景可能出现伪影。 请参照各模型子目录 README 中推荐的默认系数。