**🤗为什么选择Cache-DiT❓❓**Cache-DiT基于🤗Diffusers库构建，现已支持Diffusers中的几乎所有DiT模型。它提供了混合缓存加速（DBCache、TaylorSeer、SCM等）以及全面的并行化优化功能，包括上下文并行、张量并行、混合2D或3D并行，同时还为文本编码器、VAE和ControlNet等模块提供了专门的额外并行化支持。

Cache-DiT兼容编译、CPU卸载和量化技术，可与SGLang Diffusion、vLLM-Omni、ComfyUI等无缝集成，并且能够在NVIDIA GPU、Ascend NPU及AMD GPU上原生运行。Cache-DiT具有速度快、易用性强和灵活性高的特点，适用于各类DiT模型（详细文档请参阅📘readthedocs.io）。

首先，您可以通过PyPI安装cache-dit，或者从源码安装：

uv pip install -U cache-dit # 或者 uv pip install git+https://github.com/vipshop/cache-dit.git

随后，只需使用**♥️一行代码♥️**即可加速您的DiT模型~

>>> import cache_dit
>>> from diffusers import DiffusionPipeline
>>> pipe = DiffusionPipeline.from_pretrained(...).to("cuda")
>>> cache_dit.enable_cache(pipe) # 仅需一行代码即可启用缓存加速。
>>> from cache_dit import DBCacheConfig, ParallelismConfig
>>> cache_dit.enable_cache( # 混合缓存加速 + 并行化。
...   pipe, cache_config=DBCacheConfig(), # 使用默认配置
...   parallelism_config=ParallelismConfig(ulysses_size=2))
>>> from cache_dit import DBCacheConfig、ParallelismConfig、QuantizeConfig
>>> cache_dit.enable_cache( # 混合缓存 + 并行化 + 量化。
...   pipe, cache_config=DBCacheConfig(), # 使用默认配置
...   parallelism_config=ParallelismConfig(ulysses_size=2),
...   quantize_config=QuantizeConfig(quant_type="float8_per_row"))
>>> output = pipe(...) # 接下来，像往常一样调用管道即可。

首先，从源码构建支持SVDQuant的Cache-DiT（实验性功能）：

git clone https://github.com/vipshop/cache-dit.git && cd cache-dit
CACHE_DIT_BUILD_SVDQUANT=1 uv pip install -e ".[quantization]" --no-build-isolation

然后，只需使用**♥️几行代码♥️**即可对您的模型进行量化~

>>> from cache_dit import QuantizeConfig
>>> pipe = DiffusionPipeline.from_pretrained(...).to("cuda")
>>> # 0. 定义PTQ的校准函数。
>>> def calibrate_fn(**_: object) -> None:
...   with torch.inference_mode():
...     for prompt in calibration_prompts:
...       _ = pipe(prompt=prompt, ...)
>>> # 1. 构建用于SVDQuant PTQ的QuantizeConfig。
>>> quant_config = QuantizeConfig(
...   quant_type="svdq_int4_r32", # _r{rank}, 例如 r16、r32、r64、r128等
...   calibrate_fn=calibrate_fn,
...   serialize_to=..., 
... )
>>> # 2. 使用`cache_dit.quantize(...)` API应用量化。
>>> pipe.transformer = cache_dit.quantize(pipe.transformer, quant_config) 
>>> output = pipe(...) # 3. 使用量化后的模型进行推理。

如需了解更多高级功能，请参阅我们的在线文档📘Documentation。

🌐社区集成

• 🎉ComfyUI x Cache-DiT
• 🎉(Intel) llm-scaler x Cache-DiT
• 🎉Diffusers x Cache-DiT
• 🎉SGLang Diffusion x Cache-DiT
• 🎉vLLM-Omni x Cache-DiT
• 🎉Nunchaku x Cache-DiT
• 🎉SD.Next x Cache-DiT
• 🎉stable-diffusion.cpp x Cache-DiT
• 🎉jetson-containers x Cache-DiT

©️致谢

特别感谢VIPSHOP计算机视觉AI团队对本项目测试与部署的支持。我们借鉴并复用了以下项目的代码：Diffusers、SGLang、vLLM-Omni、Nunchaku、xDiT以及TaylorSeer。

©️引用

@misc{cache-dit@2025,
  title={Cache-DiT：一种原生支持缓存、并行化和量化技术的 PyTorch 推理引擎，专为扩散 Transformer 设计。},
  url={https://github.com/vipshop/cache-dit.git},
  note={开源软件可在 https://github.com/vipshop/cache-dit.git 获取},
  author={DefTruth, vipshop.com 等},
  year={2025}
}

Cache-DiT 快速上手指南

Cache-DiT 是一个基于 PyTorch 原生构建的推理引擎，专为扩散 Transformer（DiT）模型设计。它集成了混合缓存加速、并行计算优化及量化技术，能够显著提升生成速度（最高可达 9 倍），并兼容 NVIDIA GPU、昇腾 NPU 及 AMD GPU。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.8 - 3.11
• 核心依赖:
  • PyTorch (需安装与硬件匹配的 CUDA/ROCm 版本)
  • Diffusers 库
• 硬件要求:
  • NVIDIA GPU (支持 Ampere 架构及以上以获得最佳编译加速效果)
  • 或 昇腾 NPU / AMD GPU

提示: 请确保已正确安装显卡驱动及对应的 CUDA Toolkit。

安装步骤

推荐使用 uv 进行快速安装（若未安装 uv，可使用 pip 替代）。

方式一：从 PyPI 安装（推荐）

uv pip install -U cache-dit
# 或者使用 pip
pip install -U cache-dit

方式二：从源码安装（含实验性功能）

如需使用 SVDQuant (W4A4) 等实验性量化功能，请从源码构建：

git clone https://github.com/vipshop/cache-dit.git && cd cache-dit
CACHE_DIT_BUILD_SVDQUANT=1 uv pip install -e ".[quantization]" --no-build-isolation

基本使用

Cache-DiT 的核心优势在于极简的接入方式。只需在现有的 Diffusers 流程中增加一行代码即可启用缓存加速。

1. 单行代码启用缓存加速

这是最简单的用法，适用于大多数 DiT 模型（如 Flux, SD3 等）。

>>> import cache_dit
>>> from diffusers import DiffusionPipeline
>>> # 加载模型
>>> pipe = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-dev").to("cuda")
>>> # 启用缓存加速 (仅需一行)
>>> cache_dit.enable_cache(pipe) 
>>> # 正常推理
>>> output = pipe(prompt="A cute cat", num_inference_steps=25)

2. 进阶：混合加速（缓存 + 并行 + 量化）

如需进一步挖掘性能，可组合使用上下文并行（Context Parallelism）和量化技术。

>>> import cache_dit
>>> from diffusers import DiffusionPipeline
>>> from cache_dit import DBCacheConfig, ParallelismConfig, QuantizeConfig

>>> pipe = DiffusionPipeline.from_pretrained(...).to("cuda")

>>> # 配置混合加速策略
>>> cache_dit.enable_cache(
...   pipe, 
...   cache_config=DBCacheConfig(), # 启用默认缓存策略 (如 DBCache)
...   parallelism_config=ParallelismConfig(ulysses_size=2), # 启用 Ulysses 上下文并行
...   quantize_config=QuantizeConfig(quant_type="float8_per_row") # 启用 Float8 量化
... )

>>> # 执行推理，无需更改后续调用方式
>>> output = pipe(...)

3. SVDQuant (W4A4) 量化工作流

针对极低比特量化需求，可使用以下流程进行后训练量化（PTQ）：

>>> from cache_dit import QuantizeConfig
>>> pipe = DiffusionPipeline.from_pretrained(...).to("cuda")

>>> # 0. 定义校准函数
>>> def calibrate_fn(**_: object) -> None:
...   with torch.inference_mode():
...     for prompt in calibration_prompts:
...       _ = pipe(prompt=prompt, ...)

>>> # 1. 配置 SVDQuant 参数
>>> quant_config = QuantizeConfig(
...   quant_type="svdq_int4_r32", # 指定量化类型及秩，如 r16, r32, r64
...   calibrate_fn=calibrate_fn,
...   serialize_to="quantized_model.safetensors", 
... )

>>> # 2. 应用量化
>>> pipe.transformer = cache_dit.quantize(pipe.transformer, quant_config) 

>>> # 3. 使用量化后的模型推理
>>> output = pipe(...)

更多高级特性（如 ComfyUI 集成、多卡分布式训练细节）请参考官方文档：Cache-DiT Documentation。