潜在一致性模型 (Latent Consistency Models)

论文官方仓库：潜在一致性模型：使用少步推理合成高分辨率图像。

论文官方仓库：LCM-LoRA：一种通用的 Stable-Diffusion 加速模块。

项目页面：https://latent-consistency-models.github.io

尝试我们的演示：

🤗 Hugging Face 演示： 🔥🔥🔥

Replicate 演示：

OpenXLab 演示：

LCM 社区：加入我们的 LCM Discord 频道 进行讨论。欢迎开发者贡献代码。

重磅新闻 🔥🔥!!

• (🤖New) 2023/12/1 Pixart-α X LCM 已发布，这是一个高质量图像生成模型。请见 此处。
• (❤️New) 2023/11/10 训练脚本 已发布！！请查看 此处。
• (🤯New) 2023/11/10 无需训练的加速版 LCM-LoRA 诞生了！请查看我们的技术报告 此处 和 Hugging Face 博客 此处。(注：LoRA 即 Low-Rank Adaptation)
• (⚡️New) 2023/11/10 LCM 迎来重大更新！我们发布了 3 个 LCM-LoRA (SD-XL, SSD-1B, SD-V1.5)，请见 此处。
• (🚀New) 2023/11/10 LCM 迎来重大更新！我们发布了 2 个全参数微调的 LCM (SD-XL, SSD-1B)，请见 此处。

新闻

• (🔥New) 2023/11/10 我们现在支持使用 C# 和 ONNX Runtime 进行 LCM 推理！感谢 @saddam213! 请查看链接 此处。
• (🔥New) 2023/11/01 实时潜在一致性模型 (Real-Time Latent Consistency Models) 已发布！！Github 链接 此处。感谢 @radames 提供的非常酷的 Huggingface🤗 演示 实时图像到图像，实时文生图。Twitter/X 链接。
• (🔥New) 2023/10/28 我们支持 LCM 的 Img2Img (图像到图像)！请参阅"🔥 图像到图像演示”。
• (🔥New) 2023/10/25 我们在 🧨 Diffusers 库中现在有了官方的 LCM Pipeline (管道) 和 LCM Scheduler (调度器)！请查看新的“使用方法”。
• (🔥New) 2023/10/24 简单的 Streamlit UI 用于本地使用：请见 链接。感谢 @akx。
• (🔥New) 2023/10/24 我们现在支持 SD-Webui 和 ComfyUI！！感谢 @0xbitches。请查看链接：SD-Webui 和 ComfyUI。
• (🔥New) 2023/10/23 也支持在 Windows/Linux CPU 上运行！感谢 @rupeshs 请见 链接。
• (🔥New) 2023/10/22 现在支持 Google Colab。感谢 @camenduru 请查看链接：Colab
• (🔥New) 2023/10/21 我们现在支持 本地 gradio 演示。LCM 可以在本地运行！！请参阅"本地 gradio 演示"。
• (🔥New) 2023/10/19 我们在 🤗 Hugging Face Space 中提供了 LCM 的演示。在此尝试 此处。
• (🔥New) 2023/10/19 我们在 🤗 Hugging Face 上提供了 LCM 模型 (Dreamshaper_v7)。下载 此处。
• (🔥New) 2023/10/19 LCM 已集成到 🧨 Diffusers 库中。请参考“使用方法”。

🔥 图像到图像演示 (Image-to-Image):

我们现在支持 Img2Img (图像到图像)！在这里尝试令人印象深刻的 img2img 演示：Replicate, SD-webui, ComfyUI, Colab

本地 img2img 的 gradio 正在开发中！

🔥 本地 gradio 演示 (文生图):

要在本地运行模型，您可以下载 "local_gradio" 文件夹：

1. 安装 Pytorch (CUDA)。MacOS 系统可以下载 Pytorch 的"MPS"版本。请参见：https://pytorch.org。如果您使用的是 Intel GPU，也请安装 Intel Extension for Pytorch。
2. 安装主库：

pip install diffusers transformers accelerate gradio==3.48.0 

3. 启动 gradio：(对于 MacOS 用户，需要在 app.py 中设置 device="mps"；对于 Intel GPU 用户，在 app.py 中设置 device="xpu")

python app.py

已发布的演示与模型

我们的 Hugging Face 演示和模型已发布！潜在一致性模型 (Latent Consistency Models) 已在 🧨 diffusers 库中得到支持。

LCM 模型下载: LCM_Dreamshaper_v7

LCM 模型已上传到始智 AI(wisemodel)，中文用户可在此下载，下载链接。

中文用户可在此下载 LCM 模型：

Hugging Face 演示：

Replicate 演示：

OpenXLab 演示：

Tungsten 演示：

Novita.AI 演示：

通过将无分类器引导 (classifier-free guidance) 蒸馏到模型的输入中，LCM 可以在极短的推理时间内生成高质量图像。我们在 768 x 768 分辨率、CFG scale w=8、batchsize=4、使用 A800 GPU 的设置下比较了推理时间。

使用方法

我们现在在 🧨 Diffusers 库中拥有官方的 LCM Pipeline（LCM 管道） 和 LCM Scheduler（LCM 调度器）！旧的使用方法将被弃用。

您可以直接在以下平台尝试潜在一致性模型 (Latent Consistency Models)：

若要自行运行模型，您可以利用 🧨 Diffusers 库：

1. 安装库：

pip install --upgrade diffusers  # make sure to use at least diffusers >= 0.22
pip install transformers accelerate

2. 运行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

更多信息，请查看官方文档： 👉 https://huggingface.co/docs/diffusers/api/pipelines/latent_consistency_models#latent-consistency-models

使用方法（已弃用）

我们现在在 🧨 Diffusers 库中拥有官方的 LCM Pipeline（LCM 管道） 和 LCM Scheduler（LCM 调度器）！旧的使用方法将被弃用。但你仍可通过在 from_pretrained(...) 中添加 revision="fb9c5d1" 来使用旧方法。

若要自行运行模型，您可以利用 🧨 Diffusers 库：

1. 安装库：

pip install diffusers transformers accelerate

2. 运行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main", revision="fb9c5d")

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

我们的贡献者：

BibTeX

LCM:
@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

LCM-LoRA:
@article{luo2023lcm,
  title={LCM-LoRA: A Universal Stable-Diffusion Acceleration Module},
  author={Luo, Simian and Tan, Yiqin and Patil, Suraj and Gu, Daniel and von Platen, Patrick and Passos, Apolin{\'a}rio and Huang, Longbo and Li, Jian and Zhao, Hang},
  journal={arXiv preprint arXiv:2311.05556},
  year={2023}
}

Latent Consistency Models (LCM) 快速上手指南

Latent Consistency Models (LCM) 是一种能够以极少推理步数（Few-Step）合成高分辨率图像的开源模型，显著提升了 Stable Diffusion 等模型的生成速度。

环境准备

• 操作系统：Linux / Windows / macOS
• 硬件要求：
  • 推荐 NVIDIA GPU (CUDA)
  • macOS 用户可使用 MPS (Metal Performance Shaders)
  • Intel GPU 用户可使用 XPU
  • 也支持 CPU 运行（速度较慢）
• Python 版本：建议 Python 3.8+

安装步骤

1. 安装核心依赖库 确保使用 diffusers >= 0.22 版本以支持官方 Pipeline。

   pip install --upgrade diffusers
   pip install transformers accelerate
   

2. （可选）安装本地 WebUI 如需运行本地 Gradio 界面，请额外安装：

   pip install gradio==3.48.0
   

3. 模型下载（国内加速） 由于 Hugging Face 访问可能受限，建议中国开发者优先从以下国内镜像源下载模型权重：

   • 始智 AI (Wisemodel): LCM_Dreamshaper_v7
   • OpenXLab: LCM_Dreamshaper_v7_4k.safetensors

基本使用

以下示例展示了如何使用 diffusers 库加载模型并进行文本生成图像（Text-to-Image）。

from diffusers import DiffusionPipeline
import torch

# 加载模型 (推荐使用官方仓库 ID，国内网络慢时可手动下载 .safetensors 文件后指定路径)
pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# 设置设备与精度 (cuda 为推荐，mps 用于 Mac，float16 可节省显存但可能影响画质)
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 推理步数建议设置在 1~8 步之间，LCM 支持极低步数推理
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

关键参数说明

• num_inference_steps: 推理步数，范围 150，推荐 18 步以获得极速生成。
• guidance_scale: 引导系数，默认 8.0 左右效果较好。
• lcm_origin_steps: 原始蒸馏步数，通常保持 50。

更多详细信息请参考官方文档：Hugging Face Diffusers Docs