一致性解码器

[DALL·E 3] [通过更好的描述文字提升图像生成效果] [一致性模型]

改进了稳定扩散 VAE 的解码效果。

安装

$ pip install git+https://github.com/openai/consistencydecoder.git

使用方法

import torch
from diffusers import StableDiffusionPipeline
from consistencydecoder import ConsistencyDecoder, save_image, load_image

# 使用稳定扩散 VAE 进行编码
pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, device="cuda:0"
)
pipe.vae.cuda()
decoder_consistency = ConsistencyDecoder(device="cuda:0") # 模型大小：2.49 GB

image = load_image("https://oss.gittoolsai.com/images/openai_consistencydecoder_readme_801b346b0f6a.png", size=(256, 256), center_crop=True)
latent = pipe.vae.encode(image.half().cuda()).latent_dist.mean

# 使用 GAN 解码
sample_gan = pipe.vae.decode(latent).sample.detach()
save_image(sample_gan, "gan.png")

# 使用一致性解码器解码
sample_consistency = decoder_consistency(latent)
save_image(sample_consistency, "con.png")

示例

原图	GAN 解码	一致性解码

Consistency Decoder 快速上手指南

Consistency Decoder 是由 OpenAI 开源的工具，旨在为 Stable Diffusion VAE 提供更高质量的解码方案。相比传统的 GAN 解码器，它能生成细节更丰富、伪影更少的图像。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置 WSL2 或兼容的 CUDA 环境）
• Python 版本：3.8 及以上
• GPU 支持：推荐配备 NVIDIA GPU 并安装好 CUDA 驱动（模型推理需要 GPU 加速）
• 前置依赖：
  • torch (PyTorch)
  • diffusers
  • pillow
  • accelerate

提示：国内开发者建议使用国内镜像源安装基础依赖，以提升下载速度。

pip install torch diffusers pillow accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

直接使用 pip 从 GitHub 仓库安装最新版本的 consistencydecoder：

pip install git+https://github.com/openai/consistencydecoder.git

注意：首次运行时，程序会自动下载一致性解码器模型权重（约 2.49 GB），请确保网络连接通畅。如遇下载缓慢，可尝试配置全局代理或使用支持断点续传的网络环境。

基本使用

以下是最小化的使用示例，演示如何加载图片、通过 Stable Diffusion VAE 编码，并使用 Consistency Decoder 进行高质量解码。

import torch
from diffusers import StableDiffusionPipeline
from consistencydecoder import ConsistencyDecoder, save_image, load_image

# 1. 初始化 Stable Diffusion Pipeline (用于编码)
pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, device="cuda:0"
)
pipe.vae.cuda()

# 2. 初始化 Consistency Decoder (用于解码)
# 模型大小约为 2.49 GB，首次运行会自动下载
decoder_consistency = ConsistencyDecoder(device="cuda:0")

# 3. 加载并预处理图片
image = load_image("assets/gt1.png", size=(256, 256), center_crop=True)

# 4. 使用 SD VAE 将图片编码为潜变量 (latent)
latent = pipe.vae.encode(image.half().cuda()).latent_dist.mean

# 5. 对比解码效果
# 方式 A: 使用原始 VAE/GAN 解码
sample_gan = pipe.vae.decode(latent).sample.detach()
save_image(sample_gan, "gan.png")

# 方式 B: 使用 Consistency Decoder 解码 (推荐)
sample_consistency = decoder_consistency(latent)
save_image(sample_consistency, "con.png")

运行上述代码后，您将得到两张输出图片：gan.png（传统解码结果）和 con.png（Consistency Decoder 优化后的结果），后者通常在纹理细节和整体清晰度上表现更佳。