稳定扩散-PyTorch

又一个 稳定扩散 的 PyTorch 实现。

我尽力使代码库保持最小化、自包含、一致、可扩展且易于阅读。对于稳定扩散中不需要的功能（例如 CLIP 分词器/编码器中的注意力掩码），我都进行了精简。配置被硬编码（基于稳定扩散 v1.x）。当某种形状更有意义时，循环会被展开。

尽管我付出了努力，但我还是觉得自己写出了另一份“意大利面代码”参见 xkcd 927。不过，欢迎你来改进它！

以下仓库对我帮助很大，在此向它们表示衷心的感谢：

• divamgupta/stable-diffusion-tensorflow
• CompVis/stable-diffusion
• huggingface/transformers
• crowsonkb/k-diffusion
• karpathy/minGPT

依赖项

• PyTorch
• Numpy
• Pillow
• regex
• tqdm

安装方法

1. 克隆或下载本仓库。
2. 安装依赖：运行 pip install torch numpy Pillow regex 或 pip install -r requirements.txt。
3. 从 这里 下载 data.v20221029.tar 文件，并解压到 stable_diffusion_pytorch 的上一级目录。你的文件夹结构应如下所示：

stable-diffusion-pytorch(-main)/
├─ data/
│  ├─ ckpt/
│  ├─ ...
├─ stable_diffusion_pytorch/
│  ├─ samplers/
└  ┴─ ...

请注意，data.zip 中包含的检查点文件具有不同的许可协议（见下文）——使用这些检查点文件前，请先同意该许可协议。

使用方法

将 stable_diffusion_pytorch 作为子模块导入。

以下是一些示例脚本。你也可以阅读 stable_diffusion_pytorch.pipeline.generate 的文档字符串。

文本到图像生成：

from stable_diffusion_pytorch import pipeline

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts)
images[0].save('output.jpg')

...使用多个提示词：

prompts = [
    "一位宇航员骑马的照片",
    ""]
images = pipeline.generate(prompts)

...使用无条件（负面）提示词：

prompts = ["一位宇航员骑马的照片"]
uncond_prompts = ["低质量"]
images = pipeline.generate(prompts, uncond_prompts)

...设置随机种子：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, uncond_prompts, seed=42)

预加载模型（需要足够的显存）：

from stable_diffusion_pytorch import model_loader
models = model_loader.preload_models('cuda')

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, models=models)

如果你在上述代码中遇到显存不足的问题，但有足够的内存（而非显存），可以在需要时将模型移动到 GPU，不需要时再移回 CPU：

from stable_diffusion_pytorch import model_loader
models = model_loader.preload_models('cpu')

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, models=models, device='cuda', idle_device='cpu')

图像到图像生成：

from PIL import Image

prompts = ["一位宇航员骑马的照片"]
input_images = [Image.open('space.jpg')]
images = pipeline.generate(prompts, input_images=images)

...设置自定义强度：

prompts = ["一位宇航员骑马的照片"]
input_images = [Image.open('space.jpg')]
images = pipeline.generate(prompts, input_images=images, strength=0.6)

调整 无分类器指导 的尺度：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, cfg_scale=11)

...或者禁用无分类器指导：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, do_cfg=False)

减少采样步数（生成速度更快，但质量较低）：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, n_inference_steps=28)

使用不同的采样器：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts, sampler="k_euler")
# 可选的采样器有 "k_lms"（默认）、"k_euler" 或 "k_euler_ancestral"

生成自定义尺寸的图像：

prompts = ["一位宇航员骑马的照片"]
images = pipeline.generate(prompts，height=512，width=768）

许可协议

本仓库中的所有代码均采用 MIT 许可协议。详情请参阅 LICENSE 文件。

需要注意的是，稳定扩散的检查点文件采用 CreativeML Open RAIL-M 许可协议。该协议包含基于用途的限制条款，建议您仔细阅读。

stable-diffusion-pytorch 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8+
• 硬件要求：
  • 推荐使用 NVIDIA GPU（需安装 CUDA 驱动）以获得最佳生成速度。
  • 若显存不足，支持将模型加载至 CPU 运行（速度较慢）。
• 前置依赖库：
  • PyTorch
  • Numpy
  • Pillow
  • regex
  • tqdm

提示：国内用户安装 PyTorch 时，建议使用官方提供的国内镜像源加速下载。例如： pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 (根据实际 CUDA 版本调整)

安装步骤

1. 克隆项目代码

   git clone https://github.com/kjsman/stable-diffusion-pytorch.git
   cd stable-diffusion-pytorch
   

2. 安装 Python 依赖

   pip install torch numpy Pillow regex tqdm
   # 或者使用 requirements.txt
   # pip install -r requirements.txt
   

3. 下载模型数据 本项目不包含预训练权重，需手动下载并解压到指定目录。

   • 下载地址：data.v20221029.tar
   • 注意：请确保解压后的目录结构如下所示（data 文件夹需位于 stable-diffusion-pytorch 项目的父级或同级特定位置，具体参照下方结构）：

   stable-diffusion-pytorch(-main)/
   ├─ data/
   │  ├─ ckpt/
   │  ├─ ...
   ├─ stable_diffusion_pytorch/
   │  ├─ samplers/
   └  ┴─ ...
   

   请仔细阅读模型文件的 CreativeML Open RAIL-M 许可协议，确认符合使用规范。

基本使用

将 stable_diffusion_pytorch 作为子模块导入即可使用。以下是文生图（Text-to-Image）的最简示例：

1. 基础文生图

from stable_diffusion_pytorch import pipeline

prompts = ["a photograph of an astronaut riding a horse"]
images = pipeline.generate(prompts)
images[0].save('output.jpg')

2. 进阶用法示例

设置随机种子（复现结果）：

prompts = ["a photograph of an astronaut riding a horse"]
images = pipeline.generate(prompts, seed=42)

使用负向提示词（Unconditional Prompts）：

prompts = ["a photograph of an astronaut riding a horse"]
uncond_prompts = ["low quality"]
images = pipeline.generate(prompts, uncond_prompts)

显存优化（CPU 预加载，按需移至 GPU）： 如果您的显存较小但内存充足，可使用以下模式避免 OOM：

from stable_diffusion_pytorch import model_loader

# 先将模型加载到 CPU
models = model_loader.preload_models('cpu')

prompts = ["a photograph of an astronaut riding a horse"]
# 生成时自动移入 cuda，空闲时移回 cpu
images = pipeline.generate(prompts, models=models, device='cuda', idle_device='cpu')

图生图（Image-to-Image）：

from PIL import Image

prompts = ["a photograph of an astronaut riding a horse"]
input_images = [Image.open('space.jpg')]
# strength 控制重绘幅度 (0.0 - 1.0)
images = pipeline.generate(prompts, input_images=input_images, strength=0.6)

更换采样器与步数：

prompts = ["a photograph of an astronaut riding a horse"]
# 可选采样器："k_lms" (默认), "k_euler", "k_euler_ancestral"
images = pipeline.generate(prompts, sampler="k_euler", n_inference_steps=28)