TensorFlow / Keras 中的 Stable Diffusion

Stable Diffusion 的 Keras / TensorFlow 实现。

权重是从原始实现移植而来的。

Colab 笔记本

尝试它的最简单方法是使用其中一个 Colab 笔记本：

• GPU Colab
• GPU Colab 图像到图像
• GPU Colab 修复绘画
• GPU Colab - 平铺/纹理生成
• GPU Colab - 加载 PyTorch 检查点权重
• GPU Colab + 混合精度
  • 在默认 Colab GPU 上，每张 512x512 图像的生成时间约为 10 秒，且质量无明显下降 (来源)
• TPU Colab。
  • 对于单张图像生成，TPU 比 GPU 慢；但对于 8 张及以上的大批量图像生成，则更快 (来源)。
• GPU Colab with Gradio
• GPU Colab - 视频生成

安装

作为 Python 包安装

使用 pip 和 git 仓库进行安装：

pip install git+https://github.com/divamgupta/stable-diffusion-tensorflow

使用仓库安装

下载仓库，可以通过下载 zip 文件，或使用 git 克隆仓库：

git clone git@github.com:divamgupta/stable-diffusion-tensorflow.git

不使用虚拟环境直接用 pip 安装

使用 requirements.txt 或 requirements_m1.txt 文件安装依赖项：

pip install -r requirements.txt

使用 virtualenv 创建虚拟环境

1. 为 python3 创建虚拟环境：

   python3 -m venv venv
   

2. 激活虚拟环境：

   source venv/bin/activate
   

3. 使用 requirements.txt 或 requirements_m1.txt 文件安装依赖项：

   pip install -r requirements.txt
   

使用

使用 Python 接口

如果您已安装该包，可以按如下方式使用：

from stable_diffusion_tf.stable_diffusion import StableDiffusion
from PIL import Image

generator = StableDiffusion(
    img_height=512,
    img_width=512,
    jit_compile=False,
)
img = generator.generate(
    "一名宇航员骑着马",
    num_steps=50,
    unconditional_guidance_scale=7.5,
    temperature=1,
    batch_size=1,
)

# 图像到图像：
img = generator.generate(
    "万圣节主题的卧室",
    num_steps=50,
    unconditional_guidance_scale=7.5,
    temperature=1,
    batch_size=1,
    input_image="/path/to/img.png"
)


Image.fromarray(img[0]).save("output.png")

使用 git 仓库中的 text2image.py

假设您已安装所需软件包，可以使用以下命令从文本提示生成图像：

python text2image.py --prompt="一名宇航员骑着马"

生成的图像将命名为 output.png，位于仓库根目录下。如果需要使用其他名称，请使用 --output 标志。

python text2image.py --prompt="一名宇航员骑着马" --output="my_image.png"

请查看 text2image.py 文件以获取更多选项，包括图像尺寸、步数等。

使用 git 仓库中的 img2img.py

假设您已安装所需软件包，可以使用以下命令根据文本提示修改图像：

python img2img.py --prompt="一幅高质量的人们站在阳光和草地前的素描，水彩，彩色铅笔" --input="img.jpeg"

生成的图像默认命名为 img2img-out.jpeg，位于仓库根目录下。如果需要使用其他名称，请使用 --output 标志。

请查看 img2img.py 文件以获取更多选项，包括步数等。

示例输出

以下输出是使用此实现生成的：

1. 一场壮丽而美丽的洛可可风格狼人正在燃烧的咖啡店里喝咖啡。超精细。动漫，pixiv，uhd 8k cryengine，octane 渲染

2. 蜘蛛侠格温·斯泰西摩天大楼粉白配色写实照片级 4K

3. 天堂景象，虚幻引擎

修复绘画

图像到图像

1. 一幅高质量的人们站在阳光和草地前的素描，水彩，彩色铅笔

Keras Stable Diffusion 视频生成

1. 布拉格美丽的街景，artstation 概念艺术，极其细致的油画，色彩鲜明

https://user-images.githubusercontent.com/63783894/201447745-6a3a96f4-f065-4e54-be5d-01941475a31c.mp4

参考文献

1. https://github.com/CompVis/stable-diffusion
2. https://github.com/geohot/tinygrad/blob/master/examples/stable_diffusion.py

Stable Diffusion in TensorFlow 快速上手指南

环境准备

系统要求

• 操作系统：Linux / macOS / Windows（推荐使用 Linux 或 macOS）
• Python 版本：3.8 或以上
• GPU 支持（可选）：用于加速生成过程，建议使用 CUDA 支持的 NVIDIA GPU

前置依赖

• Python 3.8+
• pip
• Git（用于克隆仓库）

安装步骤

安装为 Python 包

pip install git+https://github.com/divamgupta/stable-diffusion-tensorflow

从源码安装

git clone git@github.com:divamgupta/stable-diffusion-tensorflow.git
cd stable-diffusion-tensorflow
pip install -r requirements.txt

如果使用国内网络，可以尝试添加镜像源以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用 Python 接口生成图像

from stable_diffusion_tf.stable_diffusion import StableDiffusion
from PIL import Image

generator = StableDiffusion(
    img_height=512,
    img_width=512,
    jit_compile=False,
)
img = generator.generate(
    "An astronaut riding a horse",
    num_steps=50,
    unconditional_guidance_scale=7.5,
    temperature=1,
    batch_size=1,
)

Image.fromarray(img[0]).save("output.png")

使用 text2image.py 生成图像

python text2image.py --prompt="An astronaut riding a horse"

生成的图片默认保存为 output.png，可通过 --output 指定输出路径。

使用 img2img.py 进行图像修改

python img2img.py --prompt="a high quality sketch of people standing with sun and grass , watercolor , pencil color" --input="img.jpeg"

生成的图片默认保存为 img2img-out.jpeg，可通过 --output 指定输出路径。