IF 由 DeepFloyd Lab 在 StabilityAI 开发

我们推出了 DeepFloyd IF，这是一种全新的、最先进的开源文本到图像模型，具有高度的逼真度和强大的语言理解能力。DeepFloyd IF 是一个模块化架构，由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基于文本提示生成 64x64 像素图像的基础模型，以及两个超分辨率模型，分别用于生成更高分辨率的图像：256x256 像素和 1024x1024 像素。该模型的所有阶段都使用基于 T5 变压器的冻结文本编码器来提取文本嵌入，然后将这些嵌入输入到增强了交叉注意力和注意力池化的 UNet 架构中。最终结果是一个非常高效的模型，其性能超越了当前最先进的模型，在 COCO 数据集上实现了 6.66 的零样本 FID 分数。我们的工作强调了在级联扩散模型的第一阶段使用更大规模 UNet 架构的潜力，并展示了文本到图像合成的光明前景。

灵感来源于 具有深度语言理解能力的逼真文本到图像扩散模型

使用所有 IF 模型的最低要求：

• IF-I-XL（43亿参数的文本到64x64基础模块）和 IF-II-L（12亿参数的256x256超分辨率模块）需要 16GB 显存
• IF-I-XL（43亿参数的文本到64x64基础模块）、IF-II-L（12亿参数的256x256超分辨率模块）以及 Stable x4（1024x1024超分辨率模块）需要 24GB 显存
• 需要安装 xformers 并设置环境变量 FORCE_MEM_EFFICIENT_ATTN=1

快速入门

pip install deepfloyd_if==1.0.2rc0
pip install xformers==0.0.16
pip install git+https://github.com/openai/CLIP.git --no-deps

本地笔记本

梦境、风格迁移、超分辨率或修复模式都可以在 Jupyter Notebook 中使用，链接见 这里。

与 🤗 Diffusers 的集成

IF 也已集成到 🤗 Hugging Face 的 Diffusers 库 中。

Diffusers 会单独运行每个阶段，允许用户自定义图像生成过程，并轻松检查中间结果。

示例

在使用 IF 之前，您需要接受其使用条款。操作步骤如下：

1. 确保您拥有一个 Hugging Face 账号，并已登录
2. 接受 DeepFloyd/IF-I-XL-v1.0 模型卡片上的许可协议
3. 确保您已在本地登录。安装 huggingface_hub

pip install huggingface_hub --upgrade

在 Python shell 中运行登录函数：

from huggingface_hub import login

login()

并输入您的 Hugging Face Hub 访问令牌。

接下来我们安装 diffusers 及其依赖项：

pip install diffusers accelerate transformers safetensors

现在我们就可以在本地运行该模型了。

默认情况下，diffusers 会使用 模型 CPU 卸载 技术，以仅需 14 GB 显存即可运行整个 IF 流程。

如果您正在使用 torch>=2.0.0，请务必删除所有 enable_xformers_memory_efficient_attention() 函数调用。

from diffusers import DiffusionPipeline
from diffusers.utils import pt_to_pil
import torch

# 第一阶段
stage_1 = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", torch_dtype=torch.float16)
stage_1.enable_xformers_memory_efficient_attention()  # 如果 torch.__version__ >= 2.0.0，则移除此行
stage_1.enable_model_cpu_offload()

# 第二阶段
stage_2 = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", torch_dtype=torch.float16
)
stage_2.enable_xformers_memory_efficient_attention()  # 如果 torch.__version__ >= 2.0.0，则移除此行
stage_2.enable_model_cpu_offload()

# 第三阶段
safety_modules = {"feature_extractor": stage_1.feature_extractor, "safety_checker": stage_1.safety_checker, "watermarker": stage_1.watermarker}
stage_3 = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-x4-upscaler", **safety_modules, torch_dtype=torch.float16)
stage_3.enable_xformers_memory_efficient_attention()  # 如果 torch.__version__ >= 2.0.0，则移除此行
stage_3.enable_model_cpu_offload()

prompt = '一只穿着橙色连帽衫、戴着蓝色太阳镜的袋鼠站在埃菲尔铁塔前，手里拿着写着“非常深度学习”的牌子'

# 文本嵌入
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

generator = torch.manual_seed(0)

# 第一阶段
image = stage_1(prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt").images
pt_to_pil(image)[0].save("./if_stage_I.png")

# 第二阶段
image = stage_2(
    image=image, prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt"
).images
pt_to_pil(image)[0].save("./if_stage_II.png")

# 第三阶段
image = stage_3(prompt=prompt, image=image, generator=generator, noise_level=100).images
image[0].save("./if_stage_III.png")

diffusers 提供了多种方法来进一步加快推理速度并降低内存消耗。有关详细信息，请参阅 diffusers 文档：

• 🚀 优化推理速度
• ⚙️ 优化低内存下的推理

如需了解更多关于如何使用 IF 的详细信息，请查看 IF 博客文章 和 官方文档 📖。

Diffusers 的 DreamBooth 脚本也支持对 IF 进行微调🎨。通过参数高效的微调，您只需一张 GPU 和约 28 GB 显存，即可为 IF 添加新概念。

在本地运行代码

将模型加载到显存中

from deepfloyd_if.modules import IFStageI, IFStageII, StableStageIII
from deepfloyd_if.modules.t5 import T5Embedder

device = 'cuda:0'
if_I = IFStageI('IF-I-XL-v1.0', device=device)
if_II = IFStageII('IF-II-L-v1.0', device=device)
if_III = StableStageIII('stable-diffusion-x4-upscaler', device=device)
t5 = T5Embedder(device="cpu")

I. 梦境

梦境模式是 IF 模型的文本到图像生成模式。

from deepfloyd_if.pipelines import dream

prompt = '超近距离彩色照片：森林中一只长着鹿角的彩虹猫头鹰'
count = 4

result = dream(
    t5=t5, if_I=if_I, if_II=if_II, if_III=if_III,
    prompt=[prompt]*count,
    seed=42,
    if_I_kwargs={
        "guidance_scale": 7.0,
        "sample_timestep_respacing": "smart100",
    },
    if_II_kwargs={
        "guidance_scale": 4.0,
        "sample_timestep_respacing": "smart50",
    },
    if_III_kwargs={
        "guidance_scale": 9.0,
        "noise_level": 20,
        "sample_timestep_respacing": "75",
    },
)

if_III.show(result['III'], size=14)

II. 零样本图像到图像转换

在风格迁移模式下，您的提示输出将以 support_pil_img 的风格呈现。

from deepfloyd_if.pipelines import style_transfer

result = style_transfer(
    t5=t5, if_I=if_I, if_II=if_II,
    support_pil_img=raw_pil_image,
    style_prompt=[
        '以专业折纸风格',
        '以泰特现代艺术馆油画风格',
        '以塑料积木风格',
        '以1990年代经典动漫风格',
    ],
    seed=42,
    if_I_kwargs={
        "guidance_scale": 10.0,
        "sample_timestep_respacing": "10,10,10,10,10,10,10,10,0,0",
        'support_noise_less_qsample_steps': 5,
    },
    if_II_kwargs={
        "guidance_scale": 4.0,
        "sample_timestep_respacing": 'smart50',
        "support_noise_less_qsample_steps": 5,
    },
)
if_I.show(result['II'], 1, 20)

III. 超分辨率

对于超分辨率任务，用户可以对并非由 IF 生成的图像运行 IF-II 和 IF-III 或者 ‘Stable x4’（两个级联）：

from deepfloyd_if.pipelines import super_resolution

middle_res = super_resolution(
    t5,
    if_III=if_II,
    prompt=['一位戴着蓝色头巾、身穿蓝色毛衣的女性，细节丰富，4K 单反拍摄，最佳画质'],
    support_pil_img=raw_pil_image,
    img_scale=4.,
    img_size=64,
    if_III_kwargs={
        'sample_timestep_respacing': 'smart100',
        'aug_level': 0.5,
        'guidance_scale': 6.0,
    },
)
high_res = super_resolution(
    t5,
    if_III=if_III,
    prompt=[''],
    support_pil_img=middle_res['III'][0],
    img_scale=4.,
    img_size=256,
    if_III_kwargs={
        "guidance_scale": 9.0,
        "noise_level": 20,
        "sample_timestep_respacing": "75",
    },
)
show_superres(raw_pil_image, high_res['III'][0])

IV. 零样本修复

from deepfloyd_if.pipelines import inpainting

result = inpainting(
    t5=t5, if_I=if_I,
    if_II=if_II,
    if_III=if_III,
    support_pil_img=raw_pil_image,
    inpainting_mask=inpainting_mask,
    prompt=[
        '油画风格：一位戴帽子的男人',
    ],
    seed=42,
    if_I_kwargs={
        "guidance_scale": 7.0,
        "sample_timestep_respacing": "10,10,10,10,10,0,0,0,0,0",
        'support_noise_less_qsample_steps': 0,
    },
    if_II_kwargs={
        "guidance_scale": 4.0,
        'aug_level': 0.0,
        "sample_timestep_respacing": '100',
    },
    if_III_kwargs={
        "guidance_scale": 9.0,
        "noise_level": 20,
        "sample_timestep_respacing": "75",
    },
)
if_I.show(result['I'], 2, 3)
if_I.show(result['II'], 2, 6)
if_I.show(result['III'], 2, 14)

🤗 模型库 🤗

每个模型的权重下载链接和模型卡片将很快在模型库中提供。

原始版本

名称	级联	参数量	FID	批量大小	步数
IF-I-M	I	400M	8.86	3072	2.5M
IF-I-L	I	900M	8.06	3200	3.0M
IF-I-XL*	I	4.3B	6.66	3072	2.42M
IF-II-M	II	450M	-	1536	2.5M
IF-II-L*	II	1.2B	-	1536	2.5M
IF-III-L* (即将发布)	III	700M	-	3072	1.25M

*最佳模块

定量评估

FID = 6.66

许可证

本仓库中的代码采用定制许可证发布（详见附录 第二条）。

权重将很快通过 Hugging Face 上的 DeepFloyd 组织 提供，并拥有各自的 LICENSE。

免责声明： IF 模型的首次发布暂时采用仅限研究用途的限制性许可证，以便收集反馈；此后，我们计划发布一款完全开源的模型，与其他 Stability AI 模型保持一致。

局限性和偏见

本代码库中的模型存在已知的局限性和偏见。更多信息请参阅 模型卡片。

🎓 DeepFloyd IF 的创作者：

• Alex Shonenkov GitHub | Linktr
• Misha Konstantinov GitHub | Twitter
• Daria Bakshandaeva GitHub | Twitter
• Christoph Schuhmann GitHub | Twitter
• Ksenia Ivanova GitHub | Twitter
• Nadiia Klokova GitHub | Twitter

📄 研究论文（即将发布）

致谢

特别感谢 StabilityAI 及其 CEO Emad Mostaque，在模型训练过程中提供了宝贵的 GPU 算力与基础设施支持（我们也要感谢 Richard Vencu）；感谢 LAION 以及 Christoph Schuhmann 对本项目的支持和高质量数据集的提供；同时感谢 Huggingface 团队在推理阶段优化模型的速度与内存占用、制作演示并给予诸多实用建议！

🚀 外部贡献者 🚀

• 最诚挚的感谢 @Apolinário，他在各个阶段为 IF 开源提供了创意、咨询、帮助与支持；撰写了大量文档和使用指南，并在艰难时刻营造了友好的氛围 🦉；
• 感谢 @patrickvonplaten，他将 UNET 模型的加载速度提升了 80%；还成功将 Stable-Diffusion-x4 集成为原生流程 💪；
• 感谢 @williamberman 和 @patrickvonplaten，他们实现了 Diffusers 的集成 🙌；
• 感谢 @hysts 和 @Apolinário，他们共同打造了 最佳的 Gradio IF 演示 🚀；
• 感谢 @Dango233，他利用 xformers 的高效注意力机制对 IF 进行了适配 💪；

DeepFloyd IF 快速上手指南

DeepFloyd IF 是由 StabilityAI 旗下的 DeepFloyd Lab 推出的开源文生图模型，以其极高的照片级真实感和语言理解能力著称。该模型采用级联扩散架构，包含三个模块：基础生成（64x64）、一级超分（256x256）和二级超分（1024x1024）。

环境准备

硬件要求

要运行完整的 IF 流水线（包含所有三个阶段），建议满足以下显存（vRAM）要求：

• 最低配置 (16GB vRAM)：可运行基础模型 (IF-I-XL) 和一级超分模型 (IF-II-L)，生成 256x256 分辨率图像。
• 推荐配置 (24GB vRAM)：可运行完整流水线（含 Stable x4 超分），生成 1024x1024 分辨率图像。

软件依赖

• Python 环境
• CUDA 支持的 GPU
• xformers 库（用于内存优化）
• 环境变量设置：需设置 FORCE_MEM_EFFICIENT_ATTN=1

安装步骤

方案一：使用官方 Pip 源安装（推荐用于本地开发）

依次执行以下命令安装核心依赖：

pip install deepfloyd_if==1.0.2rc0
pip install xformers==0.0.16
pip install git+https://github.com/openai/CLIP.git --no-deps

提示：国内用户若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源。

方案二：通过 Hugging Face Diffusers 集成安装（推荐用于灵活控制）

Diffusers 库支持分阶段运行模型，便于自定义生成过程和检查中间结果，且默认支持 CPU 卸载以节省显存。

1. 安装必要库：

pip install diffusers accelerate transformers safetensors huggingface_hub --upgrade

2. 登录 Hugging Face（使用前需接受模型协议）：
   • 访问 DeepFloyd/IF-I-XL-v1.0 页面同意协议。
   • 在终端运行登录命令并输入 Access Token：

from huggingface_hub import login
login()

基本使用

以下提供两种最常用的快速启动方式。

方式 A：使用 Diffusers 库（内存优化最佳）

此方式自动处理模型加载和显存优化，适合大多数开发者。

from diffusers import DiffusionPipeline
from diffusers.utils import pt_to_pil
import torch

# 阶段 1: 基础生成 (64x64)
stage_1 = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", torch_dtype=torch.float16)
# 若 torch 版本 >= 2.0.0，请删除下一行 enable_xformers...
stage_1.enable_xformers_memory_efficient_attention()
stage_1.enable_model_cpu_offload()

# 阶段 2: 一级超分 (256x256)
stage_2 = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", torch_dtype=torch.float16
)
stage_2.enable_xformers_memory_efficient_attention()
stage_2.enable_model_cpu_offload()

# 阶段 3: 二级超分 (1024x1024)
safety_modules = {"feature_extractor": stage_1.feature_extractor, "safety_checker": stage_1.safety_checker, "watermarker": stage_1.watermarker}
stage_3 = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-x4-upscaler", **safety_modules, torch_dtype=torch.float16)
stage_3.enable_xformers_memory_efficient_attention()
stage_3.enable_model_cpu_offload()

prompt = 'a photo of a kangaroo wearing an orange hoodie and blue sunglasses standing in front of the eiffel tower holding a sign that says "very deep learning"'

# 编码提示词
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)
generator = torch.manual_seed(0)

# 执行生成
# Stage 1
image = stage_1(prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt").images
pt_to_pil(image)[0].save("./if_stage_I.png")

# Stage 2
image = stage_2(
    image=image, prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt"
).images
pt_to_pil(image)[0].save("./if_stage_II.png")

# Stage 3
image = stage_3(prompt=prompt, image=image, generator=generator, noise_level=100).images
image[0].save("./if_stage_III.png")

方式 B：使用原生 DeepFloyd IF 包（功能最全）

此方式可直接调用 Dream、风格迁移、超分和修复等专用管道。

from deepfloyd_if.modules import IFStageI, IFStageII, StableStageIII
from deepfloyd_if.modules.t5 import T5Embedder
from deepfloyd_if.pipelines import dream

# 1. 加载模型到显存
device = 'cuda:0'
if_I = IFStageI('IF-I-XL-v1.0', device=device)
if_II = IFStageII('IF-II-L-v1.0', device=device)
if_III = StableStageIII('stable-diffusion-x4-upscaler', device=device)
t5 = T5Embedder(device="cpu")

# 2. 执行 Dream (文生图) 模式
prompt = 'ultra close-up color photo portrait of rainbow owl with deer horns in the woods'
count = 4

result = dream(
    t5=t5, if_I=if_I, if_II=if_II, if_III=if_III,
    prompt=[prompt]*count,
    seed=42,
    if_I_kwargs={
        "guidance_scale": 7.0,
        "sample_timestep_respacing": "smart100",
    },
    if_II_kwargs={
        "guidance_scale": 4.0,
        "sample_timestep_respacing": "smart50",
    },
    if_III_kwargs={
        "guidance_scale": 9.0,
        "noise_level": 20,
        "sample_timestep_respacing": "75",
    },
)

# 显示结果
if_III.show(result['III'], size=14)

在线体验：若无本地 GPU 资源，可直接使用 Google Colab 免费 tier 或 Hugging Face Spaces 进行尝试。