新闻

• (新) 2024年6月7日 我们的大型修正流技术已扩展至文本到3D以及图像反演/编辑领域！请查看杨晓峰等人令人惊叹的工作（论文和代码）！
• 2024年5月17日 请在这里体验我们全新的少步模型PeRFlow！
• 2023年12月4日 我们更新了🤗Hugging Face Space中的演示，加入了InstaFlow+dreamshaper-7。图像质量显著提升！我们还提供了可在本地运行的Gradio演示这里。
• 2023年12月4日 一步式InstaFlow现已兼容预训练的LoRA！详情请见这里。代码可在此获取这里。（感谢个人贡献者颜汉书博士(Dr. Hanshu Yan)）
• 2023年12月4日 现已支持ONNX！[ONNX InstaFlow] [ONNX 2-Rectified Flow] [ONNXStack UI]（感谢saddam213）
• 2023年11月23日 Colab笔记本现已上线。请在此尝试这里。（感谢个人贡献者xaviviro）
• 2023年11月22日 一步式InstaFlow现已兼容预训练的ControlNet。详情请见这里。（感谢个人贡献者颜汉书博士(Dr. Hanshu Yan)）
• 2023年11月22日 我们发布了预训练模型和推理代码这里。
• 2023年9月26日 我们在🤗Hugging Face Space中提供了InstaFlow-0.9B的演示。请在此尝试这里。

引言

扩散模型在文本到图像生成任务中展现了巨大的潜力。然而，其性能仍然受到计算资源限制的显著影响，因为推理阶段需要通过迭代数值求解器来完成扩散/流过程的求解。

InstaFlow 是一款超快速、一步式的图像生成器，能够在大幅降低计算资源需求的同时，达到接近Stable Diffusion的图像质量。这一效率得益于最近提出的修正流技术：该方法通过训练具有直线轨迹的概率流，从而在推理时仅需单步即可完成生成。

InstaFlow 具有以下几大优势：

• 超快速推理：InstaFlow 模型属于一步式生成器，能够直接将噪声映射为图像，避免了扩散模型所需的多步采样过程。在配备A100 GPU的机器上，每张图像的推理时间约为0.1秒，相比原版Stable Diffusion节省了约90%的推理时间。
• 高质量：InstaFlow 生成的图像细节丰富，与Stable Diffusion相当，并且在MS COCO 2014数据集上的FID指标与最先进的文本到图像GAN模型（如StyleGAN-T）相近。
• 简单高效的训练：InstaFlow 的训练过程仅需监督训练。借助预训练的Stable Diffusion模型，仅需199个A100 GPU天即可获得InstaFlow-0.9B。

作品集

一步式生成，使用InstaFlow-0.9B（每张图片0.09秒，$512 \times 512$）

一步式生成，使用InstaFlow-1.7B（每张图片0.12秒，$512 \times 512$）

一步式生成，使用InstaFlow-0.9B（0.09秒）+ SDXL-Refiner（$1024 \times 1024$）

一步式InstaFlow-0.9B的潜在空间插值（每张图片0.09秒，$512 \times 512$）

LoRA

一步式InstaFlow兼容预训练的LoRA。我们感谢个人贡献者颜汉书博士(Dr. Hanshu Yan)提供的修正流+LoRA流程及其测试！

InstaFlow似乎比SDXL-Turbo更具多样性。

https://github.com/gnobitab/InstaFlow/assets/1157982/8f12960e-116d-486a-a2e9-448d745394c2

ControlNet

一步式InstaFlow完全兼容预训练的ControlNet。我们感谢个人贡献者颜汉书博士(Dr. Hanshu Yan)提供的修正流+ControlNet流程及其测试！

以下是使用InstaFlow-0.9B + ControlNet进行的一步式生成：

与SD 1.5在我们的A100机器上的对比

为了更直观地理解，我们在同一台A100服务器上，通过Gridio界面分别对不同模型进行了随机生成并截图。InstaFlow-0.9B为一步式，而SD 1.5则采用25步的DPMSolver。从服务器下载一张图片大约需要0.3秒。文本提示为：“阳光下，一座美丽的湖泊旁的雪山照片。”

InstaFlow-0.9B	Stable Diffusion 1.5

方法：使用文本条件重流拉直生成概率流

我们的流程包含三个步骤：

1. 从预训练的 Stable Diffusion 中生成 (文本, 噪声, 图像) 三元组。
2. 应用 文本条件重流 以得到 2-修正流，这是一种被拉直的生成概率流。
3. 从 2-修正流中蒸馏出 单步 InstaFlow。需要注意的是，蒸馏和重流是 正交技术。

如视频和图片所示，直线型流具有以下优势：

• 直线型流在模拟时所需的步数更少。
• 直线型流能够更好地耦合噪声分布与图像分布，从而实现成功的蒸馏。

相关资料

我们在此提供若干相关链接和阅读材料：

• 官方修正流 GitHub 仓库 (https://github.com/gnobitab/RectifiedFlow)

• 修正流简介 (https://www.cs.utexas.edu/~lqiang/rectflow/html/intro.html)

• 中文版修正流介绍——知乎 (https://zhuanlan.zhihu.com/p/603740431)

• FlowGrad：利用梯度控制生成型常微分方程的输出 (https://github.com/gnobitab/FlowGrad)

• 使用直线型流快速生成点云 (https://github.com/klightz/PSF)

• 分段修正流 (https://github.com/magic-research/piecewise-rectified-flow)

• 作为即插即用先验的文本到图像修正流 (https://github.com/yangxiaofeng/rectified_flow_prior)

引用

@inproceedings{liu2023instaflow,
  title={Instaflow: One step is enough for high-quality diffusion-based text-to-image generation},
  author={Liu, Xingchao and Zhang, Xiwen and Ma, Jianzhu and Peng, Jian and Liu, Qiang},
  booktitle={International Conference on Learning Representations},
  year={2024}
}

致谢

我们的训练脚本基于 Diffusers 中的一个微调示例 修改而来。 我们工作的其他部分也高度依赖于 🤗 Diffusers 库。

InstaFlow 快速上手指南

InstaFlow 是一个基于 Rectified Flow 技术的超快一步图像生成模型，能够在单步推理中生成高质量图像，推理速度比传统 Stable Diffusion 快约 90%（A100 GPU 上仅需约 0.1 秒）。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• GPU: NVIDIA GPU (推荐 A100, V100, RTX 3090/4090 等)，显存建议 16GB 以上
• Python: 3.8 - 3.10
• CUDA: 11.7 或更高版本

前置依赖

确保已安装以下基础库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate gradio

国内加速建议：使用清华源或阿里源加速 Python 包安装。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple diffusers transformers accelerate gradio

安装步骤

1. 克隆仓库

   git clone https://github.com/gnobitab/InstaFlow.git
   cd InstaFlow/code
   

2. 安装项目依赖

   pip install -r requirements.txt
   

   若 requirements.txt 不存在，请手动安装核心依赖：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple diffusers>=0.24.0 transformers accelerate gradio safetensors
   

3. 下载预训练模型

   模型托管在 Hugging Face，国内用户可使用镜像站或手动下载后放入本地目录。

   方式一：使用脚本自动下载（需网络通畅） 代码运行时会自动从 Hugging Face 拉取模型 gnobitab/InstaFlow-0.9B。

   方式二：手动下载（推荐国内用户） 访问 Hugging Face 模型页 下载文件，或使用镜像站（如 hf-mirror.com）：

   export HF_ENDPOINT=https://hf-mirror.com
   huggingface-cli download --resume-download gnobitab/InstaFlow-0.9B --local-dir ./models/InstaFlow-0.9B
   

基本使用

1. 命令行快速推理

运行以下命令即可通过文本提示生成图像（单步推理）：

python inference.py \
    --model_path "gnobitab/InstaFlow-0.9B" \
    --prompt "A photograph of a snowy mountain near a beautiful lake under sunshine" \
    --output_dir "./outputs" \
    --num_images 4

注：若使用手动下载的模型，将 --model_path 改为本地路径，例如 ./models/InstaFlow-0.9B。

2. 启动本地 Gradio 界面

为了方便交互式体验，项目提供了本地 Gradio Demo：

python app.py --model_path "gnobitab/InstaFlow-0.9B"

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可输入提示词并实时生成图像。

3. Python 代码调用示例

在你的 Python 脚本中集成 InstaFlow：

import torch
from diffusers import AutoPipelineForText2Image

# 加载模型
pipeline = AutoPipelineForText2Image.from_pretrained(
    "gnobitab/InstaFlow-0.9B", 
    torch_dtype=torch.float16
)
pipeline.to("cuda")

# 生成图像
prompt = "A cyberpunk city at night, neon lights, highly detailed"
image = pipeline(prompt, num_inference_steps=1).images[0]

# 保存结果
image.save("instaflow_result.png")

提示：num_inference_steps 必须设置为 1 以发挥 InstaFlow 的单步加速优势。支持配合 LoRA 和 ControlNet 使用，具体参数可参考官方仓库文档。