多功能扩散模型

本仓库托管了以下工作的官方实现：

Xingqian Xu、Atlas Wang、Eric Zhang、Kai Wang 和 Humphrey Shi，多功能扩散模型：文本、图像及变体一体化扩散模型，论文 arXiv 链接。

最新消息

• [2023.02.07]：我们的全新演示已在 🤗Hugging Face 上线运行！
• [2023.02.07]：多功能扩散模型代码的重大更新，优化了模型代码结构，并在便捷的 WebUI 中支持所有应用。
• [之前]：请参阅已弃用的 README。

简介

我们构建了多功能扩散模型（VD），这是首个统一的多流多模态扩散框架，旨在迈向通用生成式人工智能。多功能扩散模型原生支持图像到文本、图像变体、文本到图像以及文本变体，并可进一步扩展至语义风格解耦、图文双引导生成、潜在空间中的图像-文本-图像编辑等更多应用。未来版本还将支持语音、音乐、视频和 3D 等更多模态。

网络与框架

多功能扩散模型的一个单一流程包含一个 VAE、一个扩散器和一个上下文编码器，因此它在一个数据类型（如图像）和一种上下文类型（如文本）下处理一项任务（如文本到图像）。多功能扩散模型的多流结构如下图所示：

基于多功能扩散模型，我们进一步提出了一种广义的多流多模态框架，该框架包含 VAE、上下文编码器和扩散器，每个组件都由三层组成（即全局层、数据层和上下文层）。为了将新的多模态任务纳入该框架，我们需要满足以下要求：

• 核心扩散器的设计应包含共享的全局层，以及可根据数据和上下文类型相应激活的可交换的数据层和上下文层。
• VAE 的选择应能将数据平滑地映射到高度可解释的潜在空间中。
• 上下文编码器的选择应联合最小化所有支持内容类型的跨模态统计距离。

性能

数据

我们以 Laion2B-en 数据集为基础，并结合自定义数据过滤器作为主要数据集。由于 Laion2B 数据量非常庞大，而典型的训练过程通常不足一个 epoch，因此我们通常无需下载完整的数据集进行训练。多功能扩散模型也是如此。

我们代码中 Laion2B 数据的目录结构如下：

├── data
│   └── laion2b
│       └── data
│           └── 00000.tar
│           └── 00000.parquet
│           └── 00000_stats.jsom_
│           └── 00001.tar
│           └── ...

这些压缩数据是通过 img2dataset API 生成的，官方 GitHub 链接。

环境搭建

conda create -n versatile-diffusion python=3.8
conda activate versatile-diffusion
conda install pytorch==1.12.1 torchvision=0.13.1 -c pytorch
[或者] pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
pip install -r requirements.txt

预训练模型

所有预训练模型均可从 Hugging Face 下载，链接。预训练文件夹应包含以下文件：

├── pretrained
│   └── kl-f8.pth
│   └── optimus-vae.pth
│   └── vd-four-flow-v1-0.pth
│   └── vd-four-flow-v1-0-fp16.pth

名称带 -fp16 的模型为使用 float16 参数的模型，其大小仅为 float32 模型的一半。

推理

我们现在提供了一个便捷的 WebUI app.py，支持所有应用。可通过以下命令启动 WebUI：

python app.py

WebUI 包含以下新特性：

• 改进并增强了图像变体功能
• 新增三重上下文图像混合器（支持两张带有可选掩码的图像 + 文本）
• 新增多上下文图像混合器（支持最多四张带有可选掩码的图像 + 文本）

以下旧功能已被暂时禁用：

• I2T2I 已下线。我们正在寻找更好的图像编辑方法。

作品展示

文本到图像

图像变体

具有语义聚焦的图像变体

双引导

引用

@article{xu2022versatile,
	title        = {Versatile Diffusion: Text, Images and Variations All in One Diffusion Model},
	author       = {Xingqian Xu, Zhangyang Wang, Eric Zhang, Kai Wang, Humphrey Shi},
	year         = 2022,
	url          = {https://arxiv.org/abs/2211.08332},
	eprint       = {2211.08332},
	archiveprefix = {arXiv},
	primaryclass = {cs.CV}
}

致谢

部分代码重新组织或实现了来自以下仓库的代码：LDM 官方 GitHub，该仓库同样源自 DDPM 官方 GitHub。

Versatile Diffusion 快速上手指南

Versatile Diffusion (VD) 是首个统一的多流多模态扩散框架，支持文生图、图生文、图像变体生成及文本变体等多种任务。本指南将帮助你快速在本地部署并运行该模型。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.8
• 深度学习框架: PyTorch 1.12.1 + CUDA 11.3 (或其他兼容版本)
• 硬件要求: 建议配备 NVIDIA GPU (显存建议 8GB 以上，使用 fp16 模型可降低显存需求)

安装步骤

1. 创建并激活虚拟环境

推荐使用 Conda 管理环境：

conda create -n versatile-diffusion python=3.8
conda activate versatile-diffusion

2. 安装 PyTorch

方案 A：官方源安装 (CUDA 11.3)

conda install pytorch==1.12.1 torchvision=0.13.1 -c pytorch

方案 B：国内镜像源加速 (清华大学镜像站) 如果下载速度较慢，推荐使用清华源安装指定版本：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

3. 安装项目依赖

克隆仓库后进入目录，安装 requirements.txt：

pip install -r requirements.txt

(注：若 pip 下载慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数)

4. 下载预训练模型

所有预训练模型可从 Hugging Face 下载。 请将以下文件下载到项目根目录下的 pretrained 文件夹中（需手动创建该文件夹）：

• kl-f8.pth
• optimus-vae.pth
• vd-four-flow-v1-0.pth (浮点 32 位完整版)
• vd-four-flow-v1-0-fp16.pth (浮点 16 位精简版，推荐显存有限的用户使用)

目录结构应如下所示：

├── pretrained
│   ├── kl-f8.pth
│   ├── optimus-vae.pth
│   ├── vd-four-flow-v1-0.pth
│   └── vd-four-flow-v1-0-fp16.pth

基本使用

项目提供了一个功能完善的 WebUI (app.py)，支持所有核心功能（包括增强的图像变体生成、三重上下文图像混合器等）。

启动 WebUI

在项目根目录下运行以下命令：

python app.py

启动成功后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860）。在浏览器中打开该地址即可使用图形界面进行以下操作：

• Text-to-Image: 文生图
• Image-Variation: 图像变体生成（支持语义聚焦）
• Multi-Context Image Blender: 多图像混合（支持最多 4 张图像 + 掩码 + 文本提示）
• Dual-guided: 双引导生成

注意: 目前 "I2T2I" (Image-to-Text-to-Image) 编辑功能暂时离线，开发团队正在重构更优的图像编辑方案。