MultiDiffusion：融合扩散路径实现可控图像生成（ICML 2023）

[项目页面]

MultiDiffusion 是一个统一的框架，能够在不进行任何额外训练或微调的情况下，利用预训练的文本到图像扩散模型实现多样化且可控的图像生成，具体描述见 (论文链接)。

近年来，基于扩散模型的文本到图像生成技术在图像质量方面取得了突破性进展。然而，用户对生成图像的可控性以及快速适应新任务的能力仍然是一个尚未解决的挑战，目前主要依赖于成本高昂且耗时的重新训练和微调，或者针对特定图像生成任务的临时性调整。在本工作中，我们提出了 MultiDiffusion，这是一个统一的框架，能够在不进行任何进一步训练或微调的情况下，利用预训练的文本到图像扩散模型实现多样化且可控的图像生成。我们的方法核心是一种新的生成过程，基于优化任务，将多个扩散生成过程通过共享的参数或约束联系在一起。我们证明，MultiDiffusion 可以轻松应用于生成高质量、多样化的图像，同时满足用户提供的控制要求，例如所需的宽高比（如全景图）以及从精细分割掩码到边界框等空间引导信号。

更多信息请访问 项目主页。

Diffusers 集成

MultiDiffusion Text2Panorama 已集成到 diffusers 中，运行方式如下：

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_ckpt = "stabilityai/stable-diffusion-2-base"
scheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16
)

pipe = pipe.to("cuda")

prompt = "a photo of the dolomites"
image = pipe(prompt).images[0]

Gradio 演示

我们为该方法提供了一个 Gradio 用户界面。在终端中运行以下命令即可启动演示：

python app_gradio.py

该演示也在 HuggingFace 上托管，地址为 这里。

空间控制

空间控制功能的网页演示已在 HuggingFace 上托管，地址为 这里。

引用

@article{bar2023multidiffusion,
  title={MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation},
  author={Bar-Tal, Omer and Yariv, Lior and Lipman, Yaron and Dekel, Tali},
  journal={arXiv preprint arXiv:2302.08113},
  year={2023}
}

MultiDiffusion 快速上手指南

MultiDiffusion 是一个统一的框架，能够利用预训练的文本到图像扩散模型，在无需额外训练或微调的情况下，实现多样化且可控的图像生成（如全景图生成、区域控制等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置 WSL2 或兼容环境)
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU (显存建议 8GB 以上)，并安装对应的 CUDA 驱动
• PyTorch: 版本 >= 1.10.0
• 依赖库: diffusers, transformers, accelerate, gradio (如需运行本地 Demo)

国内加速建议： 建议使用国内镜像源安装 Python 依赖，以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

拉取 Hugging Face 模型时，可设置环境变量使用镜像：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

您可以选择直接通过 pip 安装核心依赖库（推荐用于开发集成），或克隆仓库运行完整 Demo。

方式一：安装核心依赖 (推荐)

如果您只想在代码中使用 MultiDiffusion 的功能（如全景生成）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：克隆仓库运行完整项目

如果您希望运行官方提供的 Gradio 界面或示例脚本：

git clone https://github.com/omerbt/MultiDiffusion.git
cd MultiDiffusion
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

MultiDiffusion 已集成至 diffusers 库中。以下是最简单的使用示例，展示如何生成一张全景图片。

代码示例：生成全景图

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

# 指定模型检查点
model_ckpt = "stabilityai/stable-diffusion-2-base"

# 初始化调度器和管道
scheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16
)

# 将管道移动到 GPU
pipe = pipe.to("cuda")

# 定义提示词并生成图像
prompt = "a photo of the dolomites"
image = pipe(prompt).images[0]

# 保存结果
image.save("panorama_output.png")

运行本地 Gradio 演示

如果您克隆了完整仓库，可以通过以下命令启动本地 Web UI，体验包括空间控制（Spatial Controls）在内的更多功能：

python app_gradio.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可使用。