混合潜在扩散 [SIGGRAPH 2023]

Blended Latent Diffusion

Omri Avrahami, Ohad Fried, Dani Lischinski

摘要：神经图像生成技术的巨大进步，加上看似全能的视觉-语言模型的出现，最终使得基于文本的图像创建和编辑界面成为可能。处理通用图像需要一个多样化的底层生成模型，因此最新的工作利用了扩散模型，这些模型在多样性方面被证明超越了 GANs。然而，扩散模型的一个主要缺点是推理时间相对较慢。在本文中，我们提出了一种加速解决方案，用于局部文本驱动的通用图像编辑任务，其中所需的编辑被限制在用户提供的掩码区域内。我们的解决方案利用了最新的文本到图像潜在扩散模型（Latent Diffusion Model, LDM），该模型通过在低维潜在空间中操作来加速扩散过程。我们首先通过将混合扩散（Blended Diffusion）技术融入其中，将 LDM 转换为局部图像编辑器。接着，我们针对该 LDM 固有的无法精确重建图像的问题，提出了一种基于优化的解决方案。最后，我们解决了使用细长掩码进行局部编辑的场景。我们通过定性和定量评估将我们的方法与现有基线进行比较，结果表明，除了速度更快之外，我们的方法在实现更高精度的同时，还能减轻基线方法产生的一些伪影。

应用

背景编辑

文本生成

多重预测

修改现有物体

添加新物体

涂鸦编辑

安装

安装 conda 虚拟环境：

$ conda env create -f environment.yaml
$ conda activate ldm

使用方法

新功能 :fire: - Stable Diffusion 实现

您可以使用基于 Diffusers 库的较新的 Stable Diffusion 实现。 为此，您需要通过以下命令安装 PyTorch 2.1 和 Diffusers：

$ conda install pytorch==2.1.0 torchvision==0.16.0  pytorch-cuda=11.8 -c pytorch -c nvidia
$ pip install -U diffusers==0.19.3

• 若要使用 Stable Diffusion XL（需要更强的 GPU），请使用以下脚本：

$ python scripts/text_editing_SDXL.py --prompt "a stone" --init_image "inputs/img.png" --mask "inputs/mask.png"

您可以使用较小的 --batch_size 来节省 GPU 内存。

• 若要使用 Stable Diffusion v2.1，请使用以下脚本：

$ python scripts/text_editing_SD2.py --prompt "a stone" --init_image "inputs/img.png" --mask "inputs/mask.png"

旧版本 - 潜在扩散模型实现

若要使用基于潜在扩散模型（Latent Diffusion Model, LDM）的旧实现，您首先需要下载预训练权重（5.7GB）：

$ mkdir -p models/ldm/text2img-large/
$ wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

如果上述链接失效，您可以使用此镜像链接。

然后，编辑图像可能需要两个步骤：

步骤 1 - 生成初始预测

$ python scripts/text_editing_LDM.py --prompt "a pink yarn ball" --init_image "inputs/img.png" --mask "inputs/mask.png"

预测结果将保存在 outputs/edit_results/samples 目录中。

您可以通过指定 --n_samples 参数来使用更大的批处理大小，最大可达您 GPU 的饱和数量。

步骤 2（可选）- 重建原始背景

如果您想重建原始图像背景，可以运行以下命令：

$ python scripts/reconstruct.py --init_image "inputs/img.png" --mask "inputs/mask.png" --selected_indices 0 1

您可以选择要重建的特定图像索引。结果将保存在 outputs/edit_results/samples/reconstructed_optimization 目录中。

引用

如果您发现此项目对您的研究有用，请引用以下内容：

@article{avrahami2023blendedlatent,
        author = {Avrahami, Omri and Fried, Ohad and Lischinski, Dani},
        title = {Blended Latent Diffusion},
        year = {2023},
        issue_date = {August 2023},
        publisher = {Association for Computing Machinery},
        address = {New York, NY, USA},
        volume = {42},
        number = {4},
        issn = {0730-0301},
        url = {https://doi.org/10.1145/3592450},
        doi = {10.1145/3592450},
        journal = {ACM Trans. Graph.},
        month = {jul},
        articleno = {149},
        numpages = {11},
        keywords = {zero-shot text-driven local image editing}
}

@InProceedings{Avrahami_2022_CVPR,
        author    = {Avrahami, Omri and Lischinski, Dani and Fried, Ohad},
        title     = {Blended Diffusion for Text-Driven Editing of Natural Images},
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
        month     = {June},
        year      = {2022},
        pages     = {18208-18218}
}

致谢

此代码基于 Latent Diffusion Models。

Blended Latent Diffusion 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 Windows（建议 Linux）
• GPU：支持 CUDA 的 NVIDIA GPU（至少 8GB 显存）
• 内存：建议 16GB 以上

前置依赖

• Conda（用于环境管理）
• Python 3.8+
• CUDA 11.8（与 PyTorch 版本匹配）

安装步骤

1. 创建并激活 Conda 环境

# 创建环境（从项目提供的 yaml 文件）
$ conda env create -f environment.yaml

# 激活环境
$ conda activate ldm

2. 安装 Stable Diffusion 实现（推荐）

此方法基于 Diffusers 库，安装更简便：

# 安装 PyTorch 2.1 及相关组件
$ conda install pytorch==2.1.0 torchvision==0.16.0 pytorch-cuda=11.8 -c pytorch -c nvidia

# 安装 Diffusers 库
$ pip install -U diffusers==0.19.3

3. 备选方案：安装原版 Latent Diffusion Model

如需使用原版实现，需下载预训练权重（5.7GB）：

# 创建模型目录
$ mkdir -p models/ldm/text2img-large/

# 下载权重文件（如官方链接失效，可使用下方镜像链接）
$ wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

# 镜像链接（备用）
# https://huggingface.co/omriav/blended-latent-diffusion-ldm/resolve/main/model.ckpt?download=true

基本使用

使用 Stable Diffusion XL（效果更好，需要更强 GPU）

$ python scripts/text_editing_SDXL.py \
    --prompt "a stone" \
    --init_image "inputs/img.png" \
    --mask "inputs/mask.png"

使用 Stable Diffusion v2.1（显存要求较低）

$ python scripts/text_editing_SD2.py \
    --prompt "a stone" \
    --init_image "inputs/img.png" \
    --mask "inputs/mask.png"

使用原版 Latent Diffusion Model

第一步：生成编辑结果

$ python scripts/text_editing_LDM.py \
    --prompt "a pink yarn ball" \
    --init_image "inputs/img.png" \
    --mask "inputs/mask.png" \
    --n_samples 4  # 可调整生成数量（根据 GPU 显存）

结果将保存至 outputs/edit_results/samples

第二步：重建原始背景（可选）

$ python scripts/reconstruct.py \
    --init_image "inputs/img.png" \
    --mask "inputs/mask.png" \
    --selected_indices 0 1  # 选择要重建的图片索引

重建结果将保存至 outputs/edit_results/samples/reconstructed_optimization

参数说明

• --prompt：编辑提示词（英文）
• --init_image：原始图片路径
• --mask：掩码图片路径（白色区域表示编辑区域）
• --n_samples：生成图片数量（默认 1）
• --selected_indices：选择要处理的图片索引（从 0 开始）

文件结构准备

项目目录/
├── inputs/
│   ├── img.png      # 原始图片
│   └── mask.png     # 掩码图片（黑白图，白色为编辑区域）
└── scripts/         # 脚本目录

注意：首次运行时会自动下载所需模型文件，请确保网络连接正常。