GLIGEN：开放集接地文本到图像生成（CVPR 2023）

李宇恒、刘浩天、吴庆阳、穆方舟、杨建伟、高剑峰、李春元*、李永在* (*共同资深作者)

[项目页面] [论文] [演示] [YouTube 视频]

• GLIGEN 不仅限于文本提示：它使冻结的文本到图像生成模型具备新能力，能够基于多种类型的提示进行定位，包括边界框、关键点和图像。
• GLIGEN 在 COCO 和 LVIS 数据集上的零样本性能大幅超越现有的有监督布局到图像基线。

:fire: 新闻

• [2023.11.2] GLIGEN 已集成到 LLaVA-Interactive 中：一个用于图像聊天、分割、生成和编辑的一体化演示。通过视觉聊天体验交互式图像编辑的未来。 [项目页面] [演示] [代码] [论文]

• [2023.04.18] 我们更新了 arXiv 论文。我们在 这里 解释了 GLIGEN 与 ControlNet 的区别，以帮助研究人员更好地深入理解。

• [2023.04.08] GLIGEN 已与 Grounding DINO 结合使用，这使得人类无需再手动标注边界框及其概念。给定一个语言提示，Grounding DINO 会用边界框定位相关概念：图像 → (框, 概念)，然后 GLIGEN 对图像进行修复：(框, 概念) → 图像：

• [2023.03.22] 我们发布的 diffusers 分支，支持基于文本-框条件的生成和修复功能，现已推出。现在速度更快、更灵活，并且可以自动从 Hugging Face Hub 下载并加载模型！快来试试吧！
• [2023.03.20] 关注 接地图像生成 等领域的最新研究进展，例如 GLIGEN，请查看 Computer Vision in the Wild (CVinW) 阅读清单。
• [2023.03.19] Yannic Kilcher 在其最新的 YouTube 视频中介绍了 GLIGEN，视频主题为 AI 领域最繁忙的一周。
• [2023.03.05] Gradio 演示代码已在 GLIGEN/demo 中发布。
• [2023.03.03] 代码库和检查点已发布。
• [2023.02.28] 论文已被 CVPR 2023 接受。
• [2023.01.17] GLIGEN 论文和演示正式发布。

要求

我们提供了 dockerfile 来设置环境。

下载 GLIGEN 模型

我们提供了十个针对不同应用场景的检查点。所有模型均基于 SD-V-1.4。

模式	模态	下载
生成	边框+文本	HF Hub
生成	边框+文本+图像	HF Hub
生成	关键点	HF Hub
修复	边框+文本	HF Hub
修复	边框+文本+图像	HF Hub
生成	边缘图	HF Hub
生成	Canny 图	HF Hub
生成	深度图	HF Hub
生成	语义图	HF Hub
生成	法线图	HF Hub

请注意，提供的语义图检查点仅在 ADE20K 数据集上训练；法线图检查点仅在 DIODE 数据集上训练。

推理：使用 GLIGEN 生成图像

我们提供了一个脚本，用于使用提供的检查点生成图像。首先下载模型并将其放入 gligen_checkpoints 目录中，然后运行：

python gligen_inference.py

每个检查点的示例样本将保存在 generation_samples 目录中。更多关于接口的详细信息，请参阅 gligen_inference.py。

训练

基于接地的生成训练

首先需要为不同的接地模态条件准备数据。有关我们用于不同 GLIGEN 模型的数据，请参阅 data。数据准备好后，可以使用以下命令来训练 GLIGEN。（我们支持多 GPU 训练）

python main.py --name=your_experiment_name  --yaml_file=path_to_your_yaml_config

其中 --yaml_file 是最重要的参数。下面我们将通过一个示例来解释关键组件，以便您熟悉我们的代码，并了解如何针对自己的接地模态自定义训练。其他参数从名称上即可理解。实验结果将保存在 OUTPUT_ROOT/name 目录下。

您可以参考 configs/flicker_text.yaml 作为示例。可以看到，该 YAML 文件定义了 5 个组件：diffusion、model、autoencoder、text_encoder、train_dataset_names 和 grounding_tokenizer_input。通常情况下，diffusion、autoencoder 和 text_encoder 不应更改，因为它们是由 Stable Diffusion 定义的。需要注意的是：

• 在 model 中，我们添加了一个新的参数 grounding_tokenizer，用于定义一个生成接地标记的网络。该网络将在模型中实例化。有关如何定义此网络的详细信息，请参阅 ldm/modules/diffusionmodules/grounding_net_example.py。
• grounding_tokenizer_input 将定义一个网络，它接收来自数据加载器的批量数据，并为接地标记器生成输入。换句话说，它是数据加载器和接地标记器之间的中间层。有关如何定义此类别的详细信息，请参阅 grounding_input/__init__.py。
• train_dataset_names 应列出一系列数据集名称（所有数据集将在内部连接在一起，因此将多个数据集合并进行训练非常有用）。每个数据集名称都应首先在 dataset/catalog.py 中注册。我们已经列出了所有使用的数据集；如果您需要在自己的模态数据集上训练 GLIGEN，请务必先将其名称添加到该文件中。

基于接地的修复训练

GLIGEN 还支持修复训练。可以使用以下命令：

python main.py --name=your_experiment_name  --yaml_file=path_to_your_yaml_config --inpaint_mode=True  --ckpt=path_to_an_adapted_model

通常，我们会先在生成任务上训练 GLIGEN（例如文本接地生成），此时该模型的输入卷积层有 4 个通道（Stable Diffusion 的潜在空间）。然后，我们将保存的检查点修改为 9 个通道，新增的 5 个通道初始化为 0。这种继续训练可以加快收敛速度并获得更好的效果。path_to_an_adapted_model 指的是这个修改后的检查点，可以使用 convert_ckpt.py 来修改检查点。注意：生成和修复训练使用的 YAML 文件是相同的，只需将 --inpaint_mode 参数更改为 True 即可。

引用

@article{li2023gligen,
  title={GLIGEN: Open-Set Grounded Text-to-Image Generation},
  author={Li, Yuheng and Liu, Haotian and Wu, Qingyang and Mu, Fangzhou and Yang, Jianwei and Gao, Jianfeng and Li, Chunyuan and Lee, Yong Jae},
  journal={CVPR},
  year={2023}
}

免责声明

原始 GLIGEN 部分是在第一作者于威斯康星大学麦迪逊分校工作期间，在微软兼职实习时实现的。本仓库使用大学提供的 GPU，以 PyTorch 重新实现了 GLIGEN。尽管实现上存在一些细微差异，但本仓库旨在出于研究目的重现论文中的结果和观察。

使用条款

我们对模型检查点和演示的使用有严格的条款和条件限制，仅允许符合 Latent Diffusion Model 和 Stable Diffusion 许可协议的用途。

更广泛的影响

值得注意的是，我们的模型 GLIGEN 专为开放世界的文本接地图像生成而设计，支持标题和各种条件输入（如边界框）。然而，我们也认识到负责任的人工智能的重要性，以及清晰传达我们研究能力和局限性的必要性。虽然接地能力能够很好地泛化到新颖的空间配置和概念上，但在超出其设计范围或预期用途的情境中，模型的表现可能不佳。我们强烈反对在可能导致生成误导性或恶意图像的情况下滥用该模型。此外，我们也承认用于训练模型的数据中可能存在偏见，因此需要持续评估和改进以解决这些问题。为确保透明度和问责制，我们附上了模型卡片，其中描述了模型的预期用途、局限性以及潜在的偏见。我们鼓励用户在将我们的技术应用于新场景时参考该模型卡片，并谨慎行事。我们希望我们的工作能够激发更多关于人工智能伦理影响以及新技术开发中透明度和问责制重要性的研究和讨论。

GLIGEN 快速上手指南

GLIGEN 是一个开源的“开放集接地文本到图像生成”模型，能够在冻结的文本生成图像模型（如 Stable Diffusion）基础上，增加对边界框（Box）、关键点（Keypoints）和参考图像等多种条件的控制能力。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 8GB 以上）
• Python: 3.8 或更高版本

前置依赖

官方推荐使用 Docker 环境以避免依赖冲突。如果您选择手动安装，请确保已安装 PyTorch 和相关的深度学习库。

方案 A：使用 Docker（推荐） 项目提供了 Dockerfile，位于 env_docker/ 目录下。

cd env_docker
docker build -t gligen_env .

方案 B：手动安装 Conda 环境 如果没有 Docker，可参考以下基础依赖安装（具体版本请以 requirements.txt 为准，若项目中未提供，通常需安装 stable-diffusion 相关依赖）：

conda create -n gligen python=3.8
conda activate gligen
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install opencv-python pillow einops omegaconf gradio diffusers transformers
# 其他依赖请参考项目根目录下的隐式需求或报错补充

2. 安装步骤与模型下载

克隆代码库

git clone https://github.com/gligen/GLIGEN.git
cd GLIGEN

下载预训练模型

GLIGEN 提供了多种场景的 checkpoints（基于 SD-V-1.4）。请将下载的模型文件放入项目根目录下的 gligen_checkpoints 文件夹中。

以下是常用模型的下载链接（源自 Hugging Face，国内用户若访问缓慢可使用镜像站或代理）：

模式	条件类型	下载链接
生成 (Generation)	文本 + 边界框 (Box+Text)	下载链接
生成 (Generation)	文本 + 边界框 + 图像	下载链接
生成 (Generation)	关键点 (Keypoint)	下载链接
修复 (Inpainting)	文本 + 边界框	下载链接
生成 (Generation)	Canny 边缘图	下载链接
生成 (Generation)	深度图 (Depth)	下载链接

注意：语义地图（Semantic map）模型仅在 ADE20K 数据集上训练，法线图（Normal map）模型仅在 DIODE 数据集上训练。

目录结构示例：

GLIGEN/
├── gligen_checkpoints/
│   ├── diffusion_pytorch_model.bin  (此处放入下载的模型文件)
├── gligen_inference.py
└── ...

3. 基本使用

运行推理脚本

模型下载并放置到位后，运行官方提供的推理脚本即可生成图像。默认配置会加载预设的测试样本。

python gligen_inference.py

生成的示例图片将保存在 generation_samples 目录中。

自定义使用

若要修改输入条件（如自定义文本、边界框坐标或参考图），请直接编辑 gligen_inference.py 文件。该脚本展示了如何调用接口：

1. 加载模型：指定 checkpoint 路径。
2. 准备条件：构建 grounding tokens（如边界框坐标列表、关键点坐标或特征图）。
3. 生成图像：调用扩散模型进行采样。

进阶提示： 如果您希望体验更灵活、支持自动从 Hugging Face Hub 下载模型的版本，可以使用基于 diffusers 的分支：

# 参考官方 diffusers 分支实现（需单独克隆或切换分支）
# https://github.com/gligen/diffusers/tree/gligen/examples/gligen

结合 Grounding DINO 实现全自动标注

若不想手动绘制边界框，可将 GLIGEN 与 Grounding DINO 结合。流程如下：

1. 输入语言提示词。
2. Grounding DINO 自动定位概念并输出 (box, concept)。
3. GLIGEN 接收这些信息进行图像生成或修复。

(具体集成代码请参考项目新闻部分提到的 Grounding DINO 集成示例)