ELLA & EMMA

ELLA 论文: ELLA: 为扩散模型配备大语言模型以增强语义对齐 项目官网: ELLA

EMMA 论文: EMMA: 您的文本到图像扩散模型可以秘密地接受多模态提示 项目官网: EMMA

ELLA: 为扩散模型配备大语言模型以增强语义对齐

“ELLA: 为扩散模型配备大语言模型以增强语义对齐”的官方代码。

🌟 更改记录

• [2024.6.14] 🔥🔥 EMMA: 技术报告, 项目官网
• [2024.5.13] EMMA 即将发布。让我们先预览一下 EMMA 的成果：中文版，英文版
• [2024.4.19] 我们提供了 ELLA 的 ComfyUI 插件：TencentQQGYLab/ComfyUI-ELLA
• [2024.4.11] 添加了一些 EMMA（高效多模态适配器） 的结果
• [2024.4.9] 🔥🔥🔥 发布了 ELLA-SD1.5 检查点！欢迎大家试用！
• [2024.3.11] 🔥 发布了 DPG-Bench！欢迎大家试用！
• [2024.3.7] 初始更新

🚀 使用方法

下载

您可以从 QQGYLab/ELLA 下载 ELLA 模型。

快速查看

# 在 https://huggingface.co/QQGYLab/ELLA/blob/main/ella-sd1.5-tsc-t5xl.safetensors 获取 ELLA-SD1.5

# 比较 ella-sd1.5 和 sd1.5
# 将在 `./assets/ella-inference-examples` 生成图片
python3 inference.py test --save_folder ./assets/ella-inference-examples --ella_path /path/to/ella-sd1.5-tsc-t5xl.safetensors

构建一个比较 SD1.5 和 ELLA-SD1.5 的演示

GRADOI_SERVER_NAME=0.0.0.0 GRADIO_SERVER_PORT=8082 python3 ./inference.py demo /path/to/ella-sd1.5-tsc-t5xl.safetensors

在 ComfyUI 中使用 ELLA

我们提供了 ELLA 的 ComfyUI 插件：TencentQQGYLab/ComfyUI-ELLA，它支持 ControlNet、img2img 等功能。欢迎您尝试使用。

感谢 @ExponentialML 和 @kijai，他们为 ELLA 提供了第三方 ComfyUI 插件：

1. ExponentialML/ComfyUI_ELLA
2. kijai/ComfyUI-ELLA-wrapper

📙 注意事项

ELLA 目前仍处于研究的早期阶段，我们尚未对 ELLA 的所有潜在应用进行全面测试。我们欢迎社区提出建设性的友好建议。

在此，我们分享一些目前发现的关于如何更好地利用 ELLA 的技巧：

1. 文本描述升级

ELLA 是使用 MLLM 标注的合成文本描述进行训练的。正如 通过更好的文本描述提升图像生成 中所述，在使用 ELLA 之前对输入文本描述进行“上采样”处理，可以充分发挥其潜力。

我们发现，利用大语言模型的上下文学习（ICL）能力，可以轻松实现一个文本描述升级器：

示例指令：

请根据给定的示例，将简短的提示词扩展为较长的版本。长提示词应由 3 到 5 句话组成。长提示词必须明确描述所包含物体的颜色、形状、纹理或空间关系。切勿生成任何关于氛围的描述！！！

短：一只闭着眼睛的三花猫栖息在一辆梅赛德斯车上。
长：一只色彩斑斓的猫栖息在一辆闪亮的黑色汽车顶部。这辆车停在一栋木墙建筑前，旁边有一道绿色栅栏。汽车光洁的表面映照出车辆及周围环境的倒影。

短：一个男孩坐在椅子上，手里拿着游戏手柄。
长：一位身穿蓝色衬衫和带有字母“m”字样的棒球帽的小男孩正坐在椅子上。他脖子上挂着一枚红色奖章，手中握着一个白色的游戏控制器。在他身后还有另外两个人，其中一人背着背包。男孩右侧有一个蓝色的垃圾桶，上面贴着“自动派对”的标志。

短：一名男子在水边钓鱼。
长：一片宁静的水景，一位身穿蓝色夹克和红色毛线帽的人站在浅水中，用一根长竿钓鱼。平静的水面远处停靠着几艘帆船，背景则是一片云雾缭绕的山脉。

短：一间厨房，台面杂乱，配有木质橱柜。
长：一间光线充足的厨房，拥有木质橱柜、黑白相间的方格地砖以及侧面贴有花卉贴纸的冰箱。厨房台面上摆放着咖啡机、罐子和水果等物品。

短：一只浣熊高举着一颗闪亮的红苹果

使用：https://huggingface.co/spaces/Qwen/Qwen-72B-Chat-Demo

得到的结果：

一只顽皮的浣熊站立在后腿上，用它毛茸茸的爪子高高举起一颗鲜红的苹果。苹果在茂密森林的背景下熠熠生辉，树叶在微风中沙沙作响。浣熊脚下散落着几块石头，旁边还矗立着一棵粗糙的树干。

文本描述升级前后对比

原始提示词：一只浣熊高举着一颗闪亮的红苹果

SD1.5	ELLA-SD1.5_固定token长度	ELLA-SD1.5_灵活token长度

Qwen-72B 优化后的文本描述：一只顽皮的浣熊站立在后腿上，用它毛茸茸的爪子高高举起一颗鲜红的苹果。苹果在茂密森林的背景下熠熠生辉，树叶在微风中沙沙作响。浣熊脚下散落着几块石头，旁边还矗立着一棵粗糙的树干。

SD1.5	ELLA-SD1.5_固定token长度	ELLA-SD1.5_灵活token长度

原始提示词：穿着毛衣的鳄鱼

SD1.5	ELLA-SD1.5_固定token长度	ELLA-SD1.5_灵活token长度

GPT4 优化后的文本描述：一只体型巨大的绿色鳄鱼，皮肤布满纹理，舒适地躺在草地上，身上披着一件可爱的橙色针织毛衣。毛衣领口处有着蓝黄相间的趣味条纹图案。背景中，一块光滑的灰色岩石部分遮挡了眼前小池塘的景色，池塘表面漂浮着睡莲叶。

SD1.5	ELLA-SD1.5_固定token长度	ELLA-SD1.5_灵活token长度

2. 灵活的 token 长度

在 ELLA 的训练过程中，使用了较长的合成文本描述，最大 token 数被设定为 128。当用短文本描述测试 ELLA 时，除了前面提到的文本描述上采样技术外，还可以采用“flexible_token_length”技巧。即把分词器的 max_length 设置为 None，从而取消任何文本的填充或截断操作。我们观察到，这一技巧有助于提升短文本描述对应的生成图像质量。

3. ELLA+CLIP 用于社区模型

我们的测试表明，一些严重依赖触发词的社区模型在使用 ELLA 时可能会出现显著的风格损失，主要原因是 ELLA 推理过程中完全未使用 CLIP。

尽管在训练过程中并未使用 CLIP，但我们发现仍可在推理阶段将 ELLA 的输入与 CLIP 的输出拼接起来（Bx77x768 + Bx64x768 -> Bx141x768），作为 UNet 的条件输入。我们预计，将 ELLA 与 CLIP 结合使用，能够更好地融入现有的社区生态体系，尤其是与 CLIP 特有的技术，如文本反转和触发词等。 我们的目标是确保 ELLA 能够与更广泛的社区模型兼容；然而，目前我们尚无全面的经验可供分享。如果您有任何建议，请在 issue 中告知我们，我们将不胜感激。

4. FlanT5 必须以 fp16 模式运行。

如 issues#23 所述，我们绝大多数实验都在 V100 上进行，而 V100 不支持 bf16，因此我们不得不使用 fp16 版本的 T5 进行训练。经过测试发现，fp16 版本的 T5 和 bf16 版本的 T5 在输出上的差异不容忽视，这导致生成的图像也存在明显区别。 因此，建议在推理时使用 fp16 版本的 T5。

📊 DPG-Bench

DPG-Bench 的使用指南：

1. 请根据我们的 提示词 生成图像。 建议每个提示词生成 4 张图像，并以 2x2 的格式排列。请确保您生成的图像文件名与提示词文件名一致。

2. 运行以下命令进行评估。

   bash dpg_bench/dist_eval.sh $YOUR_IMAGE_PATH $RESOLUTION
   

衷心感谢 DSG 的出色工作，我们遵循他们的指导，生成了 DPG-Bench 的问答内容。

🚧 EMMA - 高效多模态适配器（正在进行中）

正如 ELLA 论文的结论部分以及 issue#15 所述， 我们计划研究将 MLLM 与扩散模型相结合，从而在图像生成过程中利用交错的图文输入作为条件组件。以下是使用 EMMA-SD1.5 的一些非常早期的结果，敬请期待。

提示词	物体图像	结果
一位女士正穿着亮橙色滑雪服和护目镜，在雪山上滑雪。
一位女士身穿无袖球衣，在室外球场上打篮球。
一位女士穿着绿色迷彩夹克，背着背包，在茂密的森林中徒步旅行。
一只狗在雪天跳过一辆汽车
一只戴着粉红色眼镜的狗正在看书
一只狗站在山顶上，俯瞰壮丽的景色。远处是白雪皑皑的山峰，山谷间有一条蜿蜒的河流。

📝 待办事项

• 发布检查点
• 发布推理代码
• 发布 DPG-Bench

💡 其他

我们还发现了 LaVi-Bridge，这是一项独立但相似的工作，几乎同时完成，提供了 ELLA 未涵盖的额外见解。ELLA 和 LaVi-Bridge 之间的区别可以在 issue 13 中找到。我们非常欢迎其他研究人员和社区用户共同推动该领域的发展。

😉 引用

如果您发现 ELLA 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用我们：

@misc{hu2024ella,
      title={ELLA: 为扩散模型配备 LLM 以增强语义对齐}, 
      author={Xiwei Hu and Rui Wang and Yixiao Fang and Bin Fu and Pei Cheng and Gang Yu},
      year={2024},
      eprint={2403.05135},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

ELLA 快速上手指南

ELLA (Equip Diffusion Models with LLM) 是一个将大型语言模型（LLM）与扩散模型结合的工具，旨在通过增强语义对齐来提升文生图的质量。本指南帮助您快速部署并运行 ELLA-SD1.5。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡 (建议显存 16GB 以上，训练实验多在 V100 上进行)
• 依赖库: PyTorch, Transformers, Diffusers, Gradio 等

前置依赖安装： 建议使用虚拟环境（如 conda 或 venv），并安装基础深度学习库。国内用户可使用清华源加速安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
# 如果项目中没有 requirements.txt，请手动安装核心依赖：
pip install transformers diffusers accelerate gradio safetensors

注意：根据官方说明，FlanT5 模型必须在 fp16 模式下运行以获得最佳效果，请勿使用 bf16。

安装步骤

1. 克隆项目代码

从 GitHub 获取官方源代码：

git clone https://github.com/TencentQQGYLab/ELLA.git
cd ELLA

2. 下载模型权重

您需要从 Hugging Face 下载 ELLA 的检查点文件。

• 模型名称: ella-sd1.5-tsc-t5xl.safetensors
• 下载地址: QQGYLab/ELLA

国内加速下载方案： 如果直接连接 Hugging Face 困难，推荐使用镜像站或代理：

• 使用 hf-mirror：

  export HF_ENDPOINT=https://hf-mirror.com
  huggingface-cli download --resume-download QQGYLab/ELLA --local-dir ./models
  

• 或者手动下载后，将文件放置在项目目录中，记下其绝对路径。

基本使用

方式一：命令行推理测试

这是最简单的验证方式，用于对比原生 SD1.5 与 ELLA-SD1.5 的生成效果。

# 请将 /path/to/ella-sd1.5-tsc-t5xl.safetensors 替换为您实际的模型文件路径
python3 inference.py test --save_folder ./assets/ella-inference-examples --ella_path /path/to/ella-sd1.5-tsc-t5xl.safetensors

运行后，生成的图片将保存在 ./assets/ella-inference-examples 目录下。

方式二：启动 Web UI 演示

启动一个 Gradio 界面，方便交互式输入提示词并实时查看生成结果：

# 设置服务地址和端口，然后启动 demo
GRADIO_SERVER_NAME=0.0.0.0 GRADIO_SERVER_PORT=8082 python3 ./inference.py demo /path/to/ella-sd1.5-tsc-t5xl.safetensors

启动成功后，在浏览器访问 http://localhost:8082 即可使用。

💡 使用技巧：提示词优化 (Caption Upscale)

ELLA 在使用长描述性提示词时表现更佳。建议在输入前利用大模型（如 Qwen-72B 或 GPT-4）将简短提示词扩展为包含颜色、形状、纹理和空间关系的 3-5 句详细描述。

示例指令：

"Please generate the long prompt version of the short one... Long prompt version should consist of 3 to 5 sentences. Long prompt version must specify the color, shape, texture or spatial relation of the included objects."

此外，对于短提示词，可在代码中将 tokenizer 的 max_length 设置为 None 以启用灵活 token 长度策略，从而提升生成质量。

方式三：ComfyUI 集成

如果您习惯使用 ComfyUI，官方及社区提供了插件支持（含 ControlNet 等功能）：

• 官方插件：TencentQQGYLab/ComfyUI-ELLA
• 社区插件：ExponentialML/ComfyUI_ELLA