DALL·E Mini

如何使用？

您可以在 🖍️ craiyon 上使用该模型。

它是如何工作的？

请参阅我们的报告：

• DALL·E mini - 从任意文本提示生成图像
• DALL·E mini - 解释
• DALL·E mega - 训练日志

开发

依赖安装

仅用于推理时，使用 pip install dalle-mini。

开发时，请克隆仓库并使用 pip install -e ".[dev]"。

在提交 PR 之前，请使用 make style 检查代码风格。

您可以通过我们的 inference pipeline notebook 逐步体验整个流程。

DALL·E mini 的训练

使用 tools/train/train.py。

如果您需要进行超参数搜索，也可以调整 sweep 配置文件。

常见问题解答

最新模型在哪里可以找到？

训练好的模型位于 🤗 Model Hub：

• VQGAN-f16-16384 用于图像的编码和解码
• DALL·E mini 或 DALL·E mega 用于根据文本提示生成图像

Logo 来自哪里？

“牛油果形状的扶手椅”是由 OpenAI 在发布 DALL·E 时用来展示模型能力的。在这个提示上取得成功的预测对我们来说是一个重要的里程碑。

贡献

加入 LAION Discord 社区：LAION Discord。 无论您是报告问题、提出修复或改进建议，还是用有趣的提示测试模型，我们都欢迎您的参与！

您也可以使用社区中的这些优秀项目：

• 使用 DALL-E Playground 仓库 自行搭建应用（感谢 Sahar）

• 尝试 DALL·E Flow 项目，在人机协作的工作流中进行生成、扩散和超分辨率处理（感谢 Han Xiao）

  

• 在 Replicate 上运行，或者直接在浏览器中使用，亦可通过 API 调用

致谢

• 🤗 Hugging Face 组织了 FLAX/JAX 社区周
• Google TPU Research Cloud (TRC) 计划 提供了计算资源
• Weights & Biases 提供了实验跟踪和模型管理的基础设施

作者与贡献者

DALL·E mini 最初由以下人员开发：

• Boris Dayma
• Suraj Patil
• Pedro Cuenca
• Khalid Saifullah
• Tanishq Abraham
• Phúc Lê Khắc
• Luke Melas
• Ritobrata Ghosh

非常感谢那些帮助改进它的人：

• DALLE-Pytorch 和 EleutherAI 社区的成员们，他们进行了测试并分享了许多有趣的想法
• Rohan Anil 添加了分布式 Shampoo 优化器，并始终提供宝贵的建议
• Phil Wang 提供了许多优秀的 Transformer 变体实现，并通过 x-transformers 分享了有趣的见解
• Katherine Crowson 的 超级条件化
• Gradio 团队 为我们的应用打造了出色的用户界面

引用 DALL·E mini

如果您在研究中发现 DALL·E mini 有用，或希望引用它，请使用以下 BibTeX 条目。

@misc{Dayma_DALL·E_Mini_2021,
      author = {Dayma, Boris and Patil, Suraj and Cuenca, Pedro and Saifullah, Khalid and Abraham, Tanishq and Lê Khắc, Phúc and Melas, Luke and Ghosh, Ritobrata},
      doi = {10.5281/zenodo.5146400},
      month = {7},
      title = {DALL·E Mini},
      url = {https://github.com/borisdayma/dalle-mini},
      year = {2021}
}

参考文献

原始的 DALL·E 来自论文 “零样本文本到图像生成” ，其中图像量化部分参考了 “从自然语言监督中学习可迁移的视觉模型” 。

图像编码器来自 “驯服 Transformer 以实现高分辨率图像合成” 。

序列到序列模型基于 “BART: 用于自然语言生成、翻译和理解的去噪序列到序列预训练” ，并实现了几种变体：

• “GLU 变体改进 Transformer”
• “Deepnet: 将 Transformer 扩展到 1,000 层”
• “NormFormer: 通过额外的归一化改进 Transformer 预训练”
• “Swin Transformer: 使用移位窗口的分层视觉 Transformer”
• “CogView: 通过 Transformer 掌握文本到图像生成”
• “均方根层归一化”
• “Sinkformers: 具有双重随机注意力机制的 Transformer”
• “基础 Transformer”

主优化器（分布式 Shampoo）来自 “深度学习的可扩展二阶优化”。

引用文献

@misc{
  title={零样本文本到图像生成}, 
  author={阿迪提亚·拉梅什和米哈伊尔·帕夫洛夫和加布里埃尔·戈和斯科特·格雷和切尔西·沃斯和亚历克·拉德福德和马克·陈和伊利亚·苏茨克维尔},
  year={2021},
  eprint={2102.12092},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={从自然语言监督中学习可迁移的视觉模型}, 
  author={亚历克·拉德福德和钟宇·金和克里斯·霍拉西和阿迪提亚·拉梅什和加布里埃尔·戈和桑迪尼·阿加瓦尔和吉里什·萨斯特里和阿曼达·阿斯克尔和帕梅拉·米什金和杰克·克拉克和格雷琴·克鲁格和伊利亚·苏茨克维尔},
  year={2021},
  eprint={2103.00020},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={驯服Transformer以实现高分辨率图像合成}, 
  author={帕特里克·埃瑟和罗宾·伦巴赫和比约恩·奥默},
  year={2021},
  eprint={2012.09841},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={BART：用于自然语言生成、翻译和理解的去噪序列到序列预训练}, 
  author={迈克·刘易斯和尹汉·刘和纳曼·戈亚尔和马尔扬·加兹维内贾德和阿卜杜勒拉赫曼·穆罕默德和奥默·列维和韦斯·斯托亚诺夫和卢克·泽特勒莫耶},
  year={2019},
  eprint={1910.13461},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@misc{
  title={深度学习中的可扩展二阶优化},
  author={罗翰·阿尼尔和维尼特·古普塔和托默·科伦和凯文·里根和约拉姆·辛格},
  year={2021},
  eprint={2002.09018},
  archivePrefix={arXiv},
  primaryClass={cs.LG}
}

@misc{
  title={GLU变体改进Transformer},
  author={诺姆·沙泽尔},
  year={2020},
  url={https://arxiv.org/abs/2002.05202}    
}

 @misc{
  title={DeepNet：将Transformer扩展至1,000层},
  author={王洪宇和马书明和董立和黄绍涵和张东东和魏福儒},
  year={2022},
  eprint={2203.00555},
  archivePrefix={arXiv},
  primaryClass={cs.LG}
} 

@misc{
  title={NormFormer：通过额外归一化改进Transformer预训练},
  author={萨姆·施莱弗和杰森·韦斯顿和迈尔·奥特},
  year={2021},
  eprint={2110.09456},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@inproceedings{
  title={Swin Transformer V2：扩大容量和分辨率}, 
  author={齐刘和韩胡和林宇彤和姚祝良和谢振达和魏义轩和宁嘉和曹岳和张正和董立和魏福儒和郭百宁},
  booktitle={计算机视觉与模式识别国际会议（CVPR）},
  year={2022}
}

@misc{
  title = {CogView：通过Transformer掌握文本到图像生成},
  author = {丁明和杨卓毅和洪文义和郑文迪和周昌和殷达和林俊阳和邹旭和邵洲和杨红霞和唐杰},
  year = {2021},
  eprint = {2105.13290},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV}
}

@misc{
  title = {均方根层归一化},
  author = {张彪和里科·森尼希},
  year = {2019},
  eprint = {1910.07467},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG}
}

@misc{
  title = {Sinkformer：具有双随机注意力机制的Transformer},
  url = {https://arxiv.org/abs/2110.11773},
  author = {桑德·迈克尔·E.和阿布林·皮埃尔和布隆德尔·马蒂厄和佩雷·加布里埃尔},
  publisher = {arXiv},
  year = {2021},
}

@misc{
  title = {深度网络中的平滑激活函数与可重复性},
  url = {https://arxiv.org/abs/2010.09931},
  author = {沙米尔·吉尔·I.和董林和科维洛·洛伦佐},
  publisher = {arXiv},
  year = {2020},
}

@misc{
  title = {基础Transformer},
  url = {https://arxiv.org/abs/2210.06423},
  author = {王洪宇和马书明和黄绍涵和董立和王文辉和彭志亮和吴宇和巴贾杰·派娅尔和辛格哈尔·萨克沙姆和本海姆·阿隆和帕特拉·巴伦和刘准和乔杜里·维什拉夫和宋夏和魏福儒},
  publisher = {arXiv},
  year = {2022},
}

DALL·E Mini 快速上手指南

DALL·E Mini 是一个开源的文本生成图像模型，能够根据任意文本提示生成对应的图片。本指南将帮助开发者快速在本地环境中部署并使用该模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）
• Python 版本：Python 3.8 或更高版本
• 硬件建议：虽然支持 CPU 推理，但为了获得更快的生成速度，强烈建议使用配备 GPU 的环境（支持 CUDA）。
• 前置依赖：确保已安装 pip 包管理工具。

提示：国内开发者若遇到网络连接问题，建议在安装前配置 PyPI 国内镜像源（如清华源或阿里源），以加速依赖下载。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

根据您的使用需求，选择以下其中一种安装方式：

1. 仅用于推理（推荐）

如果您只需要使用模型进行图片生成，无需修改源码，请直接运行以下命令：

pip install dalle-mini

2. 用于开发与贡献

如果您需要克隆代码库进行修改、调试或参与贡献，请执行以下步骤：

# 克隆仓库
git clone https://github.com/borisdayma/dalle-mini.git
cd dalle-mini

# 以可编辑模式安装开发依赖
pip install -e ".[dev]"

基本使用

安装完成后，您可以通过 Python 代码调用模型。最便捷的方式是参考官方提供的推理流程 Notebook，它展示了从加载模型到生成图像的完整步骤。

方式一：使用 Colab 在线体验（无需本地配置）

您可以直接在 Google Colab 中运行官方提供的演示脚本，这是验证环境最快的方法：

方式二：本地 Python 脚本示例

在本地环境中，您可以编写如下简单的 Python 脚本来生成图像。模型会自动从 Hugging Face Model Hub 下载预训练权重（首次运行需联网）。

from dalle_mini import inference
import jax.numpy as jnp
from PIL import Image

# 加载模型 (首次运行会自动下载 VQGAN 和 DALL·E mini 权重)
model, params = inference.load_model()

# 定义文本提示
prompt = "an armchair in the shape of an avocado"

# 生成图像
images = inference.generate_inferences(prompt, model=model, params=params, top_k=None)

# 显示或保存结果
for image in images:
    image.show()
    # image.save("output.png")

注意：该模型基于 JAX/Flax 框架，首次运行时可能会花费一些时间编译和优化计算图，属正常现象。生成的图像通常为低分辨率缩略图，如需更高质量输出，可结合社区提供的超分工具（如 DALL·E Flow）使用。