🎨🤖🦁
DALLE2 LAION

这是一个用于 LAION 预训练 DALL-E 2 模型的资源与工具集合。官方代码库可在 DALLE2-PyTorch 中找到。

致谢

特别感谢以下各位：

• Zion 和 Aidan：感谢他们开发了 DALLE2-PyTorch 中的训练代码、训练模型，并编写了此处提供的推理流水线。
• Romain Beaumont：感谢他在整个项目中展现出的项目管理能力及指导。
• lucidrains：感谢他们牵头开展 DALL-E 2 的复现工作。
• LAION：感谢他们为开源 AI 社区提供支持、反馈与灵感。
• StabilityAI：感谢其慷慨捐赠计算资源，若没有这些资源，这些模型将无法问世。
• Kumar：感谢他完善了 DALLE2-prior 的初始训练脚本。

使用方法

您可以下载最新的检查点，并使用本仓库中提供的推理流水线！

预训练模型

如需获取最新官方检查点，请访问官方 🤗 Hugging Face 仓库。

如果您对这些模型的训练过程感兴趣，可在此处查看：解码器 和 先验模型。请注意，由于快速原型开发的特性，这些链接可能会过时——我们会尽力保持更新，但若有发现过期的情况并希望获取最新报告，欢迎随时提交问题！

推理脚本

关于如何使用推理脚本的信息，请参阅 dalle2_laion 文件夹中的 README.md。

社区

如果您创作了任何有趣的作品，我们非常期待看到！欢迎加入我们的 Discord 社区 。

问题反馈

如果您有任何疑问、遇到具体问题，或有认为应集成到我们推理流水线中的想法，欢迎随时在 GitHub 上提交问题。

在此提醒您几点 😄：

• 请勿针对此处代码的问题，在 DALLE2-PyTorch 仓库中提交问题 ⚠️！
• 若您发现了 bug 🐛，请在问题中尽可能详细地描述相关信息。
  • 例如您的运行环境、库版本以及推理方法等信息，对于定位问题至关重要。
• 如果您希望新增功能或提出请求 ✋，请简明而详尽地说明其使用场景，以及您认为它为何会有帮助。
• 请确保提问内容与本仓库相关；若您对 DALL-E 2、扩散模型、超分辨率或其他 AI 相关话题有一般性疑问，欢迎加入我们的 Discord 社区，并寻找合适的讨论频道！

---

免责声明：

• DALLE2-LAION 与 OpenAI 无任何关联。尽管其架构与原始论文高度一致，但仍进行了若干修改。本模型的输出、创作者的观点以及所提供的代码，均不代表 OpenAI 的立场或观点。*

DALLE2-LAION 快速上手指南

本指南旨在帮助开发者快速使用 LAION 社区基于 DALLE2-PyTorch 训练的开源模型进行图像生成推理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 或更高版本。
• 硬件要求: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以获得最佳体验)，需安装对应的 CUDA 驱动。
• 前置依赖:
  • git: 用于克隆代码库。
  • pip: Python 包管理工具。
  • torch: 需预先安装与您的 CUDA 版本匹配的 PyTorch。

国内加速建议: 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 首先克隆包含推理脚本的仓库：

   git clone https://github.com/LAION-AI/dalle2-laion.git
   cd dalle2-laion
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   

3. 安装依赖 安装项目所需的 Python 库：

   pip install -r requirements.txt
   

   注意：如果 requirements.txt 中未明确指定 torch 版本，请务必先手动安装与您显卡匹配的 PyTorch 版本。

4. 获取预训练模型 最新的官方检查点（Checkpoints）托管在 Hugging Face 上。您可以直接通过代码加载，或手动下载后配置路径。

   访问地址：laion/DALLE2-PyTorch on Hugging Face

基本使用

具体的推理脚本位于 dalle2_laion 文件夹内。以下是基于该目录结构的最简使用流程。

1. 查看推理脚本说明 详细的参数说明请参阅子目录下的文档：

   cat dalle2_laion/README.md
   

2. 运行推理示例 假设您已下载好模型权重（例如 prior.pth 和 decoder.pth），通常可以使用类似以下的命令进行文本生成图像（具体脚本名称请以仓库内实际文件为准，常见为 sample.py 或 infer.py）：

   python dalle2_laion/sample.py \
     --prior_path "path/to/prior.pth" \
     --decoder_path "path/to/decoder.pth" \
     --text "a futuristic city with flying cars, cyberpunk style" \
     --num_samples 4 \
     --output_dir "./outputs"
   

   • --text: 输入的自然语言描述提示词。
   • --num_samples: 生成图像的数量。
   • --output_dir: 生成图像的保存路径。

3. 加入社区交流 如果您在使用过程中遇到特定于本仓库的代码问题，或有新的功能想法，请在 GitHub 提交 Issue。对于通用的 DALLE2 或扩散模型讨论，欢迎加入官方 Discord 社区。

---

免责声明：DALLE2-LAION 与 OpenAI 无任何关联。本项目架构虽参考原论文，但经过了修改，其输出结果及观点不代表 OpenAI。