概述

[博客] [论文] [模型卡片] [使用指南]

这是用于 DALL·E 的离散 VAE 的官方 PyTorch 包。用于根据文本生成图像的 Transformer 并不包含在本次代码发布中。

安装

在运行 示例笔记本 之前，您需要使用以下命令安装该包：

pip install DALL-E

DALL-E 离散 VAE 快速上手指南

本指南基于官方发布的 PyTorch 包，主要用于 DALL-E 模型中的**离散变分自编码器（Discrete VAE）**部分。

注意：此代码库不包含用于根据文本生成图像的 Transformer 模型，仅包含图像编码/解码相关的 VAE 组件。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows
• Python 版本：建议 Python 3.7 及以上
• 前置依赖：
  • PyTorch (需预先安装与您的 CUDA 版本匹配的 PyTorch)
  • pip 包管理工具

安装步骤

您可以直接使用 pip 安装官方发布的包。国内开发者若遇到下载速度慢的问题，推荐使用清华或阿里镜像源加速安装。

方式一：标准安装

pip install DALL-E

方式二：使用国内镜像源加速（推荐）

pip install DALL-E -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以参考官方提供的示例 Notebook 来了解如何调用该模块。最快速的上手方式是运行示例代码：

1. 获取示例文件（如果尚未下载）： 查看项目仓库中的 notebooks/usage.ipynb 文件。

2. 在 Python 环境中导入并使用： 虽然具体的 Transformer 生成逻辑未在此包中，但您可以直接实例化并测试离散 VAE 的功能。以下为概念性调用示例（具体类名请参考 usage.ipynb 中的实际定义）：

# 导入必要的模块
import torch
from dall_e import load_model

# 加载预训练的离散 VAE 模型 (encoder 和 decoder)
# 注意：具体加载函数请以 notebooks/usage.ipynb 为准
encoder = load_model("encoder.pkl", device='cuda')
decoder = load_model("decoder.pkl", device='cuda')

# 准备输入图像张量 (示例)
# x: [batch_size, 3, height, width], 值域需在 [0, 1] 之间
x = torch.rand(1, 3, 256, 256) 

# 编码过程：图像 -> 离散 Token
z_logits = encoder(x)
z_tokens = torch.argmax(z_logits, dim=1)

# 解码过程：离散 Token -> 重建图像
x_recon = decoder(z_tokens)

提示：完整的使用流程和参数细节，请务必查阅项目目录下的 notebooks/usage.ipynb 文件，那里包含了可执行的完整演示代码。