👉 PixArt-α：用于照片级逼真文生图的扩散Transformer快速训练

ICLR 2024 Spotlight

---

本仓库包含我们论文中探索的使用Transformer进行快速训练扩散模型的PyTorch模型定义、预训练权重以及推理/采样代码。您可以在我们的项目页面上找到更多可视化内容。

PixArt-α 社区：欢迎加入我们的PixArt-α Discord频道 ,参与讨论。欢迎各位开发者贡献代码。

PixArt-α：用于照片级逼真文生图的扩散Transformer快速训练
陈俊松*、于锦程*、 葛崇健*、姚雷威*、 谢恩泽†、 吴岳、王仲道、 郭志伟、罗平、 陆虎川、 李振国
华为诺亚方舟实验室、大连理工大学、香港大学、香港科技大学

PIXART-δ：基于潜在一致性模型的快速可控图像生成
陈俊松、吴岳、罗思敏、谢恩泽†、 萨亚克·保罗、罗平、赵航、李振国
华为诺亚方舟实验室、大连理工大学、清华大学、香港大学、Hugging Face

---

最新消息 🔥🔥!!

• (🔥 新) 2024年4月12日。💥 更优秀的PixArt-Σ训练与推理代码及检查点已全部发布！！！ 欢迎大家合作与贡献。如果您觉得有用，请为我们点亮🌟！

• (🔥 新) 2024年1月19日。💥 PixArt-δ ControlNet app_controlnet.py和检查点已发布！！！

• (🔥 新) 2024年1月16日。💥 恭喜宣布，PixArt-α已被ICLR 2024接受（Spotlight）。

• (🔥 新) 2023年12月17日。💥 PixArt现已支持ComfyUI。感谢@city96的杰出工作。

• (🔥 新) 2023年11月30日。💥 PixArt与LCMs团队合作，打造了最快的文生图训练与推理系统。 在此，训练代码、推理代码、权重以及Hugging Face演示、OpenXLab演示均已发布，我们希望用户能够喜欢。详细的推理速度和代码指南可在文档中找到。同时，我们还更新了代码库以提升用户体验，并修复了最新版本中的若干Bug。

---

🚩 新功能/更新

• ✅ 2024年1月11日。💥 PixArt-δ：我们非常高兴地宣布发布 PixArt-δ 技术报告！！！ 该报告深入探讨了Transformer模型中LCM和ControlNet类似模块的训练方法。同时，我们也在此仓库中发布了LCM与ControlNet的所有训练和推理代码 在此仓库。 我们鼓励大家尝试使用这些代码，并热烈欢迎用户的Pull Request。您的贡献和反馈对我们非常重要！
• ✅ 2024年2月7日。train_diffusers.py 可以直接使用diffusers模型进行训练，并在训练过程中进行可视化。
• ✅ 2024年1月26日。💥 PixArt-α 的所有检查点，包括256px分辨率的检查点，现在都可以在这里下载 下载模型。
• ✅ 2024年1月19日。💥 PixArt-δ 的ControlNet app_controlnet.py 和 检查点 已发布！！！
• ✅ 2024年1月12日。💥 我们发布了用于PixArt-α训练的 SAM-LLaVA-Captions 数据集。
• ✅ 2023年12月27日。PixArt-α 已集成到 ControlLLM 中！
• ✅ 2023年12月17日。以Hugging Face风格发布的 PixArt-LCM-Lora 和 PixArt-Lora 训练脚本已发布。
• ✅ 2023年12月13日。在 tools/extract_features.py 中添加了多尺度VAE特征提取功能。
• ✅ 2023年12月1日。新增了一个 Notebook文件夹，帮助用户快速上手PixArt！感谢 @kopyl 的贡献！
• ✅ 2023年11月27日。💥 PixArt-α社区：加入我们的PixArt-α Discord频道

进行讨论。欢迎各位开发者参与贡献。

• ✅ 2023年11月21日。💥 SA-Sovler 官方代码首次发布 此处。
• ✅ 2023年11月19日。发布 PixArt + Dreambooth 训练脚本。
• ✅ 2023年11月16日。Diffusers 现在支持 随机分辨率 和 批量生成图片 功能。此外， 在低于8GB显存的GPU上运行 Pixart 也已成为可能，在 🧨 diffusers 中有相关说明。
• ✅ 2023年11月10日。在 🧨 diffusers 中支持 DALL-E 3 Consistency Decoder。
• ✅ 2023年11月6日。发布预训练权重，并集成 🧨 diffusers、Hugging Face演示以及Google Colab示例。
• ✅ 2023年11月3日。发布 LLaVA 字幕生成推理代码。
• ✅ 2023年10月27日。发布训练及特征提取代码。
• ✅ 2023年10月20日。与 Hugging Face 和 Diffusers 团队合作，共同发布代码和权重。（请继续关注。）
• ✅ 2023年10月15日。发布推理代码。

---

目录

• 训练

• 推理

• 下载模型

• 使用diffusers

• 数据处理

• PixArt-α 演示

• PixArt-α 8GB VRAM

• PixArt-δ (LCM)

• PixArt-δ (ControlNet)

• PixArt-δ (Dreambooth)

• 致谢

• 引用

• PixArt-Σ 发布

---

🐱 摘要

TL; DR: PixArt-α 是一种基于Transformer的T2I扩散模型，其图像生成质量可与当前最先进的图像生成器（如Imagen、SDXL，甚至Midjourney）相媲美，而训练速度则显著超越现有的大型T2I模型。例如，PixArt-α仅需675天的A100 GPU时间，而Stable Diffusion v1.5则需要6,250天。

点击展开完整摘要

目前最先进的文本到图像（T2I）模型通常需要高昂的训练成本（例如数百万小时的GPU时间），这不仅严重阻碍了AIGC社区的基础创新，还增加了二氧化碳排放。本文介绍了一种名为PixArt-α的基于Transformer的T2I扩散模型，其图像生成质量可与当前最先进的图像生成器（如Imagen、SDXL，甚至Midjourney）相媲美，几乎达到了商业应用的标准。此外，它还支持高达1024px分辨率的高分辨率图像合成，且训练成本较低。为实现这一目标，我们提出了三个核心设计： (1) 训练策略分解：我们设计了三个独立的训练步骤，分别优化像素依赖性、文本与图像的对齐以及图像的美学质量； (2) 高效的T2I Transformer：我们在扩散Transformer（DiT）中引入了交叉注意力模块，以注入文本条件并简化计算密集型的类别条件分支； (3) 高信息量的数据：我们强调文本-图像对中概念密度的重要性，并利用大型视觉-语言模型自动标注密集的伪字幕，以辅助文本-图像对齐的学习。因此，PixArt-α的训练速度显著优于现有的大型T2I模型，例如，PixArt-α仅需675天的A100 GPU时间，而Stable Diffusion v1.5则需要6,250天，从而节省了近30万美元（26,000美元 vs. 320,000美元）的成本，并减少了90%的二氧化碳排放。此外，与更大的SOTA模型RAPHAEL相比，我们的训练成本仅为它的1%。大量实验表明，PixArt-α在图像质量、艺术性和语义控制方面表现出色。我们希望PixArt-α能为AIGC社区和初创企业带来新的启示，帮助他们从零开始快速构建高质量且低成本的生成模型。

---

---

🔥🔥🔥 为什么选择PixArt-α？

训练效率

PixArt-α 仅需 Stable Diffusion v1.5 训练时间的 12%（753 天 vs. 6,250 天 A100 GPU），节省近 30 万美元（2.8 万美元 vs. 32 万美元），并减少 90% 的二氧化碳排放。此外，与更大的 SOTA 模型 RAPHAEL 相比，我们的训练成本仅为后者的 1%。

方法	类型	参数量	图像数量	FID-30K ↓	A100 GPU 天数
DALL·E	扩散	12.0B	250M	27.50
GLIDE	扩散	5.0B	250M	12.24
LDM	扩散	1.4B	400M	12.64
DALL·E 2	扩散	6.5B	650M	10.39	41,66
SDv1.5	扩散	0.9B	2000M	9.62	6,250
GigaGAN	GAN	0.9B	2700M	9.09	4,783
Imagen	扩散	3.0B	860M	7.27	7,132
RAPHAEL	扩散	3.0B	5000M+	6.61	60,000
PixArt-α	扩散	0.6B	25M	7.32（零样本）	753
PixArt-α	扩散	0.6B	25M	5.51（COCO 微调）	753

推理效率

PIXART-δ 在 A100 上成功生成 1024×1024 高分辨率 图像，耗时仅 0.5 秒。通过实施 8 位推理技术，PIXART-δ 仅需 不到 8GB 的 GPU 显存。

让我们再次强调，使用 PixArt-LCM 如此轻松地探索图像生成是多么令人解放。

硬件	PIXART-δ (4 步)	SDXL LoRA LCM (4 步)	PixArt-α (14 步)	SDXL 标准版 (25 步)
T4（Google Colab 免费层）	3.3s	8.4s	16.0s	26.5s
V100（32 GB）	0.8s	1.2s	5.5s	7.7s
A100（80 GB）	0.51s	1.2s	2.2s	3.8s

所有测试均以批大小为 1 运行。

对于像 A100 这样显存较大的显卡，在一次生成多张图像时性能会显著提升，而这通常是生产工作负载中的常见场景。

PixArt-α 的高质量生成

• 更多样例

• PixArt + Dreambooth

• PixArt + ControlNet

🔧 依赖与安装

• Python >= 3.9（建议使用 Anaconda 或 Miniconda）
• PyTorch >= 1.13.0+cu11.7

conda create -n pixart python=3.9
conda activate pixart
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118

git clone https://github.com/PixArt-alpha/PixArt-alpha.git
cd PixArt-alpha
pip install -r requirements.txt

⏬ 下载模型

所有模型将自动下载。你也可以从这个 url 手动下载。

模型	参数量	url	在 OpenXLab 中下载
T5	4.3B	T5	T5
VAE	80M	VAE	VAE
PixArt-α-SAM-256	0.6B	PixArt-XL-2-SAM-256x256.pth 或 diffusers 版本	256-SAM
PixArt-α-256	0.6B	PixArt-XL-2-256x256.pth 或 diffusers 版本	256
PixArt-α-256-MSCOCO-FID7.32	0.6B	PixArt-XL-2-256x256.pth	256
PixArt-α-512	0.6B	PixArt-XL-2-512x512.pth 或 diffusers 版本	512
PixArt-α-1024	0.6B	PixArt-XL-2-1024-MS.pth 或 diffusers 版本	1024
PixArt-δ-1024-LCM	0.6B	diffusers 版本
ControlNet-HED-Encoder	30M	ControlNetHED.pth
PixArt-δ-512-ControlNet	0.9B	PixArt-XL-2-512-ControlNet.pth	512
PixArt-δ-1024-ControlNet	0.9B	PixArt-XL-2-1024-ControlNet.pth	1024

此外，你还可以在 OpenXLab_PixArt-alpha 中找到所有模型。

🔥 如何训练

1. PixArt 训练

首先。

感谢 @kopyl，您可以通过 HugginFace 上的笔记本重现 Pokemon 数据集 的完整微调训练流程：

1. 使用 notebooks/train.ipynb 进行训练。
2. 使用 notebooks/convert-checkpoint-to-diffusers.ipynb 转换为 Diffusers 格式。
3. 使用步骤 2 中转换后的检查点，通过 notebooks/infer.ipynb 运行推理。

然后，更多细节。

这里我们以 SAM 数据集的训练配置为例，当然您也可以按照这种方法准备自己的数据集。

您 只需要 修改 config 中的 配置文件 和 dataset 中的 数据加载器。

python -m torch.distributed.launch --nproc_per_node=2 --master_port=12345 train_scripts/train.py configs/pixart_config/PixArt_xl2_img256_SAM.py --work-dir output/train_SAM_256

SAM 数据集的目录结构如下：

cd ./data

SA1B
├──images/  (图像保存在此处)
│  ├──sa_xxxxx.jpg
│  ├──sa_xxxxx.jpg
│  ├──......
├──captions/    (对应的标题保存在此处，与图像同名)
│  ├──sa_xxxxx.txt
│  ├──sa_xxxxx.txt
├──partition/   (所有图像名称存储在一个文本文件中，每行一个图像名称)
│  ├──part0.txt
│  ├──part1.txt
│  ├──......
├──caption_feature_wmask/   (运行 tools/extract_caption_feature.py 生成标题 T5 特征，与图像同名但扩展名为 .npz)
│  ├──sa_xxxxx.npz
│  ├──sa_xxxxx.npz
│  ├──......
├──img_vae_feature/  (运行 tools/extract_img_vae_feature.py 生成图像 VAE 特征，与图像同名但扩展名为 .npy)
│  ├──train_vae_256/
│  │  ├──noflip/
│  │  │  ├──sa_xxxxx.npy
│  │  │  ├──sa_xxxxx.npy
│  │  │  ├──......

为了更好地理解，我们准备了 data_toy 数据集

cd ./data

git lfs install
git clone https://huggingface.co/datasets/PixArt-alpha/data_toy

然后， 这里 是 partition/part0.txt 文件的一个示例。

---

此外，对于基于 JSON 文件指导的 训练, 这里 是一个用于更好理解的玩具 JSON 文件。

---

2. PixArt + DreamBooth 训练

请参考 Pixart + DreamBooth 的 训练指南

3. PixArt + LCM / LCM-LoRA 训练

请参考 PixArt + LCM 的 训练指南

4. PixArt + ControlNet 训练

请参考 PixArt + ControlNet 的 训练指南

4. PixArt + LoRA 训练

pip install peft==0.6.2

accelerate launch --num_processes=1 --main_process_port=36667  train_scripts/train_pixart_lora_hf.py --mixed_precision="fp16" \
  --pretrained_model_name_or_path=PixArt-alpha/PixArt-XL-2-1024-MS \
  --dataset_name=lambdalabs/pokemon-blip-captions --caption_column="text" \
  --resolution=1024 --random_flip \
  --train_batch_size=16 \
  --num_train_epochs=200 --checkpointing_steps=100 \
  --learning_rate=1e-06 --lr_scheduler="constant" --lr_warmup_steps=0 \
  --seed=42 \
  --output_dir="pixart-pokemon-model" \
  --validation_prompt="cute dragon creature" --report_to="tensorboard" \
  --gradient_checkpointing --checkpoints_total_limit=10 --validation_epochs=5 \
  --rank=16

💻 如何测试

使用本仓库进行推理时，至少需要 23GB 的显存；而在 🧨 diffusers 中则只需 11GB 和 8GB。

目前支持：

• IDDPM
• DPM-Solver
• SA-Solver
• DPM-Solver-v3

1. 快速开始使用 Gradio

要开始使用，首先安装所需的依赖项。确保已将 模型 下载到 output/pretrained_models 文件夹中，然后在本地机器上运行：

DEMO_PORT=12345 python app/app.py

或者，您可以使用提供的示例 Dockerfile 来构建一个运行 Gradio 应用的容器。

docker build . -t pixart
docker run --gpus all -it -p 12345:12345 -v <path_to_huggingface_cache>:/root/.cache/huggingface pixart

或者使用 docker-compose。请注意，如果您想将上下文从 1024 更改为 512 或 LCM 版本的应用程序，只需更改 docker-compose.yml 文件中的 APP_CONTEXT 环境变量即可。默认值为 1024。

docker compose build
docker compose up

让我们通过 http://your-server-ip:12345 来看一个简单的例子。

2. 集成到 diffusers 中

1). 在 🧨 diffusers 中使用

请确保您已安装以下库的最新版本：

pip install -U transformers accelerate diffusers SentencePiece ftfy beautifulsoup4

然后：

import torch
from diffusers import PixArtAlphaPipeline, ConsistencyDecoderVAE, AutoencoderKL
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

# 您也可以将检查点 ID 替换为 "PixArt-alpha/PixArt-XL-2-512x512"。
pipe = PixArtAlphaPipeline.from_pretrained("PixArt-alpha/PixArt-XL-2-1024-MS", torch_dtype=torch.float16, use_safetensors=True)

# 如果使用 DALL-E 3 一致性解码器
# pipe.vae = ConsistencyDecoderVAE.from_pretrained("openai/consistency-decoder", torch_dtype=torch.float16)

# 如果使用 SA-Solver 采样器
# from diffusion.sa_solver_diffusers import SASolverScheduler
# pipe.scheduler = SASolverScheduler.from_config(pipe.scheduler.config, algorithm_type='data_prediction')

# 如果加载 LoRA 模型
# transformer = Transformer2DModel.from_pretrained("PixArt-alpha/PixArt-LCM-XL-2-1024-MS", subfolder="transformer", torch_dtype=torch.float16)
# transformer = PeftModel.from_pretrained(transformer, "Your-LoRA-Model-Path")
# pipe = PixArtAlphaPipeline.from_pretrained("PixArt-alpha/PixArt-LCM-XL-2-1024-MS", transformer=transformer, torch_dtype=torch.float16, use_safetensors=True)
# del transformer

# 启用内存优化。

# pipe.enable_model_cpu_offload()

pipe.to(设备)

prompt = "撒哈拉沙漠中一棵长着笑脸的小仙人掌。"
image = pipe(prompt).images[0]
image.save("./catcus.png")

更多关于 SA-Solver 采样器的信息，请查看文档。

通过此次集成，可以在 11GB 显存的 GPU 上以批量大小为 4 运行该流程。 如需了解更多信息，请参阅文档。

2). 在低于 8GB 显存的 GPU 上运行 PixArtAlphaPipeline

现在已支持在 8GB 以下显存的 GPU 上运行，请参阅文档以获取更多信息。

3). 使用 diffusers 的 Gradio（更快速）

要开始使用，首先安装所需的依赖项，然后在本地机器上运行：

# diffusers 版本
DEMO_PORT=12345 python app/app.py

让我们来看一个简单的示例，访问 http://your-server-ip:12345。

你也可以点击这里在 Google Colab 上免费试用。

4). 将 .pth 检查点转换为 diffusers 版本

python tools/convert_pixart_alpha_to_diffusers.py --image_size your_img_size --multi_scale_train (如果你使用 PixArtMS 则为 True，否则为 False) --orig_ckpt_path pth 文件路径 --dump_path diffusers 文件路径 --only_transformer=True

3. 在线演示

✏️ 如何使用 LLaVA 进行图像标注

感谢 LLaVA-Lightning-MPT 的代码库， 我们可以通过以下启动命令对 LAION 和 SAM 数据集进行标注：

python tools/VLM_caption_lightning.py --output 输出目录 --data-root 数据根路径 --index 数据 JSON 文件路径

我们展示了使用自定义提示词对 LAION（左）和 SAM（右）数据集进行自动标注的结果。绿色高亮的文字代表 LAION 中的原始描述，而红色标记的部分则是由 LLaVA 添加的详细描述。

✏️ 如何提取 T5 和 VAE 特征

提前准备好 T5 文本特征和 VAE 图像特征，可以加快训练速度并节省显存。

python tools/extract_features.py --img_size=1024 \
    --json_path "data/data_info.json" \
    --t5_save_root "data/SA1B/caption_feature_wmask" \
    --vae_save_root "data/SA1B/img_vae_features" \
    --pretrained_models_dir "output/pretrained_models" \
    --dataset_root "data/SA1B/Images/"

💪 待办事项清单（恭喜🎉）

• 推理代码
• 训练代码
• T5 & VAE 特征提取代码
• LLaVA 标注代码
• 模型库
• diffusers 版本及 Hugging Face 演示
• Google Colab 示例
• DALLE3 VAE 集成
• 在 8GB 以下显存的 GPU 上使用 diffusers 进行推理
• Dreambooth 训练代码
• SA-Solver 代码
• PixArt-α-LCM 即将发布
• 多尺度 VAE 特征提取代码
• PixArt-α-LCM-LoRA 脚本即将发布
• PixArt-α-LoRA 训练脚本即将发布
• ControlNet 代码即将发布
• SAM-LLaVA 标注数据集
• ControlNet 检查点
• 256px 预训练模型
• PixArt-Σ：下一代性能更强的模型正在训练中！

其他资源

我们制作了一段视频，对比了 PixArt 与当前最强大的文生图模型。

📖 BibTeX

@misc{chen2023pixartalpha,
      title={PixArt-$\alpha$: 快速训练扩散 Transformer 实现照片级真实感文生图}, 
      author={Junsong Chen、Jincheng Yu、Chongjian Ge、Lewei Yao、Enze Xie、Yue Wu、Zhongdao Wang、James Kwok、Ping Luo、Huchuan Lu、Zhenguo Li},
      year={2023},
      eprint={2310.00426},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
@misc{chen2024pixartdelta,
      title={PIXART-{\delta}: 基于潜在一致性模型的快速可控图像生成}, 
      author={Junsong Chen、Yue Wu、Simian Luo、Enze Xie、Sayak Paul、Ping Luo、Hang Zhao、Zhenguo Li},
      year={2024},
      eprint={2401.05252},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

🤗 致谢

• 感谢 Diffusers 提供的卓越技术支持和精彩合作！
• 感谢 Hugging Face 对精美演示的支持！
• 感谢 DiT 的杰出工作和代码库！

星标历史

PixArt-α 快速上手指南

PixArt-α 是一个基于 Transformer 的文本到图像（T2I）扩散模型，生成质量媲美 SDXL 和 Midjourney，但训练速度极快。本指南将帮助你快速在本地部署并运行该模型。

1. 环境准备

系统要求

• 操作系统: Linux (推荐), Windows, macOS
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU，显存至少 8GB (使用 Diffusers 管道可在 8GB 显存下运行)
• CUDA: 根据显卡驱动安装对应的 CUDA 版本 (推荐 11.8 或 12.1)

前置依赖

确保已安装 git 和 conda (推荐) 或 pip。

2. 安装步骤

方法 A：使用 Conda 创建虚拟环境（推荐）

# 创建虚拟环境
conda create -n pixart python=3.10 -y
conda activate pixart

# 克隆仓库
git clone https://github.com/PixArt-alpha/PixArt-alpha.git
cd PixArt-alpha

# 安装 PyTorch (根据你的 CUDA 版本选择，此处以 CUDA 11.8 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
pip install -r requirements.txt

# 安装 diffusers (可选，用于简化推理)
pip install diffusers transformers accelerate safetensors

国内加速提示：如果下载依赖较慢，可使用清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方法 B：直接使用 Diffusers (最简方式)

如果你只想进行推理而不需要训练代码，可以直接安装 diffusers 库，无需克隆整个仓库：

pip install diffusers transformers accelerate torch torchvision

3. 基本使用

方式一：使用 Diffusers 管道（推荐，代码最简洁）

这是最简单的使用方法，支持自动下载模型权重。

import torch
from diffusers import PixArtAlphaPipeline

# 加载模型 (首次运行会自动从 HuggingFace 下载权重)
# 国内用户若无法连接 HF，可设置 mirror 或使用 OpenXLab 镜像
pipe = PixArtAlphaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-XL-2-1024-MS", 
    torch_dtype=torch.float16
).to("cuda")

# 生成图像
prompt = "一只在赛博朋克城市屋顶上晒太阳的猫，霓虹灯背景，高细节"
image = pipe(prompt).images[0]

# 保存结果
image.save("output.png")

注意：如果网络受限，可以使用 OpenXLab 的镜像源加载模型：

pipe = PixArtAlphaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-XL-2-1024-MS",
    torch_dtype=torch.float16,
    variant="fp16"
).to("cuda")
# 或者手动下载权重后指定本地路径
# pipe = PixArtAlphaPipeline.from_pretrained("./local_model_path", torch_dtype=torch.float16).to("cuda")

方式二：使用官方仓库脚本推理

如果你克隆了完整仓库，可以使用官方提供的推理脚本。

1. 下载模型权重： 从 HuggingFace 或 OpenXLab 下载预训练权重到 pretrained_models 目录。

2. 运行推理命令：

   python scripts/inference.py \
       --model_path pretrained_models/PixArt-XL-2-1024-MS.pth \
       --image_size 1024 \
       --prompt "A small cactus with a happy face in the Sahara desert." \
       --sample_solver sapolver \
       --guidance_scale 7.5 \
       --seed 0
   

低显存优化 (8GB VRAM)

如果你的显存较小，在使用 Diffusers 时可以通过启用 enable_attention_slicing 和 enable_vae_slicing 来降低显存占用：

pipe.enable_attention_slicing()
pipe.enable_vae_slicing()
# 如果仍显存不足，可尝试将 torch_dtype 改为 torch.float32 并使用 CPU offload
# pipe.enable_model_cpu_offload()

现在你可以开始使用 PixArt-α 生成高质量的图像了！更多高级功能（如 ControlNet、LCM 加速、LoRA 训练）请参考项目仓库中的详细文档。