DreamO

DreamO：用于图像定制的统一框架 的官方实现

:triangular_flag_on_post: 更新

• 2025.08.11: 🎉 DreamO 被 SIGGRAPH Asia 2025 接收！
• 2025.06.24: 🔥🔥我们很高兴发布 DreamO v1.1，该版本在图像质量、减少身体构图错误以及提升美学效果方面均有显著改进。了解更多关于模型的信息
• 2025.06.26: 现已支持使用 Nunchaku 进行模型量化。
• 2025.05.30: 🔥 原生 ComfyUI 实现现已可用！
• 2025.05.12: 现在支持消费级 GPU（16GB 或 24GB），请参阅 此处 获取说明。
• 2025.05.11: 我们更新了模型，以缓解过度饱和和“塑料脸”问题。新版本相比之前有持续性的改进，请试用一下！
• 2025.05.08: 发布代码和模型。
• 2025.04.24：发布 DreamO 技术报告。

https://github.com/user-attachments/assets/385ba166-79df-40d3-bcd7-5472940fa24a

:wrench: 依赖与安装

v1.1 注意事项：为了使用 Nunchaku 进行模型量化，我们将 diffusers 版本更新至 0.33.1。如果您安装的是旧版本 0.31.0，请更新 diffusers；否则代码会报错。

# 克隆 DreamO 仓库
git clone https://github.com/bytedance/DreamO.git
cd DreamO
# 创建 conda 环境
conda create --name dreamo python=3.10
# 激活环境
conda activate dreamo
# 安装依赖包
pip install -r requirements.txt

(可选) Nunchaku：如果您想使用 Nunchaku 进行模型量化，请参考 原始仓库 获取安装指南。

:zap: 快速推理

本地 Gradio 演示

python app.py

选项：
  --version {v1.1,v1}   默认使用最新的 v1.1 模型，您也可以切换回 v1
  --offload             启用 'quant=nunchaku' 和 'offload'，将原本的 24GB 显存降至 6.5GB。
  --no_turbo            使用 turbo 将原本的 25 步骤减少至 12 步骤。
  --quant {none,int8,nunchaku}
                        量化方式选择：none(bf16), int8, nunchaku
  --device DEVICE       使用设备：auto、cuda、mps 或 cpu

我们观察到 DreamO 与加速版 FLUX LoRA 变体 (FLUX-turbo) 之间具有很强的兼容性，因此默认启用 Turbo LoRA，将推理步骤减少至 12 步（而默认为 25 步以上）。可以通过 --no_turbo 禁用 Turbo，但我们的评估结果显示效果不一；因此我们建议保持 Turbo 启用。

提示：如果您观察到肢体扭曲或文本生成不佳，可以尝试提高指导系数；如果图像显得过于光亮或过度饱和，则可以考虑降低指导系数。

针对消费级 GPU

目前，代码支持两种量化方案：来自 optimum-quanto 的 int8 量化，以及 Nunchaku。您可以根据自身需求和实际效果选择其中一种。

• 对于拥有 8GB 显存的用户，运行 python app.py --nunchaku --offload 以启用 CPU offloading 结合 nunchaku 量化。根据 反馈，在 NVIDIA 3080 上生成一张 1024 分辨率的图像大约需要 20 秒。

• 对于拥有 24GB 显存的用户，运行 python app.py --quant int8 以启用 int8 量化模型，或运行 python app.py --quant nunchaku 以启用 nunchaku 量化模型。

• 对于拥有 16GB 显存的用户，运行 python app.py --int8 --offload 以启用 CPU offloading 结合 int8 量化。请注意，CPU offload 会显著降低推理速度，应仅在必要时启用。

针对 macOS Apple Silicon (M1/M2/M3/M4)

DreamO 现在支持搭载 Apple Silicon 芯片的 macOS 设备，并使用 Metal Performance Shaders (MPS) 加速。应用程序会在可用时自动检测并使用 MPS。

• 对于 macOS 用户，只需运行 python app.py 即可自动使用 MPS 加速。
• 手动选择设备：您也可以明确指定设备，例如 python app.py --device mps（或根据需要使用 --device cpu）。
• 内存优化：对于内存有限的设备，可以将 MPS 与量化结合使用：python app.py --device mps --int8。

注意：请确保已安装支持 MPS 的 PyTorch。当前的 requirements.txt 包含 PyTorch 2.6.0+，该版本完全支持 MPS。

支持的任务

IP

此任务类似于 IP-Adapter，支持多种输入，包括人物、物体和动物等。通过利用基于 VAE 的特征编码，DreamO 相比以往的适配器方法实现了更高的保真度，尤其在保留人物身份方面具有明显优势。

ID

这里 ID 特指面部身份。与 IP 任务不同，IP 任务同时考虑面部和服装，而 ID 任务则只关注面部特征。此任务类似于 InstantID 和 PuLID。与先前的方法相比，DreamO 在面部保真度上表现更好，但相较于 SOTA 方法 PuLID，模型污染现象更为明显。

提示：如果您发现脸部显得过于光亮，可以尝试降低指导系数。

试穿

此任务支持上衣、下装、眼镜和帽子等输入，并能实现多件衣物的虚拟试穿。值得注意的是，我们的训练数据集中并不包含多件衣物或 ID+衣物的数据，但模型仍能很好地泛化到这些未见过的组合中。

风格

此任务类似于 Style-Adapter 和 InstantStyle。请注意，目前风格一致性不如其他任务稳定，在当前版本中，风格无法与其他条件结合使用。我们正在努力在未来的版本中进行改进——敬请期待。

多条件

您可以使用多个条件（ID、IP、试穿）来生成更具创意的图像。得益于论文中提出的特征路由约束，DreamO 能有效缓解多个实体之间的冲突和纠缠。

ComfyUI

• 原生 ComfyUI 支持：ComfyUI-DreamO

在线 HuggingFace 演示

您可以在 HuggingFace 上试用 DreamO 演示。

免责声明

本项目致力于以积极的方式影响人工智能驱动的图像生成领域。用户可以自由地使用此工具生成图像，但应遵守当地法律法规，并负责任地使用。开发者对用户的任何潜在滥用行为不承担任何责任。

引用

如果 DreamO 对您有所帮助，请为本仓库点个赞（⭐）。

如果您认为本项目对您的研究有帮助，请考虑引用我们的论文：arXiv 链接。

:e-mail: 联系方式

如果您有任何意见或问题，请新建一个议题 或联系 Yanze Wu 以及 Chong Mou。

DreamO 快速上手指南

DreamO 是一个统一的图像定制框架，支持角色保持（IP）、人脸身份（ID）、虚拟试衣、风格迁移及多条件组合生成。最新版本 v1.1 显著提升了图像质量并减少了肢体错误。

环境准备

• 操作系统: Linux, Windows, macOS (支持 Apple Silicon M1/M2/M3/M4)
• Python: 3.10
• GPU 要求:
  • 推荐: 24GB+ VRAM (如 RTX 3090/4090)
  • 消费级显卡: 支持 16GB 或 8GB 显存（需开启量化和卸载模式，详见使用说明）
  • Mac: 需安装支持 MPS 的 PyTorch (requirements.txt 已包含 2.6.0+)
• 前置依赖: Git, Conda (推荐)

安装步骤

1. 克隆仓库

   git clone https://github.com/bytedance/DreamO.git
   cd DreamO
   

2. 创建并激活虚拟环境

   conda create --name dreamo python=3.10
   conda activate dreamo
   

3. 安装依赖包

   注意: v1.1 版本要求 diffusers 版本为 0.33.1。如果之前安装过旧版本 (0.31.0)，请务必更新，否则代码会报错。

   pip install -r requirements.txt
   

4. (可选) 安装 Nunchaku 量化支持 如果你需要在低显存设备上运行或使用高级量化方案，请参考 Nunchaku 官方仓库 进行安装。

基本使用

启动本地演示界面 (Gradio)

运行以下命令即可启动 Web 界面，默认加载最新的 v1.1 模型并启用 Turbo 加速（12 步生成）。

python app.py

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:7860）即可使用。

针对不同硬件的配置建议

根据你的显存大小，建议使用以下参数优化运行：

• 24GB 显存用户 (如 RTX 3090/4090) 启用 int8 或 Nunchaku 量化以获得更好性能：

  python app.py --quant int8
  # 或者
  python app.py --quant nunchaku
  

• 16GB 显存用户 启用 int8 量化并结合 CPU 卸载（速度会变慢，但可运行）：

  python app.py --int8 --offload
  

• 8GB 显存用户 (如 RTX 3080) 必须启用 Nunchaku 量化和 CPU 卸载：

  python app.py --nunchaku --offload
  

  注：在 RTX 3080 上生成一张 1024 分辨率图像约需 20 秒。

• macOS Apple Silicon 用户 (M1/M2/M3/M4) 程序会自动检测并使用 MPS 加速。如需手动指定或使用量化节省内存：

  # 自动检测 (推荐)
  python app.py
  
  # 强制指定 MPS 并开启 int8
  python app.py --device mps --int8
  

常用参数说明

参数	说明
--version	选择模型版本 {v1.1, v1}，默认为 v1.1
--offload	启用模型卸载，大幅降低显存占用 (配合 quant 使用)
--no_turbo	禁用 Turbo 加速，恢复为 25 步生成 (默认开启 Turbo 为 12 步)
--quant	量化方案 {none, int8, nunchaku}，默认为 none (bf16)
--device	指定设备 {auto, cuda, mps, cpu}

使用提示

• 图像过曝或塑料感: 尝试降低 Guidance Scale (引导比例)。
• 肢体扭曲或文字生成差: 尝试提高 Guidance Scale。
• 支持任务: 界面中可选择 IP (角色/物体)、ID (人脸)、Try-On (试衣)、Style (风格) 及 Multi Condition (多条件组合)。

其他使用方式

• ComfyUI: 推荐使用原生 ComfyUI 插件 ComfyUI-DreamO。
• 在线体验: 可直接在 HuggingFace Spaces 试用。