统一风格与主题驱动生成：基于解耦与奖励学习的方法

吴绍进, 黄梦琪, 程宇峰, 吴文旭, 田嘉禾, 罗一鸣, 丁飞, 何倩
UXO团队
字节跳动智能创作实验室

🚩 更新

• 2025.09.12 🔥 我们的全新成员 UMO 来了！它专注于多身份和主题驱动的生成。更多示例请访问 UMO 项目页面。

• 2025.09.03 🎉 USO 现已原生支持 ComfyUI，详见官方教程 USO 在 ComfyUI 中，并在 ./workflow 中提供了我们的示例。更多技巧请参阅下方的 README。

• 2025.08.28 🔥 USO 的 演示 已发布。立即体验吧！⚡️
• 2025.08.28 🔥 更新了 fp8 模式，作为主要的低显存使用支持（请向下滚动）。这是送给消费级 GPU 用户的礼物。目前峰值显存占用约为 16GB。
• 2025.08.27 🔥 USO 的 推理代码 和 模型 已发布。
• 2025.08.27 🔥 USO 的 项目页面 已创建。
• 2025.08.27 🔥 USO 的 技术报告 已发布。

📖 引言

现有文献通常将风格驱动和主题驱动的生成视为两个独立的任务：前者优先考虑风格相似性，而后者则强调主题一致性，从而导致明显的对立。我们认为，这两个目标可以在一个统一的框架下实现，因为它们本质上都涉及“内容”和“风格”的解耦与重组，而这正是风格驱动研究中的一个长期主题。为此，我们提出了 USO——一种用于风格驱动和主题驱动生成的统一框架。首先，我们构建了一个大规模的三元组数据集，包含内容图像、风格图像及其对应的风格化内容图像。其次，我们引入了一种解耦学习方案，通过风格对齐训练和内容-风格解耦训练这两种互补的目标，同时对齐风格特征并实现内容与风格的解耦。最后，我们引入了风格奖励学习范式，以进一步提升模型性能。

⚡️ 快速入门

🔧 要求与安装

安装所需依赖

## 创建一个 Python >= 3.10 <= 3.12 的虚拟环境，例如：
python -m venv uso_env
source uso_env/bin/activate
## 或
conda create -n uso_env python=3.10 -y
conda activate uso_env

## 安装 PyTorch
## 推荐版本：
pip install torch==2.4.0 torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu124 

## 然后根据需要安装其他依赖
pip install -r requirements.txt # 传统安装命令

然后下载检查点：

# 1. 设置 .env 文件
cp example.env .env

# 2. 在 .env 文件中设置你的 Hugging Face Token（打开文件并将此值替换为你的 Token）
HF_TOKEN=your_huggingface_token_here

# 3. 下载必要的权重（如果你不需要某些权重，请注释掉）
pip install huggingface_hub
python ./weights/downloader.py

• 如果你已经有权重，请在 ./weights/downloader.py 中注释掉不需要的部分

✍️ 推理

• 从下面的示例开始，探索并激发你的创造力。✨

# 第一张图片是内容参考，其余的是风格参考。

# 对于主题驱动的生成
python inference.py --prompt "花店里的男士细心搭配花束，用鲜花传递美好的情感与祝福。" --image_paths "assets/gradio_examples/identity1.jpg" --width 1024 --height 1024
# 对于风格驱动的生成
# 请保持第一张图片路径为空
python inference.py --prompt "一只猫正在椅子上睡觉。" --image_paths "" "assets/gradio_examples/style1.webp" --width 1024 --height 1024
# 对于风格-主题驱动的生成（或将提示留空以进行布局保留的生成）
python inference.py --prompt "这位女士在讲台上发表了激情洋溢的演讲。" --image_paths "assets/gradio_examples/identity2.webp" "assets/gradio_examples/style2.webp" --width 1024 --height 1024
# 对于多风格生成
# 请保持第一张图片路径为空
python inference.py --prompt "一位英俊的男士。" --image_paths "" "assets/gradio_examples/style3.webp" "assets/gradio_examples/style4.webp" --width 1024 --height 1024

# 对于低显存使用
python inference.py --prompt "你的提示" --image_paths "你的图片.jpg" --width 1024 --height 1024 --offload --model_type flux-dev-fp8 

• 你也可以将自己的结果与 assets/gradio_examples 文件夹中的结果进行对比。

• 更多示例请访问我们的 项目页面 或尝试实时 演示。

🌟 Gradio 演示

python app.py

对于低显存使用，請传入 --offload 和 --name flux-dev-fp8 参数。峰值内存占用将为 16GB（单参考）~ 18GB（多参考）。

# 请使用 FLUX_DEV_FP8 替代 FLUX_DEV
export FLUX_DEV_FP8="YOUR_FLUX_DEV_PATH"

python app.py --offload --name flux-dev-fp8

🌈 更多示例

我们提供了一些提示词和生成结果，以帮助您更好地理解该模型。您可以查看我们的论文或项目页面获取更多可视化内容。

主题/身份驱动的生成

如果您想将主体放置到新的场景中，请使用自然语言描述，例如“一只狗/一位男士/一位女士正在做……”。如果您只想迁移风格但保持布局不变，则可以使用指令型提示词，如“将风格转换为……风格”。对于保留人物特征的生成，USO在生成高细节皮肤图像方面表现出色。实用建议：对于半身提示词，使用半身特写；当姿势或构图发生显著变化时，则使用全身图像。

风格驱动的生成

只需上传一到两张风格参考图，并用自然语言描述您想要的内容。USO将根据您的提示词生成图像，并匹配您上传的风格。

风格-主题驱动的生成

USO可以利用一到两张风格参考图对单一内容参考进行风格化处理。对于保持布局不变的生成，只需将提示词留空即可。

`布局保持不变的生成`

布局发生变化的生成

⚙️ ComfyUI 示例

我们很高兴 USO 现在已原生支持 ComfyUI。要快速入门，请参阅官方教程 USO 在 ComfyUI 中。为了帮助您复现并匹配结果，我们在 ./workflows 中提供了多个示例，包括工作流及其输入和输出，以便您迅速了解 USO 的功能。随着 USO 与 ComfyUI 生态系统完全兼容，您可以将其与其他插件（如 ControlNet 和 LoRA）结合使用。我们欢迎社区贡献更多工作流和示例。

现在您可以在 ComfyUI 中轻松运行 USO。只需将 ComfyUI 更新至最新版本 (0.3.57)，您便可在官方模板中找到 USO。

以下提供更多示例：

身份保留

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

身份风格化

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

身份 + 风格参考

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

单张风格参考

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

多张风格参考

下载上方图片并将其拖入 ComfyUI，即可加载对应的工作流。输入图片可在 ./workflow 中找到。

📄 免责声明

我们开源此项目用于学术研究。本项目中使用的绝大多数图像要么是自动生成的，要么来自开源数据集。如果您有任何疑虑，请联系我们，我们将立即移除任何不当内容。 本项目采用 Apache 2.0 许可证发布。如果您将其应用于其他基础模型，请确保遵守原始许可条款。

本研究旨在推动生成式人工智能领域的发展。用户可以自由使用此工具生成图像，但需遵守当地法律法规并负责任地使用。开发者不对用户滥用该工具的行为承担任何责任。

🚀 更新

为促进研究和开源社区的发展，我们计划将整个项目开源，涵盖训练、推理、权重、数据集等。感谢您的耐心与支持！🌟

• 发布技术报告。
• 发布 GitHub 仓库。
• 发布推理代码。
• 发布模型检查点。
• 发布 Hugging Face Space 演示。
• 发布训练代码。
• 发布数据集。

引用

如果 USO 对您有所帮助，请为该仓库点赞。

如果您认为本项目对您的研究有帮助，请考虑引用我们的论文：

@article{wu2025uso,
    title={USO: Unified Style and Subject-Driven Generation via Disentangled and Reward Learning},
    author={Shaojin Wu and Mengqi Huang and Yufeng Cheng and Wenxu Wu and Jiahe Tian and Yiming Luo and Fei Ding and Qian He},
    year={2025},
    eprint={2508.18966},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
}

USO 快速上手指南

USO (Unified Style and Subject-Driven Generation) 是由字节跳动智能创作实验室推出的统一框架，旨在通过解耦学习和奖励学习，同时实现风格驱动和主体驱动的图像生成。它解决了传统方法中风格迁移与主体一致性难以兼顾的问题。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python 版本: 3.10 - 3.12
• GPU 显存:
  • 标准模式：建议 24GB+
  • 低显存模式 (FP8)：约 16GB (消费级显卡可用)
• CUDA: 推荐 CUDA 12.4 (对应 PyTorch 2.4.0)

2. 安装步骤

2.1 创建虚拟环境

推荐使用 conda 或 venv 创建独立环境。

# 使用 conda (推荐)
conda create -n uso_env python=3.10 -y
conda activate uso_env

# 或者使用 venv
python -m venv uso_env
source uso_env/bin/activate  # Linux/Mac
# uso_env\Scripts\activate   # Windows

2.2 安装 PyTorch

安装推荐的 PyTorch 版本（基于 CUDA 12.4）：

pip install torch==2.4.0 torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu124

提示：国内用户若下载缓慢，可尝试使用清华源或阿里源替换上述命令中的 index-url，但需确保版本兼容性。

2.3 安装项目依赖

pip install -r requirements.txt

2.4 下载模型权重

1. 配置 Hugging Face Token： 复制示例配置文件并填入您的 HF Token（需在 Hugging Face 官网获取）。

   cp example.env .env
   # 编辑 .env 文件，将 HF_TOKEN=your_huggingface_token_here 替换为真实 token
   

2. 执行下载脚本：

   pip install huggingface_hub
   python ./weights/downloader.py
   

   注意：如果您已经手动下载了权重文件，请编辑 ./weights/downloader.py，注释掉不需要下载的权重部分。

3. 基本使用

USO 支持多种生成模式，主要通过 inference.py 脚本运行。以下是最常用的几种场景：

3.1 主体驱动生成 (Subject-Driven)

保持人物/物体身份一致，生成新场景。

• --image_paths: 第一张图为主体参考图。

python inference.py --prompt "The man in flower shops carefully match bouquets, conveying beautiful emotions and blessings with flowers." --image_paths "assets/gradio_examples/identity1.jpg" --width 1024 --height 1024

3.2 风格驱动生成 (Style-Driven)

保持内容布局，应用新的艺术风格。

• --image_paths: 第一个参数留空 ""，后续为风格参考图。

python inference.py --prompt "A cat sleeping on a chair." --image_paths "" "assets/gradio_examples/style1.webp" --width 1024 --height 1024

3.3 风格 + 主体联合生成 (Style-Subject Driven)

同时将特定主体放入特定风格中。

• --image_paths: 第一张为主体，第二张为风格。

python inference.py --prompt "The woman gave an impassioned speech on the podium." --image_paths "assets/gradio_examples/identity2.webp" "assets/gradio_examples/style2.webp" --width 1024 --height 1024

3.4 低显存模式 (Low VRAM / FP8)

如果您的显存有限（约 16GB），请添加 --offload 和 --model_type flux-dev-fp8 参数。

python inference.py --prompt "your prompt" --image_paths "your_image.jpg" --width 1024 --height 1024 --offload --model_type flux-dev-fp8

3.5 启动本地 Web Demo

想要可视化操作？可以启动 Gradio 界面：

# 标准模式
python app.py

# 低显存模式
export FLUX_DEV_FP8="YOUR_FLUX_DEV_PATH"
python app.py --offload --name flux-dev-fp8

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:7860）即可使用。

---

更多玩法：USO 已原生支持 ComfyUI。更新 ComfyUI 至最新版 (0.3.57+) 后，可在官方模板中找到 USO 节点，或直接导入项目 ./workflow 目录下的工作流文件进行高级创作。