SemanticDraw：基于图像扩散模型的实时交互式内容创作

CVPR 2025

此前曾发表过 StreamMultiDiffusion：基于区域语义控制的实时交互式生成

在大画布上绘制多个提示掩码	实时创作

Jaerin Lee · Daniel Sungho Jung · Kanggeon Lee · Kyoung Mu Lee

SemanticDraw 是一个实时交互式的文本到图像生成框架，它允许你使用语义画笔 🖌️ 来 带有意义地绘画 🧠。

🚀 快速入门

# 安装
conda create -n semdraw python=3.12 && conda activate semdraw
git clone https://github.com/ironjr/semantic-draw
cd semantic-draw
pip install -r requirements.txt

# 运行流式演示
cd demo/stream
python app.py --model "runwayml/stable-diffusion-v1-5" --port 8000

# 在浏览器中打开 http://localhost:8000

若要支持 SD3，还需额外运行：

pip install git+https://github.com/initml/diffusers.git@clement/feature/flash_sd3

注意：这已在 requirements.txt 中默认包含。

📚 目录

• 功能
• 安装
• 演示应用
• 使用示例
• 文档
• 常见问题
• 引用

⭐ 功能

交互式绘图	提示分离	实时编辑
使用语义画笔作画	不混入无关内容	实时编辑图片

🔧 安装

基本安装

conda create -n smd python=3.12 && conda activate smd
git clone https://github.com/ironjr/StreamMultiDiffusion
cd StreamMultiDiffusion
pip install -r requirements.txt

支持 Stable Diffusion 3

pip install git+https://github.com/initml/diffusers.git@clement/feature/flash_sd3

🎨 演示应用

我们提供了几个具有不同功能和模型支持的演示应用：

1. StreamMultiDiffusion（主演示）

具备语义绘图能力的实时流媒体界面。

cd demo/stream
python app.py --model "your-model" --height 512 --width 512 --port 8000

2. Semantic Palette

针对不同 SD 版本的简化界面：

SD 1.5 版本

cd demo/semantic_palette
python app.py --model "runwayml/stable-diffusion-v1-5" --port 8000

SDXL 版本

cd demo/semantic_palette_sdxl
python app.py --model "your-sdxl-model" --port 8000

SD3 版本

cd demo/semantic_palette_sd3
python app.py --port 8000

💻 使用示例

Python API

import torch
from model import StableMultiDiffusionPipeline

# 初始化
device = torch.device('cuda:0')
smd = StableMultiDiffusionPipeline(device, hf_key='runwayml/stable-diffusion-v1-5')

# 生成
image = smd.sample('多洛米蒂山脉的照片')
image.save('output.png')

import torch
from model import StableMultiDiffusionPipeline
from util import seed_everything

# 设置
seed_everything(2024)
device = torch.device('cuda:0')
smd = StableMultiDiffusionPipeline(device)

# 定义提示和掩码
prompts = ['背景：城市', '前景：一只猫', '前景：一只狗']
masks = load_masks()  # 你的掩码加载逻辑

# 生成
image = smd(prompts, masks=masks, height=768, width=768)
image.save('output.png')

from model import StreamMultiDiffusion

# 初始化流式管道
smd = StreamMultiDiffusion(device, height=512, width=512)

# 注册图层
smd.update_single_layer(idx=0, prompt='背景', mask=bg_mask)
smd.update_single_layer(idx=1, prompt='物体', mask=obj_mask)

# 流式生成
while True:
    image = smd()
    display(image)

Jupyter 笔记本

在我们的 notebooks 目录中探索交互式示例：

• 基本用法教程
• 高级区域控制
• SD3 示例
• 自定义模型集成

📖 文档

详细指南

• 旧版 README
• 笔记本

论文

有关技术细节，请参阅我们的论文和项目页面。

🙋 常见问题解答

🚩 最新更新

• 🔥 2025年6月：在 CVPR 2025 上发表
• ✅ 2024年6月：通过 Flash Diffusion 支持 SD3
• ✅ 2024年4月：StreamMultiDiffusion v2，配备响应式用户界面
• ✅ 2024年3月：通过 Lightning LoRA 支持 SDXL
• ✅ 2024年3月：发布首个版本

完整历史记录请参阅 README_old.md。

🌏 引用

@inproceedings{lee2025semanticdraw,
    title="{SemanticDraw:} Towards Real-Time Interactive Content Creation from Image Diffusion Models",
    author={Lee, Jaerin and Jung, Daniel Sungho and Lee, Kanggeon and Lee, Kyoung Mu},
    booktitle={CVPR},
    year={2025}
}

🤗 致谢

本项目基于 StreamDiffusion、MultiDiffusion 和 LCM 构建。特别感谢 Hugging Face 团队及各模型贡献者。

📧 联系方式

请发送邮件至 jarin.lee@gmail.com 或 提交 issue。

SemanticDraw 快速上手指南

SemanticDraw 是一个实时的交互式文生图框架，允许用户使用“语义画笔”进行创作。你可以在画布的不同区域绘制不同的提示词（Prompt），系统会实时生成对应的图像内容，且互不干扰。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python 版本: 3.12
• GPU 要求:
  • 最低配置：8GB 显存 (支持 512x512 分辨率)
  • 推荐配置：11GB 及以上显存 (支持更高分辨率及 SDXL/SD3 模型)
• 前置依赖:
  • Conda (推荐用于环境管理)
  • Git
  • CUDA 驱动 (需与 PyTorch 版本兼容)

安装步骤

1. 创建并激活虚拟环境

使用 Conda 创建独立的 Python 3.12 环境：

conda create -n semdraw python=3.12 && conda activate semdraw

2. 克隆项目代码

从 GitHub 克隆仓库并进入目录：

git clone https://github.com/ironjr/semantic-draw
cd semantic-draw

3. 安装依赖

安装项目所需的 Python 包。

提示：国内用户若下载缓慢，可临时指定清华源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install -r requirements.txt

4. (可选) 安装 Stable Diffusion 3 支持

如果你需要使用 SD3 模型，需额外安装特定版本的 diffusers：

pip install git+https://github.com/initml/diffusers.git@clement/feature/flash_sd3

基本使用

最简单的方式是启动官方的流式演示应用（Streaming Demo），通过浏览器进行交互式绘画。

启动演示服务

以下命令将加载 Stable Diffusion 1.5 模型并在本地 8000 端口启动服务：

cd demo/stream
python app.py --model "runwayml/stable-diffusion-v1-5" --port 8000

• --model: 指定模型路径，可以是 Hugging Face 模型 ID 或本地 .safetensors 文件路径。
• --port: 设置 Web 服务端口，默认为 8000。

开始创作

1. 打开浏览器访问：http://localhost:8000
2. 绘制蒙版：在画布上选择不同颜色的画笔（代表不同的语义区域）。
3. 输入提示词：为每种颜色对应的区域输入文本描述（例如：背景输入"blue sky"，前景输入"a cat"）。
4. 实时生成：随着你的绘制，图像将实时更新，实现“所画即所得”。

自定义模型

如果你有本地的 .safetensors 模型文件：

1. 将文件放入 demo/stream/checkpoints 文件夹（或其他任意路径）。
2. 运行命令时指定文件名：

   python app.py --model "your-model.safetensors" --port 8000