DiffSensei: 连接多模态大语言模型（Multi-Modal LLMs）与扩散模型（Diffusion Models）实现定制化漫画生成

更多演示请访问我们的项目主页。

一个关于 LeCun、Hinton 和 Bengio 获得诺贝尔奖的故事...

🚀 快速概览

DiffSensei 能够生成可控的黑白漫画分镜，并支持灵活的角色适配。

核心特性：

• 🌟 可变分辨率漫画分镜生成（边长 64-2048 像素！）
• 🖼️ 仅需一张角色输入图像，即可创造多种外观
• ✨ 多样化应用：定制化漫画生成、真人漫画创作

🎉 更新动态

• [2025-2-5] 参考训练代码已发布（t2i + condition + mllm）！
• [2024-12-13] 发布了无 MLLM 组件的新版 Gradio 演示（显存占用大幅降低）！
• [2024-12-10] 模型检查点、数据集和推理代码已发布！

🛠️ 快速开始

环境安装

# 使用 Conda 创建新环境
conda create -n diffsensei python=3.11
conda activate diffsensei
# 安装 PyTorch 和 Diffusers 相关包
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
conda install -c conda-forge diffusers transformers accelerate
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
# 安装其他依赖
pip install -r requirements.txt
# 运行 Gradio 演示所需的第三方库
pip install gradio-image-prompter

模型下载

从 Hugging Face 下载 DiffSensei 模型，并按以下结构放置在 checkpoints 文件夹中：

如果您计划不使用 MLLM 组件，可以下载不含 MLLM 组件的模型，并使用 gradio_wo_mllm.py 生成结果。

checkpoints
  |- diffsensei
    |- image_generator
      |- ...
    |- mllm
      |- ...

使用 Gradio 进行推理

我们提供了 Gradio 演示用于 DiffSensei 推理。

CUDA_VISIBLE_DEVICES=0 \
python -m scripts.demo.gradio \
  --config_path configs/model/diffsensei.yaml \
  --inference_config_path configs/inference/diffsensei.yaml \
  --ckpt_path checkpoints/diffsensei

我们还提供了无 MLLM 的版本，专为低显存使用场景设计。如果选择此版本，您可以跳过下载检查点中的 MLLM 组件，显著降低显存消耗。（可在单张 24GB 显存的 4090 GPU 上运行，批次大小为 1，适用于中小尺寸分镜）。虽然此版本的文本兼容性可能略有降低，但整体生成质量基本不受影响。

CUDA_VISIBLE_DEVICES=0 \
python -m scripts.demo.gradio_wo_mllm \
  --config_path configs/model/diffsensei.yaml \
  --inference_config_path configs/inference/diffsensei.yaml \
  --ckpt_path checkpoints/diffsensei

请耐心等待。尝试更多提示词、角色和随机种子，下载您喜爱的漫画分镜吧！🤗

MangaZero 数据集

由于许可证问题，我们无法直接分享图像。取而代之的是，我们提供了 MangaZero 数据集的漫画图像 URL（来自 MangaDex）和标注信息。 请注意，发布的 MangaZero 版本约为训练所用完整数据集的 3/4。缺失的图像是因为部分 URL 已不可用。对于类似的漫画数据使用需求，我们强烈建议有兴趣的所有人按照 MangaDex API 的说明，从 MangaDex 自由收集自己的数据集。

请从 Hugging Face 下载 MangaZero。

下载标注文件后，请将标注文件放置在 data/mangazero/annotations.json，并运行 scripts/dataset/download_mangazero.py 以下载和整理图像。

python -m scripts.dataset.download_mangazero \
  --ann_path data/mangazero/annotations.json \
  --output_image_root data/mangazero/images

参考训练代码

我们发布了用于 t2i 训练、条件训练和 MLLM 训练的参考训练代码。此代码公开发布以支持未来的研究工作。但请注意，代码仍处于测试阶段，无法保证无需调整即可运行。我们建议根据自身数据集和具体需求修改代码。

训练前，请从 IP-Adapter、SDXL 和 SEED-X（仅 MLLM 训练需要）下载检查点。

第一阶段（t2i 训练）的参考代码位于 scripts/train/train_t2i.py。

accelerate launch \
  --multi_gpu \
  -m scripts.train.train_t2i.yaml \
  --config_path configs/train/diffsensei/t2i.yaml \

第二阶段（条件训练）的参考代码位于 scripts/train/train.py

accelerate launch \
  --multi_gpu \
  -m scripts.train.train \
  --config_path configs/train/diffsensei/self_0.5.yaml

第三阶段（MLLM 训练）的参考代码位于 scripts/train/train_mllm.py

accelerate launch \
  --multi_gpu \
  -m scripts.train.train_mllm \
  --config_path configs/train/diffsensei/mllm.yaml

每个脚本命令中的配置文件包含检查点路径。

引用

article{wu2024diffsensei,
  title={DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation},
  author={Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, and Yunhai Tong},
  journal={arXiv preprint arXiv:2412.07589},
  year={2024},
}

DiffSensei 快速上手指南

DiffSensei 是一款基于多模态大语言模型（MLLM）和扩散模型的可控黑白漫画生成工具，支持灵活的角色适配和多种分辨率（64-2048 像素）的漫画面板生成。

---

环境准备

系统要求

项目	要求
GPU	NVIDIA GPU，显存 ≥ 24GB（推荐 RTX 4090 或更高）
CUDA	12.1 及以上
Python	3.11
内存	建议 32GB 以上

提示：若显存不足，可使用无 MLLM 版本，24GB 显存即可运行小/中等尺寸面板。

---

安装步骤

1. 创建 Conda 环境

conda create -n diffsensei python=3.11
conda activate diffsensei

2. 安装 PyTorch 及相关依赖

# 安装 PyTorch（CUDA 12.1）
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

# 安装 Diffusers、Transformers、Accelerate
conda install -c conda-forge diffusers transformers accelerate

# 安装 xFormers（加速推理）
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

国内加速：如遇下载缓慢，可将 PyTorch 源替换为清华镜像：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ -c nvidia

3. 安装其他依赖

pip install -r requirements.txt
pip install gradio-image-prompter

---

模型下载

从 Hugging Face 下载模型权重，放置到 checkpoints 目录：

checkpoints
└── diffsensei
    ├── image_generator/    # 图像生成模型（必需）
    └── mllm/               # 多模态大模型（可选，显存不足可跳过）

国内加速：使用 Hugging Face 镜像站下载

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download jianzongwu/DiffSensei --local-dir checkpoints/diffsensei

---

基本使用

启动 Gradio 交互界面（完整版）

CUDA_VISIBLE_DEVICES=0 \
python -m scripts.demo.gradio \
  --config_path configs/model/diffsensei.yaml \
  --inference_config_path configs/inference/diffsensei.yaml \
  --ckpt_path checkpoints/diffsensei

启动 Gradio 界面（轻量版，无 MLLM）

适合显存有限的情况，推理质量基本不受影响：

CUDA_VISIBLE_DEVICES=0 \
python -m scripts.demo.gradio_wo_mllm \
  --config_path configs/model/diffsensei.yaml \
  --inference_config_path configs/inference/diffsensei.yaml \
  --ckpt_path checkpoints/diffsensei

启动后，在浏览器中打开 http://localhost:7860 即可使用。上传角色参考图，输入提示词，调整参数生成定制化漫画面板。

---

快速验证

运行成功后，尝试以下操作验证功能：

1. 上传角色图片 → 生成该角色的不同姿态/表情
2. 调整分辨率 → 测试 512×512 到 1024×1024 不同尺寸
3. 修改提示词 → 控制场景、动作、对话气泡等元素