---

StoryDiffusion：用于长序列图像和视频生成的一致性自注意力机制 的官方实现。

演示视频

https://github.com/HVision-NKU/StoryDiffusion/assets/49511209/d5b80f8f-09b0-48cd-8b10-daff46d422af

更新历史

您可以访问这里查看更新历史。

🌠 核心特性：

StoryDiffusion 可以通过生成连贯的图像和视频来创作精彩的故事情节。我们的工作主要包含两部分：

1. 用于长序列中角色一致性图像生成的一致性自注意力机制。该机制可热插拔，兼容所有基于 SD1.5 和 SDXL 的图像扩散模型。对于当前实现，用户需要为一致性自注意力模块提供至少 3 个文本提示。我们建议使用至少 5–6 个文本提示，以获得更好的布局效果。
2. 用于长序列视频生成的运动预测器，它在压缩的图像语义空间中预测条件图像之间的运动，从而实现更大范围的运动预测。

🔥 示例

漫画生成

图像转视频生成 （结果为提高速度进行了高度压缩）

借助我们的一致性自注意力机制生成的图像，我们可以进一步将其无缝衔接，制作成视频。这可以看作是一种两阶段的长视频生成方法。

注意：为了加快速度，结果被高度压缩了，您可以访问我们的网站获取高质量版本。

两阶段长视频生成（新更新）

结合上述两部分，我们可以生成非常长且高质量的 AIGC 视频。

视频1	视频2	视频3

使用条件图像生成的长视频结果

我们的图像转视频模型可以通过用户提供的一系列条件图像来生成视频。

视频1	视频2	视频3

视频4	视频5	视频6

短视频

视频1	视频2	视频3

视频4	视频5	视频6

🚩 待办事项/更新

• StoryDiffusion 的漫画生成结果。
• StoryDiffusion 的视频生成结果。
• 漫画生成的源代码。
• Gradio 演示的源代码。
• 视频生成模型的源代码。
• 视频生成模型的预训练权重。

---

🔧 依赖与安装

• Python >= 3.8（推荐使用 Anaconda 或 Miniconda）
• PyTorch >= 2.0.0

conda create --name storydiffusion python=3.10
conda activate storydiffusion
pip install -U pip

# 安装依赖
pip install -r requirements.txt

使用方法

目前，我们提供了两种生成漫画的方式。

使用 Jupyter Notebook

您可以打开 Comic_Generation.ipynb 并运行代码。

启动本地 Gradio 演示

运行以下命令：

(推荐) 我们提供了一个低显存消耗的版本，该版本已在配备 24GB 显存（Tesla A10）和 30GB 内存的机器上测试过，预计在显存大于 20GB 的设备上也能良好运行。

python gradio_app_sdxl_specific_id_low_vram.py

联系方式

如果您有任何问题，欢迎发送邮件至 ypzhousdu@gmail.com 和 zhoudaquan21@gmail.com。

免责声明

本项目致力于对 AI 驱动的图像和视频生成领域产生积极影响。用户可以自由地使用此工具创建图像和视频，但应遵守当地法律法规，并负责任地使用。开发者不对用户的任何潜在滥用行为承担责任。

相关资源

以下是一些第三方对 StoryDiffusion 的实现。

API

• runpod.io 无服务器工作器，由 BeS 提供。
• Replicate 工作器，由 camenduru 提供。

BibTeX

如果您在研究和应用中发现 StoryDiffusion 有用，请使用以下 BibTeX 格式引用：

@article{zhou2024storydiffusion,
  title={StoryDiffusion：用于长距离图像和视频生成的一致性自注意力机制},
  author={Zhou, Yupeng 和 Zhou, Daquan 和 Cheng, Ming-Ming 和 Feng, Jiashi 和 Hou, Qibin},
  journal={NeurIPS 2024},
  year={2024}
}

StoryDiffusion 快速上手指南

🧰 环境准备

系统要求

• Python 3.8+（推荐使用 Anaconda 或 Miniconda）
• PyTorch 2.0.0+

依赖库

• 项目依赖库已列在 requirements.txt 中

---

🛠 安装步骤

# 创建虚拟环境并激活
conda create --name storydiffusion python=3.10
conda activate storydiffusion

# 升级 pip 工具
pip install -U pip

# 安装依赖（建议使用国内镜像加速）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

---

🚀 基本使用

方式 1：Jupyter Notebook

1. 打开 Comic_Generation.ipynb 文件
2. 依次运行代码单元格进行漫画生成

方式 2：本地 Gradio 演示

# 运行低显存优化版本（需 20GB+ 显存）
python gradio_app_sdxl_specific_id_low_vram.py

注意：该工具支持长序列图像和视频生成，需提供至少 3 个文本提示（推荐 5-6 个以获得更好布局）。