SEINE

本仓库是 SEINE 的官方实现：

SEINE：用于生成式过渡与预测的短时长至长时长视频扩散模型（ICLR 2024）

SEINE 是一种视频扩散模型，也是视频生成系统 Vchitect 的一部分。 您也可以查看我们的文本到视频（T2V）框架 LaVie。

环境搭建

准备环境

conda create -n seine python==3.9.16
conda activate seine
pip install -r requirement.txt

下载我们的模型及 T2I 基础模型

我们的模型基于 Stable Diffusion v1.4，您可以从 Hugging Face 下载 [Stable Diffusion v1-4] 并将其放置在 pretrained 目录下。 接着下载我们的模型检查点（可从 Google Drive 或 Hugging Face 获取），并保存至 pretrained 目录。

此时，在 ./pretrained 目录下应能看到如下文件结构：

├── pretrained
│   ├── seine.pt
│   ├── stable-diffusion-v1-4
│   │   ├── ...
└── └── ├── ...
        ├── ...

使用方法

I2V 推理

运行以下命令以获得 I2V 结果：

python sample_scripts/with_mask_sample.py --config configs/sample_i2v.yaml

生成的视频将保存在 ./results/i2v 目录中。

更多细节

您可以修改 ./configs/sample_i2v.yaml 来调整生成条件。 例如：

ckpt 用于指定模型检查点。

text_prompt 用于描述视频内容。

input_path 用于指定输入图像的路径。

过渡效果推理

python sample_scripts/with_mask_sample.py --config configs/sample_transition.yaml

生成的视频将保存在 ./results/transition 目录中。

结果展示

I2V 结果

输入图像	输出视频

过渡效果结果

输入图像		输出视频

BibTeX 引用

@inproceedings{chen2023seine,
  title={Seine: Short-to-long video diffusion model for generative transition and prediction},
  author={Chen, Xinyuan and Wang, Yaohui and Zhang, Lingjun and Zhuang, Shaobin and Ma, Xin and Yu, Jiashuo and Wang, Yali and Lin, Dahua and Qiao, Yu and Liu, Ziwei},
  booktitle={ICLR},
  year={2023}
}

@article{wang2023lavie,
  title={LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models},
  author={Wang, Yaohui and Chen, Xinyuan and Ma, Xin and Zhou, Shangchen and Huang, Ziqi and Wang, Yi and Yang, Ceyuan and He, Yinan and Yu, Jiashuo and Yang, Peiqing and others},
  journal={IJCV},
  year={2024}
}

免责声明

我们对用户生成的内容不承担任何责任。该模型并未经过训练以真实地再现人物或事件，因此使用它来生成此类内容超出了模型的能力范围。严禁利用该模型生成色情、暴力或血腥内容，以及贬低他人或对人类及其环境、文化、宗教等造成伤害的内容。用户需对其行为自行负责。项目贡献者与用户的任何行为均无法律关联，也不承担相应责任。请遵守伦理和法律规范，负责任地使用该生成模型。

联系我们

陈鑫源: chenxinyuan@pjlab.org.cn 王耀辉: wangyaohui@pjlab.org.cn

致谢

本代码基于 LaVie、diffusers 和 Stable Diffusion 构建，感谢所有开源贡献者的付出。

许可证

代码采用 Apache-2.0 许可证，模型权重完全开放用于学术研究，并允许免费商业使用。如需申请商业许可，请联系 vchitect@pjlab.org.cn。

SEINE 快速上手指南

SEINE 是一个用于视频生成过渡和预测的“短到长”视频扩散模型，支持图像转视频（I2V）及双图过渡视频生成。

1. 环境准备

• 操作系统: Linux (推荐)
• Python 版本: 3.9.16
• 硬件要求: 需要 NVIDIA GPU 及对应的 CUDA 环境
• 前置依赖: Conda 包管理器

2. 安装步骤

2.1 创建并激活虚拟环境

conda create -n seine python==3.9.16
conda activate seine

2.2 安装项目依赖

pip install -r requirement.txt

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 下载模型权重

本项目基于 Stable Diffusion v1.4，需下载基础模型和 SEINE 检查点并存入 pretrained 目录。

1. 下载基础模型: 下载 Stable Diffusion v1-4 模型文件。

2. 下载 SEINE 模型: 从 Hugging Face 或 Google Drive 下载 seine.pt。

   国内加速：推荐使用 Hugging Face 镜像站 (如 hf-mirror.com) 下载。

3. 目录结构确认: 确保 ./pretrained 目录结构如下：

   ├── pretrained
   │   ├── seine.pt
   │   ├── stable-diffusion-v1-4
   │   │   ├── ... (SD v1.4 模型文件)
   

3. 基本使用

3.1 图像转视频 (Image-to-Video, I2V)

根据单张输入图片生成视频。

运行命令：

python sample_scripts/with_mask_sample.py --config configs/sample_i2v.yaml

配置说明： 编辑 configs/sample_i2v.yaml 文件以修改生成条件：

• ckpt: 指定模型检查点路径（通常无需修改）。
• text_prompt: 描述视频内容的文本提示词。
• input_path: 指定输入图片的路径。

输出结果： 生成的视频将保存在 ./results/i2v 目录下。

---

3.2 视频过渡生成 (Transition)

根据两张输入图片生成平滑过渡视频。

运行命令：

python sample_scripts/with_mask_sample.py --config configs/sample_transition.yaml

配置说明： 编辑 configs/sample_transition.yaml 文件，主要修改：

• text_prompt: 描述过渡效果的文本提示词。
• input_path: 指定包含两张输入图片的路径或配置。

输出结果： 生成的视频将保存在 ./results/transition 目录下。