FancyVideo

本仓库是 FancyVideo 的官方实现。

FancyVideo：通过跨帧文本引导实现动态且一致的视频生成
冯嘉松*、马翱*†、王晶*、程博、梁晓丹、冷大伟‡、殷宇辉(*贡献相等，†项目负责人，‡通讯作者)

我们的代码基于 AnimateDiff，同时借鉴了 CV-VAE、Res-Adapter 和 Long-CLIP 的思想来进一步优化项目。我们对这些开源项目的贡献表示感谢。

🔥 最新消息

• [2024/10/10] 🔥 我们发布了125帧模型，以及基于61帧模型开发的视频扩展模型和视频回溯模型。该模型已上传至 huggingface。
• [2024/09/05] 我们很高兴地推出最新研究成果：Qihoo-T2X，这是一种专为“文本到任意”任务设计的开创性DiT架构范式。
• [2024/08/19] 我们初始化了这个GitHub仓库，并发布了推理代码和61帧模型。
• [2024/08/15] 我们发表了 FancyVideo 的论文。

🕓 时间安排

• [2024年10月初] 我们计划发布FancyVideo的125帧模型，以及视频扩展模型和视频回溯模型。[√]
• [2024年11月初] 我们计划发布FancyVideo的训练代码。
• [暂不确定] 我们计划发布FancyVideo的16通道3D Video VAE及其配套模型。

快速演示

视频演示可在 网页 上找到。其中部分由社区贡献。您也可以使用以下推理代码自定义自己的视频。

快速入门

0. 实验环境

我们已在配备24GB 3090显卡及CUDA 12.1环境的机器上测试了推理代码。

1. 克隆仓库并搭建环境

git clone https://github.com/360CVGroup/FancyVideo.git
cd FancyVideo

conda create -n fancyvideo python=3.10
conda activate fancyvideo
pip install -r requirements.txt

2. 准备模型

# fancyvideo-ckpts & cv-vae & res-adapter & longclip & sdv1.5-base-models
git lfs install
git clone https://huggingface.co/qihoo360/FancyVideo
mv FancyVideo/resources/models resources 


# stable-diffusion-v1-5
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 resources/models

下载完成后，您的resources文件夹结构如下：

📦 resources/
├── 📂 models/
│   └── 📂 fancyvideo_ckpts/
│       └── 📂 vae_3d_61_frames/
│       └── 📂 vae_3d_125_frames/
│       └── 📂 video_extending/
│       └── 📂 video_backtracking/
│   └── 📂 CV-VAE/
│   └── 📂 res-adapter/
│   └── 📂 LongCLIP-L/
│   └── 📂 sd_v1-5_base_models/
│   └── 📂 stable-diffusion-v1-5/
├── 📂 demos/
│   └── 📂 reference_images/
│   └── 📂 reference_videos/
│   └── 📂 test_prompts/

3. 自定义您的视频

3.1 图片转视频

由于SD1.5模型的图像生成能力有限，我们建议先使用更先进的T2I模型（如SDXL）生成初始帧，再利用我们的I2V功能制作视频。

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/i2v.yaml

3.2 文本转视频（不同基础模型）

我们的模型具备通用的T2V能力，可与SD1.5社区提供的基础模型结合使用。

# 使用pixars的基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_pixars.yaml

# 使用realcartoon3d的基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_realcartoon3d.yaml

# 使用toonyou的基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_toonyou.yaml

3.3 125帧模型的图片转视频

与3.1类似，3.2部分同样可以使用此模型。

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/i2v_125_frames.yaml

3.4 视频扩展

您可以将61帧的视频扩展到125帧，只需将潜在空间从16增大到32即可。

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/video_extending.yaml

3.5 视频回溯

您也可以将61帧的视频缩小回125帧，方法是调整潜在空间大小，从32降至16。

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/video_backtracking.yaml

参考文献

• Animatediff: https://github.com/guoyww/AnimateDiff
• CV-VAE: https://github.com/AILab-CVC/CV-VAE
• Res-Adapter: https://github.com/bytedance/res-adapter
• Long-CLIP: https://github.com/beichenzbc/Long-CLIP

BibTeX

@misc{feng2024fancyvideodynamicconsistentvideo,
        title={FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance}, 
        author={Jiasong Feng and Ao Ma and Jing Wang and Bo Cheng and Xiaodan Liang and Dawei Leng and Yuhui Yin},
        year={2024},
        eprint={2408.08189},
        archivePrefix={arXiv},
        primaryClass={cs.CV},
        url={https://arxiv.org/abs/2408.08189}, 
}

许可证

本项目采用 Apache License (Version 2.0) 许可协议。

FancyVideo 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 macOS（推荐使用 Ubuntu 20.04 或更高版本）
• 显卡：至少 24GB 显存的 GPU（如 NVIDIA 3090）
• CUDA 版本：12.1（建议使用官方驱动）

前置依赖

• Python 3.10
• Conda（用于创建虚拟环境）
• Git
• Git LFS（用于下载大文件）

---

安装步骤

git clone https://github.com/360CVGroup/FancyVideo.git
cd FancyVideo

conda create -n fancyvideo python=3.10
conda activate fancyvideo
pip install -r requirements.txt

---

基本使用

准备模型

# 安装 Git LFS
git lfs install

# 下载模型资源
git clone https://huggingface.co/qihoo360/FancyVideo
mv FancyVideo/resources/models resources

# 下载 Stable Diffusion 1.5 模型
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 resources/models

生成视频示例

图像转视频（推荐使用 SDXL 生成初始帧）

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/i2v.yaml

文本转视频（使用不同基础模型）

# 使用 pixars 基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_pixars.yaml

# 使用 realcartoon3d 基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_realcartoon3d.yaml

# 使用 toonyou 基础模型
CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/t2v_toonyou.yaml

使用 125 帧模型生成视频

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/i2v_125_frames.yaml

视频扩展（61 帧 → 125 帧）

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/video_extending.yaml

视频回溯（125 帧 → 61 帧）

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./ python scripts/demo.py --config configs/inference/video_backtracking.yaml