VideoComposer

VideoComposer：具有运动可控性的组合式视频合成 的官方仓库

更多示例请参见 项目页面。

我们正在寻找才华横溢、积极进取且富有想象力的研究人员加入我们的团队。如果您感兴趣，请随时通过电子邮件 yingya.zyy@alibaba-inc.com 向我们发送您的简历。

VideoComposer 是一种可控制的视频扩散模型，它允许用户以多种形式（如文本描述、草图序列、参考视频，甚至简单的手工动作和手绘）同时灵活地控制合成视频中的空间和时间模式。

🔥新闻!!!

• [2023.10] 我们发布了高质量的 I2VGen-XL 模型，请参阅 网页
• [2023.08] 我们在 ModelScope 上发布了 Gradio UI
• [2023.07] 我们发布了无水印的预训练模型，请参阅 ModelCard

待办事项

• 发布我们的技术论文和网页。
• 发布代码和预训练模型。
• 在 ModelScope 和 Hugging Face 上发布 Gradio UI。
• 在 ModelScope 上发布可生成 8 秒无水印视频的预训练模型。

方法

自行运行

1. 安装

要求：

• Python==3.8
• ffmpeg（用于提取运动向量）
• torch==1.12.0+cu113
• torchvision==0.13.0+cu113
• open-clip-torch==2.0.2
• transformers==4.18.0
• flash-attn==0.2
• xformers==0.0.13
• motion-vector-extractor==1.0.6（用于运动向量提取）

您也可以使用以下命令创建与我们相同的环境：

conda env create -f environment.yaml

2. 下载模型权重

通过以下命令下载所有 模型权重：

!pip install modelscope
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('damo/VideoComposer', cache_dir='model_weights/', revision='v1.0.0')

接下来，请按照下面显示的文件结构将这些模型放置在 model_weights 文件夹中。

|--model_weights/
|    |--non_ema_228000.pth
|    |--midas_v3_dpt_large.pth 
|    |--open_clip_pytorch_model.bin
|    |--sketch_simplification_gan.pth
|    |--table5_pidinet.pth
|    |--v2-1_512-ema-pruned.ckpt

您也可以从它们的原始项目中下载其中一些：

• “midas_v3_dpt_large.pth” 来自 MiDaS
• “open_clip_pytorch_model.bin” 来自 Open Clip
• “sketch_simplification_gan.pth” 和 “table5_pidinet.pth” 来自 Pidinet
• “v2-1_512-ema-pruned.ckpt” 来自 Stable Diffusion。

为了方便起见，我们在本仓库中提供了下载链接。

3. 运行

在这个项目中，我们提供了两种实现方式，可以帮助您更好地理解我们的方法。

3.1 使用自定义输入进行推理

您可以使用以下命令运行代码：

python run_net.py\
    --cfg configs/exp02_motion_transfer.yaml\
    --seed 9999\
    --input_video "demo_video/motion_transfer.mp4"\
    --image_path "demo_video/moon_on_water.jpg"\
    --input_text_desc "夜晚水面上的一轮美丽的明月"

结果保存在 outputs/exp02_motion_transfer-S09999 文件夹中：

在某些情况下，如果您注意到颜色差异显著变化，可以使用风格条件来调整颜色分布，如下所示。这在某些情况下可能会有所帮助。

python run_net.py\
    --cfg configs/exp02_motion_transfer_vs_style.yaml\
    --seed 9999\
    --input_video "demo_video/motion_transfer.mp4"\
    --image_path "demo_video/moon_on_water.jpg"\
    --style_image "demo_video/moon_on_water.jpg"\
    --input_text_desc "夜晚水面上的一轮美丽的明月"

python run_net.py\
    --cfg configs/exp03_sketch2video_style.yaml\
    --seed 8888\
    --sketch_path "demo_video/src_single_sketch.png"\
    --style_image "demo_video/style/qibaishi_01.png"\
    --input_text_desc "红背伯劳鸟 lanius collurio"

python run_net.py\
    --cfg configs/exp04_sketch2video_wo_style.yaml\
    --seed 144\
    --sketch_path "demo_video/src_single_sketch.png"\
    --input_text_desc "一只红背伯劳鸟 lanius collurio 正栖息在树枝上"

python run_net.py\
    --cfg configs/exp05_text_depths_wo_style.yaml\
    --seed 9999\
    --input_video demo_video/video_8800.mp4\
    --input_text_desc "一条闪闪发光、晶莹剔透的小鱼，在一个装有五彩石子的小玻璃碗里游动，宛如一只玻璃鱼"

python run_net.py\
    --cfg configs/exp06_text_depths_vs_style.yaml\
    --seed 9999\
    --input_video demo_video/video_8800.mp4\
    --style_image "demo_video/style/qibaishi_01.png"\
    --input_text_desc "一条闪闪发光、晶莹剔透的小鱼，在一个装有五彩石子的小玻璃碗里游动，宛如一只玻璃鱼"

3.2 对视频进行推理

您只需使用以下命令运行代码：

python run_net.py \
    --cfg configs/exp01_vidcomposer_full.yaml \
    --input_video "demo_video/blackswan.mp4" \
    --input_text_desc "一只黑天鹅在水中游动" \
    --seed 9999

此命令将提取输入视频的不同条件，例如深度、草图和运动向量，用于后续的视频生成，并将结果保存在 outputs 文件夹中。任务列表已在 inference_multi.py 中预先定义。

除了上述用例之外，您还可以利用这段代码和模型探索更多的可能性。请注意，由于扩散模型生成样本的多样性，您可以尝试不同的种子以获得更好的结果。

我们希望您能喜欢使用它！ 😀

BibTeX

如果本仓库对您有所帮助，请引用我们的技术论文。

@article{2023videocomposer,
  title={VideoComposer: 具有运动可控性的组合式视频合成},
  author={Wang, Xiang* 和 Yuan, Hangjie* 和 Zhang, Shiwei* 和 Chen, Dayou* 和 Wang, Jiuniu, 和 Zhang, Yingya, 和 Shen, Yujun, 和 Zhao, Deli 和 Zhou, Jingren},
  booktitle={arXiv 预印本 arXiv:2306.02018},
  year={2023}
}

致谢

我们衷心感谢多项先前工作对 VideoComposer 发展所作出的贡献。这其中包括但不限于 Composer、ModelScopeT2V、Stable Diffusion、OpenCLIP、WebVid-10M、LAION-400M、Pidinet 以及 MiDaS。我们致力于在尊重这些工作原始贡献的基础上继续推进研究。

免责声明

本开源模型基于 WebVid-10M 和 LAION-400M 数据集训练而成，仅适用于科研/非商业用途。此外，我们还使用内部视频数据训练了功能更强大的模型，未来可供使用。

# VideoComposer 快速上手指南

## 环境准备
### 系统要求
- Python 3.8
- CUDA 11.3
- ffmpeg（用于运动向量提取）
- 至少24G显存（建议使用A100/H100显卡）

### 前置依赖
推荐使用国内镜像加速安装：
```bash
# 配置国内镜像源（可选）
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 创建conda环境

conda env create -f environment.yaml

2. 下载模型权重（推荐方式）

pip install modelscope
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('damo/VideoComposer', cache_dir='model_weights/', revision='v1.0.0')

3. 验证模型目录结构

确保模型文件按以下结构存放：

model_weights/
├── non_ema_228000.pth
├── midas_v3_dpt_large.pth 
├── open_clip_pytorch_model.bin
├── sketch_simplification_gan.pth
├── table5_pidinet.pth
└── v2-1_512-ema-pruned.ckpt

基本使用

视频生成示例（最简版）

python run_net.py \
    --cfg configs/exp01_vidcomposer_full.yaml \
    --input_video "demo_video/blackswan.mp4" \
    --input_text_desc "A black swan swam in the water" \
    --seed 9999

输出说明

生成结果保存在 outputs 文件夹，包含：

• 输入视频提取的深度图/草图/运动向量等中间条件
• 最终合成视频文件

提示：修改 --seed 参数可生成不同风格结果，推荐尝试多个随机种子（如8888/144等）

注：本指南精简了原始文档中的多条件控制示例，仅保留最核心的视频生成流程。完整功能请参考官方文档的多条件组合用法。