ControlVideo

“ControlVideo：无需训练的可控文本到视频生成”的官方 PyTorch 实现


ControlVideo 在不进行任何微调的情况下，将 ControlNet 适配到视频领域，旨在直接继承其高质量和一致性的生成效果。

新闻

• [2023年7月16日] 添加了 HuggingFace 演示!
• [2023年7月11日] 支持基于 ControlNet 1.1 的版本！
• [2023年5月28日] 感谢 chenxwh，添加了 Replicate 演示!
• [2023年5月25日] 代码 ControlVideo 发布！
• [2023年5月23日] 论文 ControlVideo 发表！

设置

1. 下载权重

所有预训练权重都会被下载到 checkpoints/ 目录下，其中包括 Stable Diffusion v1.5 的预训练权重、以 canny 边缘、深度图 和 人体姿态 为条件的 ControlNet 1.0 权重，以及 这里 的 ControlNet 1.1 权重。 flownet.pkl 是 RIFE 的权重。 最终的文件结构如下：

checkpoints
├── stable-diffusion-v1-5
├── sd-controlnet-canny
├── sd-controlnet-depth
├── sd-controlnet-openpose
├── ...
├── flownet.pkl

2. 需求

conda create -n controlvideo python=3.10
conda activate controlvideo
pip install -r requirements.txt

注意：建议使用 xformers 以节省内存和运行时间。controlnet-aux 已更新至 0.0.6 版本。

推理

要执行文本到视频生成，只需在 inference.sh 中运行以下命令：

python inference.py \
    --prompt "一只引人注目的绿头鸭轻松地漂浮在波光粼粼的池塘上。" \
    --condition "depth" \
    --video_path "data/mallard-water.mp4" \
    --output_path "outputs/" \
    --video_length 15 \
    --smoother_steps 19 20 \
    --width 512 \
    --height 512 \
    --frame_rate 2 \
    --version v10 \
    # --is_long_video

其中 --video_length 是合成视频的时长，--condition 表示结构序列的类型， --smoother_steps 决定在哪些时间步进行平滑处理，--version 选择 ControlNet 的版本（例如 v10 或 v11），而 --is_long_video 则表示是否启用高效的长视频合成。

可视化

ControlVideo 在深度图上的应用

“一只迷人的火烈鸟优雅地漫步在平静而宁静的水中，它那纤细的脖子弯曲成优美的形状。”	“一只引人注目的绿头鸭轻松地漂浮在波光粼粼的池塘上。”	“一辆巨大的黄色吉普车缓缓驶过城市里宽阔平坦的道路。”
“一艘 sleek 的船以梵高风格毫不费力地滑过波光粼粼的河流。”	“一艘雄伟的帆船沿着浩瀚蔚蓝的大海巡航。”	“一头满足的奶牛悠闲地漫步在露珠点点、绿意盎然的牧场上。”

ControlVideo 在 Canny 边缘上的应用

“一位年轻男子骑着一辆光滑黑色的摩托车穿行于蜿蜒的山路上。”	“一只白色的天鹅在湖面上游动，卡通风格。”	“一辆满是灰尘的老式吉普车正沿着曲折的林间小路艰难前行，每经过一个颠簸或转弯都会发出嘎吱声和呻吟声。”
“一辆闪亮的红色吉普车平稳地拐上了一条狭窄而蜿蜒的山路。”	“一头雄伟的骆驼优雅地踏过灼热的沙漠沙丘。”	“一位健壮的男人正悠闲地穿行于一片郁郁葱葱的森林之中。”

基于人体姿态的ControlVideo

“詹姆斯·邦德在海滩上跳月球步，动画风格。”	“悟空置身群山之间，超现实风格。”	“绿巨人正在街头跳跃，卡通风格。”	“机器人在道路上跳舞，动画风格。”

长视频生成

“一艘蒸汽船行驶在海面上，日落时分，素描风格。”	“绿巨人正在海滩上跳舞，卡通风格。”

引用

如果您使用了我们的工作，请引用我们的论文。

@article{zhang2023controlvideo,
  title={ControlVideo: 无需训练的可控文本到视频生成},
  author={Zhang, Yabo and Wei, Yuxiang and Jiang, Dongsheng and Zhang, Xiaopeng and Zuo, Wangmeng and Tian, Qi},
  journal={arXiv预印本 arXiv:2305.13077},
  year={2023}
}

致谢

本项目代码大量借鉴了Diffusers、ControlNet、Tune-A-Video以及RIFE。HuggingFace演示代码则参考了fffiloni/ControlVideo。感谢他们的贡献！

此外，视频生成领域还有许多有趣的工作：Tune-A-Video、Text2Video-Zero、Follow-Your-Pose、Control-A-Video等。

ControlVideo 快速上手指南

ControlVideo 是一个无需训练即可实现可控文本生成视频（Text-to-Video）的开源项目。它通过将 ControlNet 适配到视频领域，直接继承其高质量和一致性的生成能力，支持基于深度图、边缘检测（Canny）、人体姿态等条件生成视频。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• 硬件要求: 推荐使用 NVIDIA GPU，显存建议 16GB 以上（开启 xformers 可优化显存占用）
• 依赖管理: 已安装 conda 或 mamba

安装步骤

1. 创建并激活虚拟环境

conda create -n controlvideo python=3.10
conda activate controlvideo

2. 安装依赖库

为了加速下载，建议使用国内镜像源（如清华源）。

# 设置 pip 国内镜像
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装项目依赖
pip install -r requirements.txt

提示：requirements.txt 中已包含 xformers 推荐项，它能显著节省显存并提升运行速度。controlnet-aux 将自动更新至 0.0.6 版本。

3. 下载预训练权重

所有预训练权重需下载至 checkpoints/ 目录。主要包括 Stable Diffusion v1.5、不同条件的 ControlNet (Canny, Depth, OpenPose) 以及 RIFE 帧插值模型。

您可以手动从 HuggingFace 下载并整理目录，最终文件结构应如下所示：

checkpoints
├── stable-diffusion-v1-5
├── sd-controlnet-canny
├── sd-controlnet-depth
├── sd-controlnet-openpose
├── ... (其他 ControlNet 1.1 权重)
└── flownet.pkl

• Stable Diffusion v1.5: 下载地址
• ControlNet 权重: Canny, Depth, OpenPose
• RIFE 权重 (flownet.pkl): 下载地址

基本使用

配置完成后，即可通过命令行进行文生视频推理。以下是一个基于深度图 (depth) 条件生成视频的最简示例：

python inference.py \
    --prompt "A striking mallard floats effortlessly on the sparkling pond." \
    --condition "depth" \
    --video_path "data/mallard-water.mp4" \
    --output_path "outputs/" \
    --video_length 15 \
    --smoother_steps 19 20 \
    --width 512 \
    --height 512 \
    --frame_rate 2 \
    --version v10

参数说明：

• --prompt: 生成视频的文字描述。
• --condition: 控制条件类型，支持 depth (深度图), canny (边缘), openpose (人体姿态) 等。
• --video_path: 输入参考视频的路径（用于提取条件序列）。
• --video_length: 生成视频的帧数。
• --smoother_steps: 指定进行平滑处理的步数，以提升视频连贯性。
• --version: 选择 ControlNet 版本，v10 或 v11。
• --is_long_video: (可选) 添加此参数可启用高效长视频生成模式。

生成结果将保存在 --output_path 指定的目录中。