MotionDirector：文本到视频扩散模型的运动定制

赵睿 · 顾宇超 · 吴张杰 · 张俊豪 · 刘家伟 · 吴伟佳 · 尤西·凯波 · Mike Zheng Shou


新加坡国立大学Show Lab

MotionDirector能够定制文本到视频扩散模型，以生成具有所需运动的视频。

任务定义

文本到视频扩散模型的运动定制：
给定一组具有相同运动概念的视频片段，运动定制的任务是调整现有的文本到视频扩散模型，使其能够生成包含该运动的多样化视频。

演示

演示视频：

同时定制外观和运动：

参考图片或视频	MotionDirector生成的视频
用于外观定制的参考图片：“一个兵马俑站在纯色背景前。”	“一个兵马俑正骑着马穿越古代战场。” 种子：1455028	“一个兵马俑正在长城前打高尔夫球。” 种子：5804477	“一个兵马俑正走过古代军队，镜头采用反向跟随的电影式拍摄手法。” 种子：653658
用于运动定制的参考视频：“一个人正在骑自行车。”	“一个兵马俑正骑着自行车经过一座古老的中国宫殿。” 种子：166357。	“一个兵马俑正在长城前举重。” 种子：5635982	“一个兵马俑正在滑板。” 种子：9033688

新闻

• [2024.02.03] 适用于AnimateDiff的MotionDirector 已发布。感谢ExponentialML。
• [2023.12.27] 带有自定义外观的MotionDirector 发布。现在，您可以在视频生成中同时定制外观和运动。
• [2023.12.27] 用于图像动画的MotionDirector 发布。
• [2023.12.23] MotionDirector被收录于Hugging Face的“本周Spaces”🔥热门榜单！
• [2023.12.13] 在Hugging Face Spaces 上发布了在线Gradio演示！欢迎体验。
• [2023.12.06] 用于体育运动的MotionDirector 发布！包括举重、骑马、打高尔夫等。
• [2023.12.05] Colab演示 可用。感谢Camenduru。
• [2023.12.04] 用于电影镜头的MotionDirector 发布。现在，您可以使用专业的电影镜头制作AI电影！
• [2023.12.02] 代码和模型权重已发布！
• [2023.10.12] 论文和项目页面已发布。

待办事项

• Gradio演示
• 更多训练好的MotionDirector权重

模型列表

类型	训练数据	描述	链接
运动导演（体育类）	每个模型对应多段视频。	学习体育运动中的动作概念，例如举重、骑马、打高尔夫等。	链接
运动导演（电影镜头类）	每个模型对应单段视频。	学习电影镜头中的运动概念，例如推轨变焦、拉近镜头、拉远镜头等。	链接
运动导演（图像动画类）	空间路径使用单张图片，时间路径则可使用单段视频或多个视频。	利用学习到的运动效果为给定图像添加动画效果。	链接
运动导演（自定义外观）	空间路径可使用单张图片或多张图片，时间路径则可使用单段视频或多个视频。	在视频生成过程中同时自定义外观和运动效果。	链接

安装

环境要求

# 创建虚拟环境
conda create -n motiondirector python=3.8
conda activate motiondirector
# 安装依赖包
pip install -r requirements.txt

基础模型权重

git lfs install
## 可以选择 ModelScopeT2V 或 ZeroScope 等作为基础模型。
## ZeroScope
git clone https://huggingface.co/cerspense/zeroscope_v2_576w ./models/zeroscope_v2_576w/
## ModelScopeT2V
git clone https://huggingface.co/damo-vilab/text-to-video-ms-1.7b ./models/model_scope/

已训练好的运动导演模型权重

# 确保已安装 git-lfs (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/ruizhaocv/MotionDirector_weights ./outputs

# 更多且性能更优的已训练运动导演模型将在新仓库中发布：
git clone https://huggingface.co/ruizhaocv/MotionDirector ./outputs
# 使用方法略有不同，后续会更新说明。

使用方法

训练

在多段视频上训练运动导演：

python MotionDirector_train.py --config ./configs/config_multi_videos.yaml

在单段视频上训练运动导演：

python MotionDirector_train.py --config ./configs/config_single_video.yaml

注意：

• 在运行上述命令之前， 请确保在配置文件 config_multi_videos.yaml 或 config_single_video.yaml 中将基础模型权重和训练数据的路径替换为你自己的路径。
• 通常，在多段16帧视频上训练需要 300~500 步，使用一块 A5000 显卡大约需要 9~16 分钟。而在单段视频上训练则需要 50~150 步，使用一块 A5000 显卡大约需要 1.5~4.5 分钟。训练所需的显存约为 14GB。
• 如果你的显存有限，可以减少 n_sample_frames 参数。
• 为了获得更好的效果，可以降低学习率并增加训练步数。

推理

python MotionDirector_inference.py --model /path/to/the/foundation/model  --prompt "你的提示语" --checkpoint_folder /path/to/the/trained/MotionDirector --checkpoint_index 300 --noise_prior 0.

注意：

• 将 /path/to/the/foundation/model 替换为你自己的基础模型路径，比如 ZeroScope。
• checkpoint_index 的值表示选择哪个训练步骤保存的检查点进行推理。
• noise_prior 的值决定了参考视频的反演噪声对生成结果的影响程度。 我们建议对于在多段视频上训练的运动导演，将其设置为 0，以实现最高程度的多样性；而对于在单段视频上训练的运动导演，则建议将其设置为 0.1~0.5，以便更快地收敛并与参考视频更好地匹配。

使用预训练的运动导演进行推理

所有可用的权重都位于官方 Huggingface 仓库 中。执行下载命令，权重将被下载到 outputs 文件夹中，然后运行以下推理命令即可生成视频。

在多段视频上训练的运动导演：

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一个人正骑着自行车经过埃菲尔铁塔。" --checkpoint_folder ./outputs/train/riding_bicycle/ --checkpoint_index 300 --noise_prior 0. --seed 7192280

注意：

• 将 /path/to/the/ZeroScope 替换为你自己的基础模型路径，即 ZeroScope。
• 可以更改 prompt 来生成不同的视频。
• 默认情况下，seed 是随机设置的。如果设置为特定值，则会得到确定的结果，如下表所示。

结果：

参考视频	由运动导演生成的视频
“一个人正在骑自行车。”	“一个人正骑着自行车经过埃菲尔铁塔。” 种子：7192280	“一只熊猫正在花园里骑自行车。” 种子：2178639	“一个外星人正骑着自行车在火星上行驶。” 种子：2390886

MotionDirector 在单个视频上训练：

16 帧：

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "月球上有一辆坦克在行驶。" --checkpoint_folder ./outputs/train/car_16/ --checkpoint_index 150 --noise_prior 0.5 --seed 8551187

参考视频	MotionDirector 生成的视频
“一辆汽车正在公路上行驶。”	“月球上有一辆坦克在行驶。” 种子：8551187	“一头狮子正跑过金字塔。” 种子：431554	“一艘宇宙飞船正飞越火星。” 种子：8808231

24 帧：

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一辆卡车正驶过凯旋门。" --checkpoint_folder ./outputs/train/car_24/ --checkpoint_index 150 --noise_prior 0.5 --width 576 --height 320 --num-frames 24 --seed 34543

参考视频	MotionDirector 生成的视频
“一辆汽车正在公路上行驶。”	“一辆卡车正驶过凯旋门。” 种子：34543	“一头大象正在森林里奔跑。” 种子：2171736
“一辆汽车正在公路上行驶。”	“一位骑骆驼的人正经过金字塔。” 种子：4904126	“一艘航天器正飞越银河系。” 种子：3235677

运动主题的 MotionDirector

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一只熊猫正在花园里举重。" --checkpoint_folder ./outputs/train/lifting_weights/ --checkpoint_index 300 --noise_prior 0. --seed 9365597

MotionDirector 生成的视频
举重		骑自行车
“一只熊猫正在花园里举重。” 种子：1699276	“一名警察正在警局前举重。” 种子：6804745	“一只熊猫正在花园里骑自行车。” 种子：2178639	“一名外星人正骑自行车在火星上行驶。” 种子：2390886
骑马		骑马
“一名骑士骑马经过城堡。” 种子：6491893	“一名男子骑着大象穿越丛林。” 种子：6230765	“一名女孩骑着独角兽在月光下奔驰。” 种子：6940542	“一名冒险家骑着恐龙探索雨林。” 种子：6972276
滑板		打高尔夫
“一台机器人正在赛博朋克城市里滑板。” 种子：1020673	“一只泰迪熊正在纽约时代广场滑板。” 种子：3306353	“一名男子正在白宫前打高尔夫。” 种子：8870450	“一只猴子正在开满鲜花的田野上打高尔夫。” 种子：2989633

更多运动主题，敬请期待……

MotionDirector 用于电影级镜头

1. 变焦

1.1 多莉变焦（希区柯克式变焦）

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一名消防员站在燃烧的森林前，采用多莉变焦拍摄。" --checkpoint_folder ./outputs/train/dolly_zoom/ --checkpoint_index 150 --noise_prior 0.5 --seed 9365597

参考视频	MotionDirector 生成的视频
“一个男人站在房间里，采用多莉变焦拍摄。”	“一名消防员站在燃烧的森林前，采用多莉变焦拍摄。” 种子：9365597 噪声先验：0.5	“一只狮子坐在悬崖顶上，采用多莉变焦拍摄。” 种子：1675932 噪声先验：0.5	“一名罗马士兵站在斗兽场前，采用多莉变焦拍摄。” 种子：2310805 噪声先验：0.5
“一个男人站在房间里，采用多莉变焦拍摄。”	“一名消防员站在燃烧的森林前，采用多莉变焦拍摄。” 种子：4615820 噪声先验：0.3	“一只狮子坐在悬崖顶上，采用多莉变焦拍摄。” 种子：4114896 噪声先验：0.3	“一名罗马士兵站在斗兽场前，采用多莉变焦拍摄。” 种子：7492004

1.2 变焦推近

参考视频是用我自己的水杯拍摄的。你也可以拿起自己的杯子或其他任何物体来练习摄像机运动，并将其变成充满想象力的视频。用自定义的摄像机动画创作属于你的 AI 电影吧！

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一名消防员站在燃烧的森林前，采用变焦推近拍摄。" --checkpoint_folder ./outputs/train/zoom_in/ --checkpoint_index 150 --noise_prior 0.3 --seed 1429227

参考视频	MotionDirector 生成的视频
“实验室里的一个杯子，采用变焦推近拍摄。”	“一名消防员站在燃烧的森林前，采用变焦推近拍摄。” 种子：1429227	“一只狮子坐在悬崖顶上，采用变焦推近拍摄。” 种子：487239	“一名罗马士兵站在斗兽场前，采用变焦推近拍摄。” 种子：1393184

1.3 变焦拉远

python MotionDirector_inference.py --model /path/to/the/ZeroScope  --prompt "一名消防员站在燃烧的森林前，采用变焦拉远拍摄。" --checkpoint_folder ./outputs/train/zoom_out/ --checkpoint_index 150 --noise_prior 0.3 --seed 4971910

参考视频	MotionDirector 生成的视频
“实验室里的一个杯子，采用变焦拉远拍摄。”	“一名消防员站在燃烧的森林前，采用变焦拉远拍摄。” 种子：4971910	“一只狮子坐在悬崖顶上，采用变焦拉远拍摄。” 种子：1767994	“一名罗马士兵站在斗兽场前，采用变焦拉远拍摄。” 种子：8203639

2. 高级电影镜头

跟随镜头		反向跟随镜头
“一名消防员正在火海中行走，由跟随式电影镜头捕捉。” 种子：4926511	“一名宇航员正在月球上行走，由跟随式电影镜头拍摄。” 种子：7594623	“一名消防员正在火海中行走，由反向跟随式电影镜头捕捉。” 种子：9759630	“一名宇航员在月球上行走，由反向跟随式电影镜头拍摄。” 种子：4539309
胸部过渡镜头		迷你摇臂揭幕：从脚到头的镜头
“一名消防员正在燃烧的森林中行走，由胸部过渡式电影镜头拍摄。” 种子：5236349	“一名古罗马士兵在街道人群中穿行，由胸部过渡式电影镜头拍摄。” 种子：3982271	“一名古罗马士兵在街道人群中穿行，由迷你摇臂揭幕式电影镜头拍摄。” 种子：654178	“一名英国红衣士兵正在山间行走，由迷你摇臂揭幕式电影镜头拍摄。” 种子：566917
拉远镜头：主体从左侧进入		环绕镜头
“一个机器人凝视着远处的赛博朋克城市，由拉远式电影镜头拍摄。” 种子：9342597	“一位女性凝视着远处喷发的火山，由拉远式电影镜头拍摄。” 种子：4197508	“一名消防员身处燃烧的森林中，由环绕式电影镜头拍摄。” 种子：8450300	“一名宇航员在月球上行走，由环绕式电影镜头拍摄。” 种子：5899496

更多电影镜头，待续……

图像动画运动导演

训练

使用参考图像训练空间路径。

python MotionDirector_train.py --config ./configs/config_single_image.yaml

然后训练时间路径，以学习参考视频中的动作。

python MotionDirector_train.py --config ./configs/config_single_video.yaml

推理

结合从参考图像中学习的空间路径和从参考视频中学习的时间路径进行推理。

python MotionDirector_inference_multi.py --model /path/to/the/foundation/model  --prompt "您的提示" --spatial_path_folder /path/to/the/trained/MotionDirector/spatial/lora/ --temporal_path_folder /path/to/the/trained/MotionDirector/temporal/lora/ --noise_prior 0.

示例

下载预训练权重。

git clone https://huggingface.co/ruizhaocv/MotionDirector ./outputs

运行以下命令。

python MotionDirector_inference_multi.py --model /path/to/the/ZeroScope  --prompt "一辆汽车正在公路上行驶。" --spatial_path_folder ./outputs/train/image_animation/train_2023-12-26T14-37-16/checkpoint-300/spatial/lora/ --temporal_path_folder ./outputs/train/image_animation/train_2023-12-26T13-08-20/checkpoint-300/temporal/lora/ --noise_prior 0.5 --seed 5057764

参考图像	参考视频	MotionDirector生成的视频
“一辆汽车正在公路上行驶。”	“一辆汽车正在公路上行驶。”	“一辆汽车正在公路上行驶。” 种子：5057764	“一辆汽车正在被雪覆盖的公路上行驶。” 种子：4904543

具有自定义外观的运动导演

训练

使用参考图像训练空间路径。

python MotionDirector_train.py --config ./configs/config_multi_images.yaml

然后训练时间路径，以学习参考视频中的动作。

python MotionDirector_train.py --config ./configs/config_multi_videos.yaml

推理

结合从参考图像中学习到的空间路径和从参考视频中学习到的时间路径进行推理。

python MotionDirector_inference_multi.py --model /path/to/the/foundation/model  --prompt "Your prompt" --spatial_path_folder /path/to/the/trained/MotionDirector/spatial/lora/ --temporal_path_folder /path/to/the/trained/MotionDirector/temporal/lora/ --noise_prior 0.

示例

下载预训练权重。

git clone https://huggingface.co/ruizhaocv/MotionDirector ./outputs

运行以下命令。

python MotionDirector_inference_multi.py --model /path/to/the/ZeroScope  --prompt "一名兵马俑正骑着马穿越古代战场。" --spatial_path_folder ./outputs/train/customized_appearance/terracotta_warrior/checkpoint-default/spatial/lora --temporal_path_folder ./outputs/train/riding_horse/checkpoint-default/temporal/lora/ --noise_prior 0. --seed 1455028

结果如表格所示。

更多结果

如果您有更令人印象深刻的 MotionDirector 或生成的视频，请随时提交 issue 与我们分享。我们将不胜感激。同时，我们也非常欢迎对代码进行改进。

更多结果请参阅 项目页面。

火星上的宇航员日常生活：

火星上的宇航员日常生活（由 MotionDirector 学习的动作概念）
举重	打高尔夫球	骑马	骑自行车
“一名宇航员正在火星上举重，4K，高质量，高度细节化。” 种子：4008521	“宇航员在火星上打高尔夫球” 种子：659514	“一名宇航员正在火星上骑马，4K，高质量，高度细节化。” 种子：1913261	“一名宇航员正在火星上骑自行车经过金字塔，4K，高质量，高度细节化。” 种子：5532778
滑板	电影镜头：“反向跟随”	电影镜头：“跟随”	电影镜头：“环绕”
“一名宇航员正在火星上滑板” 种子：6615212	“一名宇航员在火星上行走，采用反向跟随的电影镜头拍摄。” 种子：1224445	“一名宇航员在火星上行走，采用跟随的电影镜头拍摄。” 种子：6191674	“一名宇航员站在火星上，采用环绕的电影镜头拍摄。” 种子：7483453

引用

@article{zhao2023motiondirector,
  title={MotionDirector: 文本到视频扩散模型的动作定制},
  author={Zhao, Rui and Gu, Yuchao and Wu, Jay Zhangjie and Zhang, David Junhao and Liu, Jiawei and Wu, Weijia and Keppo, Jussi and Shou, Mike Zheng},
  journal={arXiv 预印本 arXiv:2310.08465},
  year={2023}
}

致谢

• 本代码基于 diffusers、Tune-a-video 和 Text-To-Video-Finetuning 构建。感谢开源！
• 感谢 camenduru 提供的 colab 演示。
• 感谢 yhyu13 创建的 Huggingface 仓库。
• 我们要特别感谢 AK(@_akhaliq) 和 Huggingface 团队，帮助我们搭建了在线 Gradio 演示。
• 感谢 MagicAnimate 提供的 Gradio 演示模板。
• 感谢 deepbeepmeep 和 XiaominLi 对代码的改进。

MotionDirector 快速上手指南

MotionDirector 是一个用于文本生成视频（Text-to-Video）扩散模型的运动定制工具。它允许用户通过提供少量参考视频，让模型学习特定的运动概念（如骑自行车、电影运镜等），从而生成具有相同运动风格但内容多样的新视频。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.8
• GPU 要求: 建议显存 ≥ 14GB (如 NVIDIA A5000 或更高)。若显存有限，需在配置中减少帧数。
• 依赖工具: conda, git, git-lfs

前置操作： 请确保已安装 git-lfs 以正确下载模型权重：

git lfs install

2. 安装步骤

2.1 创建虚拟环境并安装依赖

# 创建名为 motiondirector 的 conda 环境
conda create -n motiondirector python=3.8
conda activate motiondirector

# 安装项目依赖
pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 下载基础模型权重

您可以选择 ZeroScope 或 ModelScopeT2V 作为基础模型。以下以 ZeroScope 为例：

# 克隆 ZeroScope 模型到本地 models 目录
git clone https://huggingface.co/cerspense/zeroscope_v2_576w ./models/zeroscope_v2_576w/

国内加速：如果 Hugging Face 连接缓慢，可使用镜像站（如 hf-mirror.com）： export HF_ENDPOINT=https://hf-mirror.com 然后重新运行上述 git clone 命令。

2.3 下载预训练 MotionDirector 权重

下载官方提供的预训练运动模型（如运动、运镜等）：

# 克隆预训练权重到 outputs 目录
git clone https://huggingface.co/ruizhaocv/MotionDirector_weights ./outputs

3. 基本使用

本部分演示如何使用已下载的预训练模型进行视频推理（Inference）。假设您已下载了“骑自行车”运动的预训练权重。

3.1 运行推理命令

将 /path/to/the/ZeroScope 替换为您本地实际的基础模型路径（即 ./models/zeroscope_v2_576w/）。

python MotionDirector_inference.py \
  --model ./models/zeroscope_v2_576w/ \
  --prompt "A person is riding a bicycle past the Eiffel Tower." \
  --checkpoint_folder ./outputs/train/riding_bicycle/ \
  --checkpoint_index 300 \
  --noise_prior 0. \
  --seed 7192280

3.2 参数说明

• --model: 基础文生视频模型的路径。
• --prompt: 生成视频的文本提示词（可自由修改主体和场景，运动风格将由模型自动保持）。
• --checkpoint_folder: 训练好的 MotionDirector 权重文件夹路径。
• --checkpoint_index: 选择训练过程中的哪个步数进行检查点加载（预训练模型通常推荐使用 300）。
• --noise_prior:
  • 设为 0.：适用于多视频训练的模型，可生成多样性最高的结果。
  • 设为 0.1~0.5：适用于单视频训练的模型，能更快收敛并更贴近参考视频的运动细节。
• --seed: 随机种子。固定该值可复现相同的结果；不设置或更改该值可生成不同变体。

3.3 输出结果

运行完成后，生成的视频文件将保存在输出目录中。您可以尝试修改 --prompt 中的主体（例如将 "A person" 改为 "A panda" 或 "An alien"），即可看到相同的骑行动作应用到了不同的角色上。