MotionClone

本仓库是 MotionClone 的官方实现。它是一个无需训练的框架，能够从参考视频中克隆运动以进行可控视频生成，无需繁琐的视频反演过程。

点击查看 MotionClone 的完整摘要

基于运动的可控视频生成为创作引人入胜的视觉内容提供了可能性。现有方法通常需要训练模型来编码特定的运动线索，或通过微调注入某些运动模式，这导致灵活性和泛化能力受限。 在本工作中，我们提出了 MotionClone，一个无需训练的框架，能够从参考视频中克隆运动，从而实现多样的运动控制视频生成，包括文本到视频和图像到视频。基于这样的观察：时间注意力图中的主导成分驱动运动合成，而其余部分主要捕捉噪声或非常细微的运动，MotionClone 使用稀疏的时间注意力权重作为运动表示来进行运动引导，从而促进在不同场景下的多样化运动迁移。同时，MotionClone 允许通过单步去噪直接提取运动表示，跳过了繁琐的反演过程，因此既提高了效率又增强了灵活性。 大量实验表明，MotionClone 在全局相机运动和局部物体运动方面均表现出色，在运动保真度、文本对齐性和时间一致性等方面具有显著优势。

MotionClone: 用于可控视频生成的无训练运动克隆
Pengyang Ling*, Jiazi Bu*, Pan Zhang^†, Xiaoyi Dong, Yuhang Zang, Tong Wu, Huaian Chen, Jiaqi Wang, Yi Jin^†
(*同等贡献)(^†通讯作者)

演示

![]

🖋 新闻

• 我们的论文最新版本（v4）已在 arXiv 上发布！(8月10日)
• 我们的论文最新版本（v3）已在 arXiv 上发布！(7月2日)
• 代码已发布！(6月29日)

🏗️ 待办事项

• 我们已更新了 MotionCloning 的最新版本，该版本可在无需视频反演的情况下进行运动迁移，并支持图像到视频和草图到视频。
• 发布 MotionClone 代码（我们已发布了代码的第一版，并将继续优化。欢迎提出任何问题或反馈，我们将及时回复。）
• 发表论文

📚 画廊

更多结果请参见 项目页面。

🚀 方法概述

特征可视化

流程图

MotionClone 使用稀疏的时间注意力权重作为运动表示来进行运动引导，从而促进在不同场景下的多样化运动迁移。同时，MotionClone 允许通过单步去噪直接提取运动表示，跳过繁琐的反演过程，进而提升效率和灵活性。

🔧 安装（推荐使用 python==3.11.3）

设置仓库和 conda 环境

git clone https://github.com/Bujiazi/MotionClone.git
cd MotionClone

conda env create -f environment.yaml
conda activate motionclone

🔑 预训练模型准备

下载 Stable Diffusion V1.5

git lfs install
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/

下载 Stable Diffusion 后，请将其保存到 models/StableDiffusion 目录下。

准备社区模型

手动从 RealisticVision V5.1 下载社区 .safetensors 模型，并将其保存到 models/DreamBooth_LoRA 目录下。

准备 AnimateDiff 运动模块

手动从 AnimateDiff 下载 AnimateDiff 模块，我们推荐 v3_adapter_sd_v15.ckpt 和 v3_sd15_mm.ckpt.ckpt。将这些模块保存到 models/Motion_Module 目录下。

准备 SparseCtrl 用于图像到视频和草图到视频

手动从 AnimateDiff 下载“v3_sd15_sparsectrl_rgb.ckpt”和“v3_sd15_sparsectrl_scribble.ckpt”。将这些模块保存到 models/SparseCtrl 目录下。

🎈 快速入门

使用自定义相机运动进行文本到视频生成

python t2v_video_sample.py --inference_config "configs/t2v_camera.yaml" --examples "configs/t2v_camera.jsonl"

使用自定义物体运动进行文本到视频生成

python t2v_video_sample.py --inference_config "configs/t2v_object.yaml" --examples "configs/t2v_object.jsonl"

将运动克隆与草图到视频结合

python i2v_video_sample.py --inference_config "configs/i2v_sketch.yaml" --examples "configs/i2v_sketch.jsonl"

将运动克隆与图像到视频结合

python i2v_video_sample.py --inference_config "configs/i2v_rgb.yaml" --examples "configs/i2v_rgb.jsonl"

📎 引用

如果您觉得这项工作有所帮助，请引用以下论文：

@article{ling2024motionclone,
  title={MotionClone: Training-Free Motion Cloning for Controllable Video Generation},
  author={Ling, Pengyang and Bu, Jiazi and Zhang, Pan and Dong, Xiaoyi and Zang, Yuhang and Wu, Tong and Chen, Huaian and Wang, Jiaqi and Jin, Yi},
  journal={arXiv preprint arXiv:2406.05338},
  year={2024}
}

📣 免责声明

这是 MotionClone 的官方代码。 演示图片和音频的全部版权均属于社区用户。 如果您希望移除这些内容，请随时联系我们。

💞 致谢

本代码基于以下仓库构建，我们感谢所有贡献者开源共享：

• AnimateDiff
• FreeControl

MotionClone 快速上手指南

环境准备

系统要求

• Python 3.11.3（推荐版本）
• Linux 或 macOS 系统
• GPU 支持（可选，但建议使用以提高性能）

前置依赖

• Git
• Conda（推荐使用 Miniconda）
• Git LFS（用于下载模型文件）

建议使用国内镜像源加速依赖安装，例如：

• pip 镜像：https://pypi.tuna.tsinghua.edu.cn/simple
• conda 镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

安装步骤

git clone https://github.com/Bujiazi/MotionClone.git
cd MotionClone

conda env create -f environment.yaml
conda activate motionclone

基本使用

下载预训练模型

下载 Stable Diffusion V1.5

git lfs install
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/

下载社区模型（RealisticVision V5.1）

手动下载 .safetensors 模型并保存至 models/DreamBooth_LoRA

下载 AnimateDiff 运动模块

手动下载以下模型并保存至 models/Motion_Module：

• v3_adapter_sd_v15.ckpt
• v3_sd15_mm.ckpt

下载 SparseCtrl 模型

手动下载以下模型并保存至 models/SparseCtrl：

• v3_sd15_sparsectrl_rgb.ckpt
• v3_sd15_sparsectrl_scribble.ckpt

示例用法

文本到视频生成（自定义相机运动）

python t2v_video_sample.py --inference_config "configs/t2v_camera.yaml" --examples "configs/t2v_camera.jsonl"

文本到视频生成（自定义物体运动）

python t2v_video_sample.py --inference_config "configs/t2v_object.yaml" --examples "configs/t2v_object.jsonl"

结合草图到视频生成

python i2v_video_sample.py --inference_config "configs/i2v_sketch.yaml" --examples "configs/i2v_sketch.jsonl"

结合图像到视频生成

python i2v_video_sample.py --inference_config "configs/i2v_rgb.yaml" --examples "configs/i2v_rgb.jsonl"