友情链接 🔥

• 我们很高兴地宣布开源发布我们的最新成果：Tora：面向轨迹的视频生成扩散Transformer。这是首个同时融合文本、视觉和轨迹条件的面向轨迹的DiT框架，用于视频生成。

展示案例

https://github.com/alibaba/animate-anything/assets/1107525/e2659674-c813-402a-8a85-e620f0a6a454

带掩码的输入图像	提示词	结果
	芭比娃娃面带微笑地看着镜头。
	斗篷在风中飘动。
	一条红鱼正在游动。

框架

新闻 🔥

2024.2.5: 支持使用Accelerator DeepSpeed进行多GPU训练。配置DeepSpeed zero_stage 2并启用offload_optimizer_device cpu后，现在可以使用4块16G V100显卡对animate-anything进行全量微调，而SVD则可使用4块24G A10显卡完成微调。

2023.12.27: 支持基于SVD（稳定视频扩散模型）的微调。更新了基于SVD的animate_anything_svd_v1.0版本。

2023.12.18: 将模型更新为animate_anything_512_v1.02。

计划中的功能

• 💥 透明视频生成。（以RGBA图像作为输入，输出动画RGBA视频）
  • ✅ 根据LayerDiffuse复现透明VAE编码器和解码器。
  • ✅ 对3D-Unet进行微调，以支持基本的RGBA图像到RGBA视频的能力。
• 💥 增强的提示词跟随：利用LLaVA生成长而详细的描述文字。
• 💥 将U-Net替换为扩散Transformer（DiT）作为基础模型。
• 💥 支持不同分辨率和宽高比。
• 💥 支持Huggingface Demo / Google Colab。
  • ✅ 支持svd video2video Google Colab演示。详见colab.ipynb。
• ✅ 支持LoRA微调。
• 等等。

快速入门

本仓库基于Text-To-Video-Finetuning。

创建Conda环境（可选）

建议安装Anaconda。

Windows安装: https://docs.anaconda.com/anaconda/install/windows/

Linux安装: https://docs.anaconda.com/anaconda/install/linux/

conda create -n animation python=3.10
conda activate animation

Python依赖

pip install -r requirements.txt

运行推理

请下载预训练模型至output/latent目录，然后运行以下命令。请将{download_model}替换为你下载的模型名称：

python train.py --config output/latent/{download_model}/config.yaml --eval validation_data.prompt_image=example/barbie2.jpg validation_data.prompt='一个卡通女孩正在说话。'

为了控制运动区域，我们可以使用labelme生成二值掩码。首先，我们用labelme为参考图像绘制多边形。

然后运行以下命令将labelme json文件转换为掩码。

labelme_json_to_dataset qingming2.json

接着运行以下命令进行推理：

python train.py --config output/latent/{download_model}/config.yaml --eval validation_data.prompt_image=example/qingming2.jpg validation_data.prompt='人们正在街上行走。' validation_data.mask=example/qingming2_label.jpg 

用户可以通过调整掩码运动强度来控制运动力度：

python train.py --config output/latent/{download_model}/
config.yaml --eval validation_data.prompt_image=example/qingming2.jpg validation_data.prompt='人们正在街上行走。' validation_data.mask=example/qingming2_label.jpg validation_data.strength=5

视频超分辨率

该模型输出的是低分辨率视频，你可以使用视频超分辨率模型将其提升至高分辨率。例如，我们可以使用Bilibili的Real-CUGAN来进行卡通风格的视频超分辨率：

git clone https://github.com/bilibili/ailab.git
cd ailab/Real-CUGAN
python inference_video.py

训练

使用字幕

在使用视频进行训练时，可以使用字幕文件。只需将视频放入一个文件夹，并创建如下格式的字幕json文件：

[
      {"caption": "可爱怪物角色平面设计动画视频", "video": "000001_000050/1066697179.mp4"}, 
      {"caption": "樱花风景", "video": "000001_000050/1066688836.mp4"}
]

然后在你的配置文件中，确保将dataset_types设置为video_json，并设置video_dir和video json路径如下：

  - dataset_types: 
      - video_json
    train_data:
      video_dir: '/webvid/webvid/data/videos'
      video_json: '/webvid/webvid/data/40K.json'

自动处理

你可以使用Video-BLIP2-预处理器脚本自动为视频添加字幕，并将dataset_types和json_path设置如下：

  - dataset_types: 
      - video_blip
    train_data:
      json_path: 'blip_generated.json'

配置

配置采用从Tune-A-Video仓库借用的YAML配置文件。

所有配置细节均放在example/train_mask_motion.yaml中。每个参数都对其作用进行了说明。

微调 anymate-anything

您可以在自己的数据集上，结合文本、运动掩码和运动强度引导来微调 anymate-anything。以下配置大约需要 30G 显存。您可以通过减小配置中的 train_batch_size、train_data.width、train_data.height 和 n_sample_frames 来降低显存需求：

python train.py --config example/train_mask_motion.yaml pretrained_model_path=<download_model>

我们还支持 LoRA 微调：

python train_lora.py --config example/train_mask_motion_lora.yaml pretrained_model_path=<download_model>

微调 Stable Video Diffusion：

Stable Video Diffusion (SVD) 的 img2vid 模型可以生成高分辨率视频。然而，它缺乏文本或运动掩码控制。您可以通过以下命令，并使用 预训练的 SVD 模型，结合运动掩码引导对 SVD 进行微调。该配置大约需要 80G 显存。

python train_svd.py --config example/train_svd_mask.yaml pretrained_model_path=<download_model>

如果您只想在自己的数据集上微调 SVD，而不需要运动掩码控制，请使用以下配置：

python train_svd.py --config example/train_svd.yaml pretrained_model_path=<svd_model>

多 GPU 训练

强烈建议使用 Accelerator 进行多 GPU 训练，这将大大降低显存需求。请先使用 DeepSpeed 配置 Accelerator。示例配置位于 example/deepspeed.yaml。

然后将上述的 'python train_xx.py ...' 命令替换为 'accelerate launch train_xx.py ...'，例如：

accelerate launch --config_file example/deepspeed.yaml train_svd.py --config example/train_svd_mask.yaml pretrained_model_path=<download_model>

SVD 视频到视频

我们现在发布了微调后的 vid2vid SVD 模型，您可以通过 Gradio 界面进行体验。

请下载 vid2vid_SVD 模型，将其解压到 output/svd/{download_model} 目录下，然后运行以下命令：

python app_svd.py --config example/train_svd_v2v.yaml pretrained_model_path=output/svd/{download_model}

我们在 svd_video2video_examples 目录中提供了若干示例。

Bibtex

如果您发现本代码对您的研究有所帮助，请引用以下论文：

@misc{dai2023animateanything,
      title={AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance}, 
      author={Zuozhuo Dai and Zhenghao Zhang and Yao Yao and Bingxue Qiu and Siyu Zhu and Long Qin and Weizhi Wang},
      year={2023},
      eprint={2311.12886},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

致谢

• Text-To-Video-Finetuning
• Showlab 和 bryandlee[https://github.com/bryandlee/Tune-A-Video] 对 Tune-A-Video 的贡献，使得这一切变得更加容易。
• lucidrains 在视频扩散方面的实现。
• cloneofsimo 对 LoRA 的 Diffusers 实现。
• kabachuha 提供的转换脚本、训练思路以及 WebUI 工作。
• JCBrouwer 的推理实现。
• sergiobr 提供的有益想法和错误修复。

AnimateAnything 快速上手指南

AnimateAnything 是一个支持细粒度开放域图像动画生成的开源工具，可通过文本提示和运动掩码（Motion Mask）控制图像中特定区域的动态效果。

环境准备

系统要求

• 操作系统: Linux 或 Windows
• Python 版本: 3.10
• GPU: 推荐 NVIDIA GPU（显存需求视训练/微调模式而定，推理模式通常需 16GB+）
• 依赖管理: 推荐安装 Anaconda 或 Miniconda

前置依赖

确保已安装 Git 和 CUDA 驱动（如需 GPU 加速）。

安装步骤

1. 创建 Conda 环境

conda create -n animation python=3.10
conda activate animation

2. 安装 Python 依赖

克隆仓库后进入目录，安装所需包：

git clone https://github.com/alibaba/animate-anything.git
cd animate-anything
pip install -r requirements.txt

提示: 国内用户可使用清华源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型

下载基础模型 animate_anything_512_v1.02.tar 并解压至 output/latent 目录：

• 下载地址: 阿里云 OSS

基本使用

1. 基础推理（无掩码）

将图片路径和提示词替换为实际内容，运行以下命令生成动画：

python train.py --config output/latent/{download_model}/config.yaml --eval validation_data.prompt_image=example/barbie2.jpg validation_data.prompt='A cartoon girl is talking.'

注：请将 {download_model} 替换为实际下载的模型文件夹名称。

2. 指定运动区域（使用掩码）

若需控制特定区域运动（如仅让斗篷飘动），需先制作二值掩码：

步骤 A: 制作掩码 使用 LabelMe 工具在参考图上绘制多边形区域，保存为 JSON 文件，然后转换为掩码图片：

labelme_json_to_dataset qingming2.json

生成的掩码文件通常位于 qingming2_label.jpg。

步骤 B: 带掩码推理

python train.py --config output/latent/{download_model}/config.yaml --eval validation_data.prompt_image=example/qingming2.jpg validation_data.prompt='Peoples are walking on the street.' validation_data.mask=example/qingming2_label.jpg

3. 调整运动强度

通过 strength 参数控制动作幅度（数值越大动作越剧烈）：

python train.py --config output/latent/{download_model}/config.yaml --eval validation_data.prompt_image=example/qingming2.jpg validation_data.prompt='Peoples are walking on the street.' validation_data.mask=example/qingming2_label.jpg validation_data.strength=5

4. 视频超分辨率（可选）

模型默认输出低分辨率视频，可使用 Real-CUGAN 进行高清化处理：

git clone https://github.com/bilibili/ailab.git
cd ailab/Real-CUGAN
python inference_video.py