MIMO - 官方 PyTorch 实现

项目页面 | 论文 | 视频 | 在线演示

MIMO：基于空间分解建模的可控角色视频合成
Yifang Men、Yuan Yao、Miaomiao Cui、Liefeng Bo
阿里巴巴集团智能计算实验室（通义实验室） 收录于：CVPR 2025

MIMO 是一种可推广的可控视频合成模型，它不仅能够根据用户提供的简单输入，生成具有可控属性（如角色、动作和场景）的真实感角色视频，还能在统一框架下同时实现对任意角色的高级扩展性、对新型3D动作的通用性以及对交互式真实场景的应用能力。

演示

使用运动数据集中的3D姿态驱动角色图像进行动画制作

https://github.com/user-attachments/assets/3a13456f-9ee5-437c-aba4-30d8c3b6e251

由包含空间3D动作和交互场景的野外视频驱动

https://github.com/user-attachments/assets/4d989e7f-a623-4339-b3d1-1d1a33ad25f2

更多结果请参见 项目页面。

📢 最新消息

(2025-06-11) 代码已发布！我们发布了完整实现的简化版本，但其性能与完整版相当。

(2025-02-27) 论文已被 CVPR 2025 接收！完整版论文已在 arXiv 上公开。

(2024-01-07) 支持自定义驱动视频的在线演示（v1.5）现已上线！快来体验 。

(2024-11-26) ModelScope 上的在线演示（v1.0）现已上线！快来体验 。支持自定义驱动视频的 1.5 版本也将很快推出。

(2024-09-25) 项目页面、演示视频和技术报告已发布。包含更多细节的完整论文版本正在准备中。

系统要求

• Python (>=3.10)
• PyTorch
• TensorFlow
• CUDA 12.1
• GPU（已在 A100、L20 上测试）

🚀 快速入门

git clone https://github.com/menyifang/MIMO.git
cd MIMO

安装

conda create -n mimo python=3.10
conda activate mimo
bash install.sh

下载

模型权重

您可以从 ModelScope 或 Huggingface 手动下载模型权重，也可以使用以下命令自动下载。

从 HuggingFace 下载

from huggingface_hub import snapshot_download 
model_dir = snapshot_download(repo_id='menyifang/MIMO', cache_dir='./pretrained_weights')

从 ModelScope 下载

from modelscope import snapshot_download
model_dir = snapshot_download(model_id='iic/MIMO', cache_dir='./pretrained_weights')

先验模型权重

下载基础模型及其他组件的预训练权重：

• StableDiffusion V1.5
• sd-vae-ft-mse
• image_encoder

数据准备

从 google drive 下载示例和资源（assets.zip），并将其解压到 ${PROJECT_ROOT}/ 目录下。您也可以按照 处理驱动模板 的说明处理自定义视频。

下载完权重和数据后，项目目录结构大致如下：

./pretrained_weights/
|-- image_encoder
|   |-- config.json
|   `-- pytorch_model.bin
|-- denoising_unet.pth
|-- motion_module.pth
|-- pose_guider.pth
|-- reference_unet.pth
|-- sd-vae-ft-mse
|   |-- config.json
|   |-- diffusion_pytorch_model.bin
|   `-- diffusion_pytorch_model.safetensors
`-- stable-diffusion-v1-5
    |-- feature_extractor
    |   `-- preprocessor_config.json
    |-- model_index.json
    |-- unet
    |   |-- config.json
    |   `-- diffusion_pytorch_model.bin
    `-- v1-inference.yaml
./assets/
|-- video_template
|   |-- template1

注意：如果您已经安装了一些预训练模型，例如 StableDiffusion V1.5，可以在配置文件中指定它们的路径（例如 ./config/prompts/animation_edit.yaml）。

推理

• 视频角色编辑

python run_edit.py

• 角色图像动画

python run_animate.py

处理驱动模板

• 安装外部依赖

bash setup.sh

您也可以使用 Dockerfile (video_decomp/docker/decomp.dockerfile) 构建一个包含所有依赖的 Docker 镜像。

• 从 Huggingface 下载模型权重和数据，并将其放置在 ${PROJECT_ROOT}/video_decomp/ 目录下。

from huggingface_hub import snapshot_download 
model_dir = snapshot_download(repo_id='menyifang/MIMO_VidDecomp', cache_dir='./video_decomp/')

• 处理驱动视频

cd video_decomp
python run.py

处理后的模板可以放置在 ${PROJECT_ROOT}/assets/video_template 中，用于后续的编辑和动画任务，如下所示：

./assets/video_template/
|-- template1/
|   |-- vid.mp4
|   |-- mask.mp4
|   |-- sdc.mp4
|   |-- bk.mp4
|   |-- occ.mp4（如果存在）
|-- template2/
|-- ...
|-- templateN/

训练

🎨 Gradio 演示

在线演示：我们在 ModelScope Studio 上推出了 MIMO 的在线演示。

如果您有自己的 GPU 资源（≥ 40GB 显存），可以通过以下命令运行本地 Gradio 应用程序：

python app.py

致谢

感谢 Moore-AnimateAnyone、SAM、4D-Humans 和 ProPainter 的出色工作。

引用

如果您认为此代码对您的研究有所帮助，请使用以下 BibTeX 条目。

@inproceedings{men2025mimo,
  title={MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling},
  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Liefeng Bo},
  booktitle={Computer Vision and Pattern Recognition (CVPR), 2025 IEEE Conference on},
  year={2025}}
}

MIMO 快速上手指南

MIMO 是一个通用的可控角色视频合成模型，支持通过简单的用户输入（角色、动作、场景）生成逼真的角色视频。该模型在统一框架下实现了对任意角色的扩展性、对新 3D 动作的通用性以及对交互式真实场景的适用性。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: >= 3.10
• GPU: 显存建议 >= 40GB (已在 A100, L20 上测试)
• CUDA: 12.1
• 核心依赖: PyTorch, TensorFlow

安装步骤

1. 克隆项目

git clone https://github.com/menyifang/MIMO.git
cd MIMO

2. 创建虚拟环境并安装依赖

推荐使用 Conda 进行环境管理。国内用户若遇到网络问题，可配置清华或阿里镜像源加速。

conda create -n mimo python=3.10
conda activate mimo
bash install.sh

3. 下载模型权重

您可以选择从 ModelScope (魔搭) 或 HuggingFace 下载权重。国内开发者强烈推荐优先使用 ModelScope 以获得更快的下载速度。

方式一：使用 Python 脚本自动下载 (推荐 ModelScope)

from modelscope import snapshot_download
# 将权重下载到 ./pretrained_weights 目录
model_dir = snapshot_download(model_id='iic/MIMO', cache_dir='./pretrained_weights')

方式二：手动下载 访问 ModelScope MIMO 模型页 下载文件并放置于 ./pretrained_weights/ 目录下。

补充依赖模型下载 本项目还依赖以下基础模型，请确保它们已存在于本地或指定路径：

• StableDiffusion V1.5
• sd-vae-ft-mse
• image_encoder

注意：如果您已安装上述预训练模型，可在配置文件（如 ./config/prompts/animation_edit.yaml）中指定其本地路径。

4. 准备示例数据

下载示例资源 assets.zip 并解压至项目根目录。

• 下载地址: Google Drive (若无法访问，可参考项目 Issue 或自行准备符合格式的视频模板)
• 解压后结构:

  ./assets/
  |-- video_template
      |-- template1
          |-- vid.mp4
          |-- mask.mp4
          |-- sdc.mp4
          |-- bk.mp4
          |-- occ.mp4 (可选)
  

基本使用

确保当前处于 mimo 虚拟环境中，且位于项目根目录。

1. 角色图像动画化 (Image Animation)

使用驱动视频让静态角色图片动起来。

python run_animate.py

2. 视频角色编辑 (Video Editing)

对现有视频中的角色进行编辑或替换。

python run_edit.py

3. (可选) 处理自定义驱动视频模板

如果您想使用自己的视频作为驱动源，需要先进行空间分解处理。

安装处理工具依赖：

bash setup.sh
# 或者使用 Docker (见 video_decomp/docker/decomp.dockerfile)

下载视频分解模型权重：

from huggingface_hub import snapshot_download 
# 国内用户若 HuggingFace 连接困难，请尝试配置代理或使用镜像
model_dir = snapshot_download(repo_id='menyifang/MIMO_VidDecomp', cache_dir='./video_decomp/')

运行处理脚本：

cd video_decomp
python run.py

处理完成后，将生成的模板文件夹移至 ./assets/video_template/ 即可用于上述动画或编辑任务。

4. 启动本地 Gradio 演示界面

如果您拥有足够显存 (>= 40GB) 的 GPU，可以启动本地 Web UI 进行交互式体验：

python app.py