MagicTime: 延时视频生成模型

作为变形模拟器

如果你喜欢我们的项目，请在 GitHub 上为我们点亮星标 ⭐，以获取最新更新。

📣 新闻

• ⏳⏳⏳ 在Open-Sora计划的支持下，训练更强的模型。
• ⏳⏳⏳ 发布MagicTime的训练代码。
• [2026.03.08] 👋 我们推出了Helios，这是一种突破性的视频生成模型，在单张H100 GPU上以19.5 FPS的速度实现分钟级高质量视频合成——且无需依赖传统的长视频防漂移策略或标准的视频加速技术。欢迎查看技术报告!
• [2025.04.08] 🔥 我们已更新技术报告。请点击此处查看。
• [2025.03.28] 🔥 MagicTime已被TPAMI接收，我们很快将在arXiv上发布更多细节，请持续关注！
• [2024.07.29] 我们在inference_magictime.py中添加了批量推理功能，以便更方便地使用。
• [2024.06.27] 我们很高兴分享最新的ChronoMagic-Bench，这是一个用于文本到延时视频生成的变形评估基准，完全开源！请查看论文。
• [2024.05.27] 我们很高兴分享最新的Open-Sora Plan v1.1.0，该版本显著提升了视频质量和长度，并且完全开源！请查看报告。
• [2024.04.14] 感谢@camenduru和@ModelsLab提供了Jupyter Notebook和Replicate Demo。
• [2024.04.13] 🔥 我们将仓库大小压缩至不到1.0 MB，以便大家能够更轻松、更快地克隆。您可以点击此处下载，或使用git clone --depth=1命令获取此仓库。
• [2024.04.12] 感谢@Kijai和@Baobao Wang提供了ComfyUI扩展ComfyUI-MagicTimeWrapper。如果您发现相关工作，请告知我们。
• [2024.04.11] 🔥 我们发布了MagicTime的Hugging Face Space，您可点击此处体验一下。
• [2024.04.10] 🔥 我们发布了MagicTime的推理代码和模型权重。
• [2024.04.09] 🔥 我们发布了MagicTime的arXiv论文，您可点击此处查看更多详情。
• [2024.04.08] 🔥 我们发布了用于训练MagicTime的ChronoMagic数据集子集。该数据集包含2,265对变形视频-文本配对，可在HuggingFace数据集或Google Drive下载。
• [2024.04.08] 🔥 所有代码与数据集即将发布！敬请期待 👀！

😮 亮点

MagicTime在变形视频生成方面表现出色。

相关资源

• ChronoMagic: 包含2265对延时视频-文本配对。（由GPT-4V标注）
• ChronoMagic-Bench: 包含1649对延时视频-文本配对。（由GPT-4o标注）
• ChronoMagic-Bench-150: 包含150对延时视频-文本配对。（由GPT-4o标注）
• ChronoMagic-Pro: 包含46万对延时视频-文本配对。（由ShareGPT4Video标注）
• ChronoMagic-ProH: 包含15万对延时视频-文本配对。（由ShareGPT4Video标注）

变形视频与普通视频的对比

与普通视频相比，变形视频蕴含物理知识、具有较长的持续性和强烈的动态变化，因此更难生成。我们在GitHub上展示了压缩后的.gif文件，其中部分质量有所损失。普通视频由Animatediff和MagicTime生成。

类型	"豆芽从种子生长成熟"	"[...] 在Minecraft虚拟环境中的建造过程"	"纸杯蛋糕在烤箱中烘烤 [...]"	"[...] 从紧闭的花蕾逐渐绽放成完全盛开的状态 [...]"
普通视频
变形视频

图库

我们展示了一些由MagicTime、MakeLongVideo、ModelScopeT2V、VideoCrafter、ZeroScope、LaVie、T2V-Zero、Latte以及Animatediff生成的变形视频。

方法	“樱花绽放的过渡过程[...]”	“面团球烘烤的过程[...]”	“一块冰块正在融化[...]”	“一座简约现代住宅的建造过程[...]”
MakeLongVideo
ModelScopeT2V
VideoCrafter
ZeroScope
LaVie
T2V-Zero
Latte
Animatediff
Ours

我们展示了更多由 MagicTime 在 Realistic、ToonYou 和 RcnzCartoon 的帮助下生成的变形视频。

"[...] 豆芽从种子中生长成熟"	"面团 [...] 在烤箱中膨胀并变成金黄色 [...]"	"在Minecraft中的建筑 [...] "
"花蕾逐渐绽放成黄色花朵"	"植物发芽的延时摄影 [...]"	"[...] 在Minecraft中建造现代房屋 [...]"
"冰块正在融化"	"豆苗从土壤中发芽并逐渐长大"	"粉色梅花绽放的延时摄影 [...]"

提示词为了展示效果已做删减，完整提示词请参见这里。

集成到DiT架构中

本项目的使命是帮助复现Sora，并提供高质量的视频-文本数据及数据标注流程，以支持Open-Sora-Plan或其他基于DiT的T2V模型。为此，我们迈出了第一步，将MagicTime方案集成到DiT框架中。具体来说，我们的方法支持Open-Sora-Plan v1.0.0进行微调。首先，我们在相同的标注框架下扩充了更多变形景观延时视频，构建了ChronoMagic-Landscape数据集。随后，我们使用该数据集对Open-Sora-Plan v1.0.0进行微调，得到了MagicTime-DiT模型。结果如下（257×512×512 (10秒)）：

提示词为了展示效果已做删减，完整提示词请参见这里。

🤗 演示

Gradio Web UI

强烈推荐通过以下命令体验我们的Web演示，它包含了目前MagicTime所支持的所有功能。我们还在Hugging Face Spaces上提供了在线演示。

python app.py

CLI推理

# 对于写实风格
python inference_magictime.py --config sample_configs/RealisticVision.yaml --human

# 或者可以直接运行.sh脚本
sh inference_cli.sh

警告：值得注意的是，即使使用相同的种子和提示词，如果更换机器，结果也会有所不同。

⚙️ 环境要求与安装

我们推荐以下环境配置。

环境搭建

git clone --depth=1 https://github.com/PKU-YuanGroup/MagicTime.git
cd MagicTime
conda create -n magictime python=3.10.13
conda activate magictime
pip install -r requirements.txt

下载MagicTime

权重可在🤗HuggingFace和🟣WiseModel获取，也可以通过以下命令下载。

# 方法一
# 如果您在中国大陆，请先运行：export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --repo-type model \
BestWishYsh/MagicTime \
--local-dir ckpts

# 方法二
git lfs install
git clone https://www.wisemodel.cn/SHYuanBest/MagicTime.git

准备就绪后，权重将以如下格式组织：

📦 ckpts/
├── 📂 Base_Model/
│   ├── 📂 motion_module/
│   ├── 📂 stable-diffusion-v1-5/
├── 📂 DreamBooth/
├── 📂 Magic_Weights/
│   ├── 📂 magic_adapter_s/
│   ├── 📂 magic_adapter_t/
│   ├── 📂 magic_text_encoder/

🗝️ 训练与推理

训练代码即将发布！

对于推理，以下是一些示例：

# 对于写实风格
python inference_magictime.py --config sample_configs/RealisticVision.yaml

# 对于 ToonYou
python inference_magictime.py --config sample_configs/ToonYou.yaml
# 对于 RcnzCartoon
python inference_magictime.py --config sample_configs/RcnzCartoon.yaml
# 或者你可以直接运行 .sh 文件
sh inference.sh

你也可以将所有的自定义提示词放入一个.txt文件中，然后运行：

# 对于 Realistic
python inference_magictime.py --config sample_configs/RealisticVision.yaml --run-txt XXX.txt --batch-size 2
# 对于 ToonYou
python inference_magictime.py --config sample_configs/ToonYou.yaml --run-txt XXX.txt --batch-size 2
# 对于 RcnzCartoon
python inference_magictime.py --config sample_configs/RcnzCartoon.yaml --run-txt XXX.txt --batch-size 2

社区贡献

我们发现了一些由社区开发者创建的插件。感谢他们的努力：

• ComfyUI 扩展。ComfyUI-MagicTimeWrapper（由 @Kijai 开发）。你也可以点击这里查看安装教程。
• Replicate 演示及云 API。Replicate-MagicTime（由 @camenduru 开发）。
• Jupyter Notebook。Jupyter-MagicTime（由 @ModelsLab 开发）。

如果你发现了相关的工作，请告诉我们。

🐳 ChronoMagic 数据集

ChronoMagic 包含 2265 个变形延时视频，每个视频都配有详细的描述。我们发布了用于训练 MagicTime 的 ChronoMagic 子集。该数据集可以在 HuggingFace 数据集 上下载，或者使用以下命令进行下载。部分样本可以在我们的项目页面上找到。

huggingface-cli download --repo-type dataset \
--resume-download BestWishYsh/ChronoMagic \
--local-dir BestWishYsh/ChronoMagic \
--local-dir-use-symlinks False

👍 致谢

• Animatediff 我们在此基础上构建了代码库，它是一个强大的基于 U-Net 的文本到视频生成模型。
• Open-Sora-Plan 我们也在此基础上构建了代码库，这是一个简单且可扩展的基于 DiT 的文本到视频生成仓库，用于复现 Sora。

🔒 许可证

• 本项目的大部分内容采用 Apache 2.0 许可证，具体请参阅 LICENSE 文件。
• 本服务目前为研究预览版。如您发现任何潜在的侵权行为，请与我们联系。

✏️ 引用

如果您在研究中认为我们的论文和代码有所帮助，请考虑给个项目点个赞 :star: 并引用 :pencil:。

@article{yuan2025magictime,
  title={Magictime: 延时视频生成模型作为变形模拟器},
  author={Yuan, Shenghai 和 Huang, Jinfa 和 Shi, Yujun 和 Xu, Yongqi 和 Zhu, Ruijie 和 Lin, Bin 和 Cheng, Xinhua 和 Yuan, Li 和 Luo, Jiebo},
  journal={IEEE 模式分析与机器智能汇刊},
  year={2025},
  publisher={IEEE}
}

🤝 贡献者

MagicTime 快速上手指南

MagicTime 是一个基于提示词生成延时摄影视频（Metamorphic Video）的开源模型。它擅长表现物体随时间发生的物理形态变化（如种子发芽、花朵绽放、建筑建成等），能够生成包含丰富物理知识和长时序变化的视频。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 - 3.10
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以获得最佳效果)，需安装 CUDA 驱动
• 依赖管理: 建议使用 conda 创建独立虚拟环境

2. 安装步骤

2.1 克隆项目

由于仓库已进行压缩优化，推荐使用浅克隆以加快下载速度：

git clone --depth=1 https://github.com/PKU-YuanGroup/MagicTime.git
cd MagicTime

国内加速提示：如果 GitHub 连接缓慢，可使用国内镜像源： git clone --depth=1 https://gitee.com/mirrors/MagicTime.git (注：若 Gitee 无同步镜像，请尝试配置 git proxy 或使用上述官方命令)

2.2 创建虚拟环境并安装依赖

# 创建 conda 环境
conda create -n magictime python=3.9 -y
conda activate magictime

# 安装 PyTorch (请根据实际 CUDA 版本调整，以下为通用示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
pip install -r requirements.txt

2.3 下载模型权重

项目代码不包含模型权重，需手动下载。请访问 Hugging Face 或 Google Drive 下载预训练模型文件。

将下载的权重文件放置于项目根目录下的 pretrained_models 文件夹中（如文件夹不存在请新建）：

mkdir -p pretrained_models
# 假设下载的文件名为 magictime.pth，将其移动至该目录
mv /path/to/downloaded/magictime.pth pretrained_models/

国内下载加速：推荐使用 Hugging Face 国内镜像站下载模型： 访问 https://hf-mirror.com/BestWishYsh/MagicTime 进行下载。

3. 基本使用

安装完成后，您可以使用提供的推理脚本生成延时视频。

3.1 单条提示词生成

运行以下命令生成视频。请将 <your_prompt> 替换为您想要的描述（建议使用英文提示词以获得最佳效果）。

python inference_magictime.py --prompt "Bean sprouts grow and mature from seeds" --output_dir ./outputs

参数说明：

• --prompt: 视频生成的文本描述。
• --output_dir: 生成视频的保存路径。
• --num_frames: (可选) 生成视频的帧数，默认值通常已优化。
• --seed: (可选) 随机种子，用于复现结果。

3.2 批量推理

如果您需要一次性生成多个视频，可以使用批量推理功能（需在 inference_magictime.py 中指定输入文件或直接修改脚本逻辑，参考官方更新日志 v2024.07.29）：

# 示例：从文本文件读取多行提示词进行批量生成
python inference_magictime.py --prompt_file prompts.txt --output_dir ./outputs/batch

3.3 在线体验 (无需本地部署)

如果您暂时无法配置本地环境，可以通过以下平台直接体验：

• Hugging Face Spaces: 点击此处体验
• Replicate Demo: 点击此处体验
• Google Colab: 点击此处运行 Notebook

提示：生成的延时视频旨在展现物体的“变形”过程（Metamorphic），对于静态场景或普通动作视频，建议使用其他通用视频生成模型。