[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-PKU-YuanGroup--MagicTime":3,"tool-PKU-YuanGroup--MagicTime":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,2,"2026-04-08T11:23:26",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,1,"2026-04-08T16:06:22",[14,15],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":77,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":99,"github_topics":100,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":152},5929,"PKU-YuanGroup\u002FMagicTime","MagicTime","[TPAMI 2025🔥] MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators","MagicTime 是一款由北京大学团队研发的开源视频生成模型，专注于制作高质量的延时摄影视频。它不仅仅是一个简单的视频合成器，更被定位为“形态变化模拟器”，能够精准模拟现实世界中物体随时间推移发生的自然演变过程，如花朵绽放、冰雪消融或建筑成型。\n\n传统视频生成模型往往难以捕捉长时间跨度下物体形态变化的连贯性与物理规律，导致生成的延时视频出现扭曲或不自然的现象。MagicTime 通过引入专门的训练方法和全新的 ChronoMagic 数据集，显著提升了模型对真实世界动态变化的理解与还原能力，有效解决了长时序视频中形态突变不流畅的难题。\n\n这款工具非常适合影视后期设计师、数字内容创作者以及 AI 视频研究人员使用。对于开发者而言，MagicTime 提供了完整的代码实现、预训练模型以及在 Hugging Face、Colab 等平台的便捷演示，支持基于 Apache 2.0 协议进行二次开发与实验。其独特的技术亮点在于将视频生成任务转化为对物理形态变化的深度模拟，让 AI 不仅能“画”出画面，更能“理解”时间流逝带来的微妙改变，为创作逼真的延时特效提供了强有力的技术支持。","\u003Cdiv align=center>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_c24a487a463f.png\" width=\"150px\">\n\u003C\u002Fdiv>\n\u003Ch2 align=\"center\"> \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014\">MagicTime: Time-lapse Video Generation Models \n\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014\">as Metamorphic Simulators\u003C\u002Fa>\u003C\u002Fh2>\n\u003Ch5 align=\"center\"> If you like our project, please give us a star ⭐ on GitHub for the latest update. \u003C\u002Fh2>\n\n\u003Ch5 align=\"center\">\n\n\n[![hf_space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Open%20In%20Spaces-blue.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build)\n[![Replicate demo and cloud API](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime)\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fcamenduru\u002FMagicTime-jupyter\u002Fblob\u002Fmain\u002FMagicTime_jupyter.ipynb)\n[![hf_space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Paper%20In%20HF-red.svg)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2404.05014)\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2404.05014-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014) \n[![Home Page](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-\u003CWebsite>-blue.svg)](https:\u002F\u002Fpku-yuangroup.github.io\u002FMagicTime\u002F) \n[![Dataset](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDataset-\u003CHuggingFace>-green)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic)\n[![zhihu](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Twitter@AK%20-black?logo=twitter&logoColor=1D9BF0)](https:\u002F\u002Ftwitter.com\u002F_akhaliq\u002Fstatus\u002F1777538468043792473)\n[![zhihu](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Twitter@Jinfa%20Huang%20-black?logo=twitter&logoColor=1D9BF0)](https:\u002F\u002Ftwitter.com\u002Fvhjf36495872\u002Fstatus\u002F1777525817087553827?s=61&t=r2HzCsU2AnJKbR8yKSprKw)\n[![DOI](https:\u002F\u002Fzenodo.org\u002Fbadge\u002F783303222.svg)](https:\u002F\u002Fzenodo.org\u002Fdoi\u002F10.5281\u002Fzenodo.10960665)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-yellow)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002FLICENSE) \n[![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FMagicTime.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime)\n\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F9247\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_17f4a7d6fa98.png\" alt=\"PKU-YuanGroup%2FOpen-Sora-Plan | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fh5>\n\n\u003Cdiv align=\"center\">\nThis repository is the official implementation of MagicTime, a metamorphic video generation pipeline based on the given prompts. The main idea is to enhance the capacity of video generation models to accurately depict the real world through our proposed methods and dataset.\n\u003C\u002Fdiv>\n\n\n\u003Cbr>\n\u003Cdetails open>\u003Csummary>💡 We also have other video generation projects that may interest you ✨. \u003C\u002Fsummary>\u003Cp>\n\u003C!-- may -->\n\n\n> [**Open-Sora Plan: Open-Source Large Video Generation Model**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.00131) \u003Cbr>\n> Bin Lin, Yunyang Ge and Xinhua Cheng etc. \u003Cbr>\n[![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FOpen-Sora-Plan.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2412.00131-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.00131) \u003Cbr>\n>\n> [**Helios: Real Real-Time Long Video Generation Model**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2603.04379) \u003Cbr>\n> Shenghai Yuan, Jinfa Huang and Xianyi He etc. \u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FHelios.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2603.04379-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2603.04379) \u003Cbr>\n>\n> [**OpenS2V-Nexus: A Detailed Benchmark and Million-Scale Dataset for Subject-to-Video Generation**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.20292) \u003Cbr>\n> Shenghai Yuan, Xianyi He and Yufan Deng etc. \u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpenS2V-Nexus) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FOpenS2V-Nexus.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpenS2V-Nexus) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2505.20292-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.20292) \u003Cbr>\n>\n> [**ConsisID: Identity-Preserving Text-to-Video Generation by Frequency Decomposition**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.17440) \u003Cbr>\n> Shenghai Yuan, Jinfa Huang and Xianyi He etc. \u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FConsisID\u002F) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FConsisID.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FConsisID\u002F) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2411.17440-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.17440) \u003Cbr>\n>\n> [**ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522) \u003Cbr>\n> Shenghai Yuan, Jinfa Huang and Yongqi Xu etc. \u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench\u002F) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FChronoMagic-Bench.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench\u002F) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2406.18522-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522) \u003Cbr>\n> \u003C\u002Fp>\u003C\u002Fdetails>\n\n## 📣 News\n* ⏳⏳⏳ Training a stronger model with the support of [Open-Sora Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan).\n* ⏳⏳⏳ Release the training code of MagicTime.\n* `[2026.03.08]` 👋 We introduce [Helios](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios), a breakthrough video generation model that achieves minute-scale, high-quality video synthesis at **19.5 FPS on a single H100** GPU — without relying on conventional long video anti-drifting strategies or standard video acceleration techniques. Welcome to check [Technical Report](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2603.04379)!\n* `[2025.04.08]` 🔥 We have updated our technical report. Please click [here](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014) to view it.\n* `[2025.03.28]` 🔥 MagicTime has been accepted by **TPAMI**, and we will update arXiv with more details soon, keep tuned!\n* `[2024.07.29]` We add *batch inference* to [inference_magictime.py](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002Finference_magictime.py) for easier usage.\n* `[2024.06.27]` Excited to share our latest [ChronoMagic-Bench](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench), a benchmark for metamorphic evaluation of text-to-time-lapse video generation, and is fully open source! Please check out the [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522).\n* `[2024.05.27]` Excited to share our latest Open-Sora Plan v1.1.0, which significantly improves video quality and length, and is fully open source! Please check out the [report](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan\u002Fblob\u002Fmain\u002Fdocs\u002FReport-v1.1.0.md).\n* `[2024.04.14]` Thanks [@camenduru](https:\u002F\u002Ftwitter.com\u002Fcamenduru) and [@ModelsLab](https:\u002F\u002Fmodelslab.com\u002F) for providing [Jupyter Notebook](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FMagicTime-jupyter) and [Replicate Demo](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime).\n* `[2024.04.13]` 🔥 We have compressed the size of repo with less than 1.0 MB, so that everyone can clone easier and faster. You can click [here](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Farchive\u002Frefs\u002Fheads\u002Fmain.zip) to download, or use `git clone --depth=1` command to obtain this repo.\n* `[2024.04.12]` Thanks [@Kijai](https:\u002F\u002Fgithub.com\u002Fkijai) and [@Baobao Wang](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wx421U7Gn\u002F?spm_id_from=333.1007.top_right_bar_window_history.content.click) for providing ComfyUI Extension [ComfyUI-MagicTimeWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-MagicTimeWrapper). If you find related work, please let us know. \n* `[2024.04.11]` 🔥 We release the Hugging Face Space of MagicTime, you can click [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build) to have a try.\n* `[2024.04.10]` 🔥 We release the inference code and model weight of MagicTime.\n* `[2024.04.09]` 🔥 We release the arXiv paper for MagicTime, and you can click [here](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014) to see more details.\n* `[2024.04.08]` 🔥 We release the subset of ChronoMagic dataset used to train MagicTime. The dataset includes 2,265 metamorphic video-text pairs and can be downloaded at [HuggingFace Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic) or [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1WsomdkmSp3ql3ImcNsmzFuSQ9Qukuyr8?usp=sharing).\n* `[2024.04.08]` 🔥 **All codes & datasets** are coming soon! Stay tuned 👀!\n\n## 😮 Highlights\n\nMagicTime shows excellent performance in **metamorphic video generation**.\n\n### Related Resources\n* [ChronoMagic](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic): including 2265 time-lapse video-text pairs. (captioned by GPT-4V)\n* [ChronoMagic-Bench](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Bench\u002Ftree\u002Fmain): including 1649 time-lapse video-text pairs. (captioned by GPT-4o)\n* [ChronoMagic-Bench-150](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Bench\u002Ftree\u002Fmain): including 150 time-lapse video-text pairs. (captioned by GPT-4o)\n* [ChronoMagic-Pro](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Pro): including 460K time-lapse video-text pairs. (captioned by ShareGPT4Video)\n* [ChronoMagic-ProH](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-ProH): including 150K time-lapse video-text pairs. (captioned by ShareGPT4Video)\n\n### Metamorphic Videos vs. General Videos \n\nCompared to general videos, metamorphic videos contain physical knowledge, long persistence, and strong variation, making them difficult to generate. We show compressed .gif on github, which loses some quality. The general videos are generated by the [Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff) and **MagicTime**.\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>Type\u003C\u002Fcenter>\u003C\u002Ftd> \n \u003Ctd colspan=\"1\">\u003Ccenter>\"Bean sprouts grow and mature from seeds\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] construction in a Minecraft virtual environment\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"Cupcakes baking in an oven [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] transitioning from a tightly closed bud to a fully bloomed state [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>General Videos\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_0.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_1.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_2.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_3.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Metamorphic Videos\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_0.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_1.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_2.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_3.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Gallery\n\nWe showcase some metamorphic videos generated by **MagicTime**, [MakeLongVideo](https:\u002F\u002Fgithub.com\u002Fxuduo35\u002FMakeLongVideo), [ModelScopeT2V](https:\u002F\u002Fgithub.com\u002Fmodelscope), [VideoCrafter](https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FVideoCrafter?tab=readme-ov-file), [ZeroScope](https:\u002F\u002Fhuggingface.co\u002Fcerspense\u002Fzeroscope_v2_576w), [LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie), [T2V-Zero](https:\u002F\u002Fgithub.com\u002FPicsart-AI-Research\u002FText2Video-Zero), [Latte](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLatte) and [Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff) below.\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>Method\u003C\u002Fcenter>\u003C\u002Ftd> \n \u003Ctd colspan=\"1\">\u003Ccenter>\"cherry blossoms transitioning [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"dough balls baking process [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"an ice cube is melting [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"a simple modern house's construction [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>MakeLongVideo\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_e52d33cd19e6.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3f910fd6fe49.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d90b5cc4d5c1.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_4af56206e256.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>ModelScopeT2V\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ef0616e024ec.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_a5200c02c7cb.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_33a0079590e1.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d93c55936b06.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>VideoCrafter\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3729b72b38e8.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_09eb9f8ef9c4.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_40c47049913f.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_6f63bf96bffc.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>ZeroScope\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_4b2c554e58c8.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_40d6c53b65ec.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_92a4c15fa16a.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_a2fc67160afa.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>LaVie\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_409ea903bf77.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_02e730630f92.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_41cb56096659.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_0d8870c12875.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>T2V-Zero\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_8c8f91b9f9f2.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3a58941764fd.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_5f5391e70728.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ef25240348ce.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Latte\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_253c0f0f34e5.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_83e22917fd04.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_340b05be0fc5.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d941654606cd.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Animatediff\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fb6896181da2.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_bc733c3e2a1f.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_55c6267b508e.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_dbd92f691441.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Ours\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_9279ac375a61.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f02a9d4964d0.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_e0413bac925e.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_c33c2e0ad6e9.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\nWe show more metamorphic videos generated by **MagicTime** with the help of [Realistic](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F4201\u002Frealistic-vision-v20), [ToonYou](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F30240\u002Ftoonyou) and [RcnzCartoon](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F66347\u002Frcnz-cartoon-3d).\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_cad18e170be9.png\" alt=\"Realistic\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_1ca77af716a4.png\" alt=\"Realistic\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_cff3ef9b9faa.png\" alt=\"Realistic\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] bean sprouts grow and mature from seeds\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"dough [...] swells and browns in the oven [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"the construction [...] in Minecraft [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_8713c01e9ef9.png\" alt=\"RcnzCartoon\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f7697e4b9be6.png\" alt=\"RcnzCartoon\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fa6465dd12d5.png\" alt=\"RcnzCartoon\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"a bud transforms into a yellow flower\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"time-lapse of a plant germinating [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] a modern house being constructed in Minecraft [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f1ce78f23262.png\" alt=\"ToonYou\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ae560dbd9998.png\" alt=\"ToonYou\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fc638e6a92bf.png\" alt=\"ToonYou\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"an ice cube is melting\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"bean plant sprouts grow and mature from the soil\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"time-lapse of delicate pink plum blossoms [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\nPrompts are trimmed for display, see [here](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002F__assets__\u002Fpromtp_unet.txt) for full prompts.\n### Integrate into DiT-based Architecture\n\nThe mission of this project is to help reproduce Sora and provide high-quality video-text data and data annotation pipelines, to support [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) or other DiT-based T2V models. To this end, we take an initial step to integrate our MagicTime scheme into the DiT-based Framework. Specifically, our method supports the Open-Sora-Plan v1.0.0 for fine-tuning. We first scale up with additional metamorphic landscape time-lapse videos in the same annotation framework to get the ChronoMagic-Landscape dataset. Then, we fine-tune the Open-Sora-Plan v1.0.0 with the ChronoMagic-Landscape dataset to get the MagicTime-DiT model. The results are as follows (**257×512×512 (10s)**):\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fed66b4c7-4352-456a-bee4-267090857e3e\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ff2498e6b-4556-4909-b582-954f36a71281\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F17f8d675-6315-4c48-9933-8b3a7f4e72d2\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fec29677d-2ed7-411b-8a41-e744614916bf\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Ccenter>\"Time-lapse of a coastal landscape [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"Display the serene beauty of twilight [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"Sunrise Splendor: Capture the breathtaking moment [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"Nightfall Elegance: Embrace the tranquil beauty [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fbc961c34-7a3d-416e-be3b-80e09a5145bc\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F4feba55e-3259-4a1c-821b-51eb905e289b\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F7a69f551-ac22-4d69-a5dd-e03819f295bb\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb92ae91a-5f7b-4f1b-9a36-82b95478c388\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"The sun descending below the horizon [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] daylight fades into the embrace of the night [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"Time-lapse of the dynamic formations of clouds [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"Capture the dynamic formations of clouds [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\nPrompts are trimmed for display, see [here](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002F__assets__\u002Fpromtp_opensora.txt) for full prompts.\n\n## 🤗 Demo\n\n### Gradio Web UI\n\nHighly recommend trying out our web demo by the following command, which incorporates all features currently supported by MagicTime. We also provide [online demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build) in Hugging Face Spaces.\n\n```bash\npython app.py\n```\n\n### CLI Inference\n\n```bash\n# For Realistic\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml --human\n\n# or you can directly run the .sh\nsh inference_cli.sh\n```\n\nwarning: It is worth noting that even if we use the same seed and prompt but we change a machine, the results will be different.\n\n## ⚙️ Requirements and Installation\n\nWe recommend the requirements as follows.\n\n### Environment\n\n```bash\ngit clone --depth=1 https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime.git\ncd MagicTime\nconda create -n magictime python=3.10.13\nconda activate magictime\npip install -r requirements.txt\n```\n\n### Download MagicTime\n\nThe weights are available at [🤗HuggingFace](https:\u002F\u002Fhuggingface.co\u002FBestWishYsh\u002FMagicTime\u002Ftree\u002Fmain) and [🟣WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FSHYuanBest\u002FMagicTime\u002Ffile), or you can download it with the following commands.\n\n```bash\n# way 1\n# if you are in china mainland, run this first: export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\nhuggingface-cli download --repo-type model \\\nBestWishYsh\u002FMagicTime \\\n--local-dir ckpts\n\n# way 2\ngit lfs install\ngit clone https:\u002F\u002Fwww.wisemodel.cn\u002FSHYuanBest\u002FMagicTime.git\n```\n\nOnce ready, the weights will be organized in this format:\n\n```\n📦 ckpts\u002F\n├── 📂 Base_Model\u002F\n│ ├── 📂 motion_module\u002F\n│ ├── 📂 stable-diffusion-v1-5\u002F\n├── 📂 DreamBooth\u002F\n├── 📂 Magic_Weights\u002F\n│ ├── 📂 magic_adapter_s\u002F\n│ ├── 📂 magic_adapter_t\u002F\n│ ├── 📂 magic_text_encoder\u002F\n```\n\n## 🗝️ Training & Inference\n\nThe training code is coming soon! \n\nFor inference, some examples are shown below:\n\n```bash\n# For Realistic\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml\n# For ToonYou\npython inference_magictime.py --config sample_configs\u002FToonYou.yaml\n# For RcnzCartoon\npython inference_magictime.py --config sample_configs\u002FRcnzCartoon.yaml\n# or you can directly run the .sh\nsh inference.sh\n```\n\nYou can also put all your *custom prompts* in a \u003Cu>.txt\u003C\u002Fu> file and run:\n\n```bash\n# For Realistic\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml --run-txt XXX.txt --batch-size 2\n# For ToonYou\npython inference_magictime.py --config sample_configs\u002FToonYou.yaml --run-txt XXX.txt --batch-size 2\n# For RcnzCartoon\npython inference_magictime.py --config sample_configs\u002FRcnzCartoon.yaml --run-txt XXX.txt --batch-size 2\n```\n\n## Community Contributions\n\nWe found some plugins created by community developers. Thanks for their efforts: \n\n - ComfyUI Extension. [ComfyUI-MagicTimeWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-MagicTimeWrapper) (by [@Kijai](https:\u002F\u002Fgithub.com\u002Fkijai)). And you can click [here](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wx421U7Gn\u002F?spm_id_from=333.1007.top_right_bar_window_history.content.click) to view the installation tutorial.\n - Replicate Demo & Cloud API. [Replicate-MagicTime](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime) (by [@camenduru](https:\u002F\u002Ftwitter.com\u002Fcamenduru)).\n - Jupyter Notebook. [Jupyter-MagicTime](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FMagicTime-jupyter) (by [@ModelsLab](https:\u002F\u002Fmodelslab.com\u002F)).\n\nIf you find related work, please let us know. \n\n## 🐳 ChronoMagic Dataset\nChronoMagic with 2265 metamorphic time-lapse videos, each accompanied by a detailed caption. We released the subset of ChronoMagic used to train MagicTime. The dataset can be downloaded at [HuggingFace Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic), or you can download it with the following command. Some samples can be found on our [Project Page](https:\u002F\u002Fpku-yuangroup.github.io\u002FMagicTime\u002F).\n```bash\nhuggingface-cli download --repo-type dataset \\\n--resume-download BestWishYsh\u002FChronoMagic \\\n--local-dir BestWishYsh\u002FChronoMagic \\\n--local-dir-use-symlinks False\n```\n\n## 👍 Acknowledgement\n* [Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff\u002Ftree\u002Fmain) The codebase we built upon and it is a strong U-Net-based text-to-video generation model.\n\n* [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) The codebase we built upon and it is a simple and scalable DiT-based text-to-video generation repo, to reproduce [Sora](https:\u002F\u002Fopenai.com\u002Fsora).\n\n## 🔒 License\n* The majority of this project is released under the Apache 2.0 license as found in the [LICENSE](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002FLICENSE) file.\n* The service is a research preview. Please contact us if you find any potential violations.\n\n## ✏️ Citation\nIf you find our paper and code useful in your research, please consider giving a star :star: and citation :pencil:.\n\n```BibTeX\n@article{yuan2025magictime,\n title={Magictime: Time-lapse video generation models as metamorphic simulators},\n author={Yuan, Shenghai and Huang, Jinfa and Shi, Yujun and Xu, Yongqi and Zhu, Ruijie and Lin, Bin and Cheng, Xinhua and Yuan, Li and Luo, Jiebo},\n journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},\n year={2025},\n publisher={IEEE}\n}\n```\n\n## 🤝 Contributors\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fgraphs\u002Fcontributors\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_677f328ff404.png\" \u002F>\n\n\u003C\u002Fa>\n\n","\u003Cdiv align=center>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_c24a487a463f.png\" width=\"150px\">\n\u003C\u002Fdiv>\n\u003Ch2 align=\"center\"> \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014\">MagicTime: 延时视频生成模型\n\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014\">作为变形模拟器\u003C\u002Fa>\u003C\u002Fh2>\n\u003Ch5 align=\"center\"> 如果你喜欢我们的项目，请在 GitHub 上为我们点亮星标 ⭐，以获取最新更新。 \u003C\u002Fh2>\n\n\u003Ch5 align=\"center\">\n\n\n[![hf_space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Open%20In%20Spaces-blue.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build)\n[![Replicate demo and cloud API](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime)\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fcamenduru\u002FMagicTime-jupyter\u002Fblob\u002Fmain\u002FMagicTime_jupyter.ipynb)\n[![hf_space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Paper%20In%20HF-red.svg)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2404.05014)\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2404.05014-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014) \n[![Home Page](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-\u003CWebsite>-blue.svg)](https:\u002F\u002Fpku-yuangroup.github.io\u002FMagicTime\u002F) \n[![Dataset](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDataset-\u003CHuggingFace>-green)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic)\n[![zhihu](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Twitter@AK%20-black?logo=twitter&logoColor=1D9BF0)](https:\u002F\u002Ftwitter.com\u002F_akhaliq\u002Fstatus\u002F1777538468043792473)\n[![zhihu](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Twitter@Jinfa%20Huang%20-black?logo=twitter&logoColor=1D9BF0)](https:\u002F\u002Ftwitter.com\u002Fvhjf36495872\u002Fstatus\u002F1777525817087553827?s=61&t=r2HzCsU2AnJKbR8yKSprKw)\n[![DOI](https:\u002F\u002Fzenodo.org\u002Fbadge\u002F783303222.svg)](https:\u002F\u002Fzenodo.org\u002Fdoi\u002F10.5281\u002Fzenodo.10960665)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-yellow)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002FLICENSE) \n[![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FMagicTime.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime)\n\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F9247\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_17f4a7d6fa98.png\" alt=\"PKU-YuanGroup%2FOpen-Sora-Plan | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fh5>\n\n\u003Cdiv align=\"center\">\n本仓库是 MagicTime 的官方实现，它是一个基于给定提示的变形视频生成流水线。其核心思想是通过我们提出的方法和数据集，提升视频生成模型准确描绘现实世界的能力。\n\u003C\u002Fdiv>\n\n\n\u003Cbr>\n\u003Cdetails open>\u003Csummary>💡 我们还有其他可能让你感兴趣的视频生成项目 ✨。 \u003C\u002Fsummary>\u003Cp>\n\u003C!-- may -->\n\n\n> [**Open-Sora Plan：开源大型视频生成模型**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.00131) \u003Cbr>\n> 林斌、葛云阳和程新华等。\u003Cbr>\n[![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FOpen-Sora-Plan.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2412.00131-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.00131) \u003Cbr>\n>\n> [**Helios：真正的实时长视频生成模型**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2603.04379) \u003Cbr>\n> 袁圣海、黄金发和何贤义等。\u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FHelios.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2603.04379-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2603.04379) \u003Cbr>\n>\n> [**OpenS2V-Nexus：面向主体到视频生成的详细基准与百万级数据集**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.20292) \u003Cbr>\n> 袁圣海、何贤义和邓宇凡等。\u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpenS2V-Nexus) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FOpenS2V-Nexus.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpenS2V-Nexus) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2505.20292-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.20292) \u003Cbr>\n>\n> [**ConsisID：基于频率分解的身份保留文本到视频生成**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.17440) \u003Cbr>\n> 袁圣海、黄金发和何贤义等。\u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FConsisID\u002F) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FConsisID.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FConsisID\u002F) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2411.17440-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.17440) \u003Cbr>\n>\n> [**ChronoMagic-Bench：用于文本到延时视频生成的变形评估基准**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522) \u003Cbr>\n> 袁圣海、黄金发和徐永琪等。\u003Cbr>\n> [![github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Github-black?logo=github)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench\u002F) [![github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPKU-YuanGroup\u002FChronoMagic-Bench.svg?style=social)](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2406.18522-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522) \u003Cbr>\n> \u003C\u002Fp>\u003C\u002Fdetails>\n\n## 📣 新闻\n* ⏳⏳⏳ 在[Open-Sora计划](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan)的支持下，训练更强的模型。\n* ⏳⏳⏳ 发布MagicTime的训练代码。\n* `[2026.03.08]` 👋 我们推出了[Helios](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FHelios)，这是一种突破性的视频生成模型，在单张H100 GPU上以**19.5 FPS**的速度实现分钟级高质量视频合成——且无需依赖传统的长视频防漂移策略或标准的视频加速技术。欢迎查看[技术报告](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2603.04379)!\n* `[2025.04.08]` 🔥 我们已更新技术报告。请点击[此处](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014)查看。\n* `[2025.03.28]` 🔥 MagicTime已被**TPAMI**接收，我们很快将在arXiv上发布更多细节，请持续关注！\n* `[2024.07.29]` 我们在[inference_magictime.py](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002Finference_magictime.py)中添加了*批量推理*功能，以便更方便地使用。\n* `[2024.06.27]` 我们很高兴分享最新的[ChronoMagic-Bench](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FChronoMagic-Bench)，这是一个用于文本到延时视频生成的变形评估基准，完全开源！请查看[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18522)。\n* `[2024.05.27]` 我们很高兴分享最新的Open-Sora Plan v1.1.0，该版本显著提升了视频质量和长度，并且完全开源！请查看[报告](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan\u002Fblob\u002Fmain\u002Fdocs\u002FReport-v1.1.0.md)。\n* `[2024.04.14]` 感谢[@camenduru](https:\u002F\u002Ftwitter.com\u002Fcamenduru)和[@ModelsLab](https:\u002F\u002Fmodelslab.com\u002F)提供了[Jupyter Notebook](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FMagicTime-jupyter)和[Replicate Demo](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime)。\n* `[2024.04.13]` 🔥 我们将仓库大小压缩至不到1.0 MB，以便大家能够更轻松、更快地克隆。您可以点击[此处](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Farchive\u002Frefs\u002Fheads\u002Fmain.zip)下载，或使用`git clone --depth=1`命令获取此仓库。\n* `[2024.04.12]` 感谢[@Kijai](https:\u002F\u002Fgithub.com\u002Fkijai)和[@Baobao Wang](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wx421U7Gn\u002F?spm_id_from=333.1007.top_right_bar_window_history.content.click)提供了ComfyUI扩展[ComfyUI-MagicTimeWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-MagicTimeWrapper)。如果您发现相关工作，请告知我们。\n* `[2024.04.11]` 🔥 我们发布了MagicTime的Hugging Face Space，您可点击[此处](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build)体验一下。\n* `[2024.04.10]` 🔥 我们发布了MagicTime的推理代码和模型权重。\n* `[2024.04.09]` 🔥 我们发布了MagicTime的arXiv论文，您可点击[此处](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05014)查看更多详情。\n* `[2024.04.08]` 🔥 我们发布了用于训练MagicTime的ChronoMagic数据集子集。该数据集包含2,265对变形视频-文本配对，可在[HuggingFace数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic)或[Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1WsomdkmSp3ql3ImcNsmzFuSQ9Qukuyr8?usp=sharing)下载。\n* `[2024.04.08]` 🔥 **所有代码与数据集**即将发布！敬请期待 👀！\n\n## 😮 亮点\n\nMagicTime在**变形视频生成**方面表现出色。\n\n### 相关资源\n* [ChronoMagic](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic): 包含2265对延时视频-文本配对。（由GPT-4V标注）\n* [ChronoMagic-Bench](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Bench\u002Ftree\u002Fmain): 包含1649对延时视频-文本配对。（由GPT-4o标注）\n* [ChronoMagic-Bench-150](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Bench\u002Ftree\u002Fmain): 包含150对延时视频-文本配对。（由GPT-4o标注）\n* [ChronoMagic-Pro](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-Pro): 包含46万对延时视频-文本配对。（由ShareGPT4Video标注）\n* [ChronoMagic-ProH](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic-ProH): 包含15万对延时视频-文本配对。（由ShareGPT4Video标注）\n\n### 变形视频与普通视频的对比\n\n与普通视频相比，变形视频蕴含物理知识、具有较长的持续性和强烈的动态变化，因此更难生成。我们在GitHub上展示了压缩后的.gif文件，其中部分质量有所损失。普通视频由[Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff)和**MagicTime**生成。\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>类型\u003C\u002Fcenter>\u003C\u002Ftd> \n \u003Ctd colspan=\"1\">\u003Ccenter>\"豆芽从种子生长成熟\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] 在Minecraft虚拟环境中的建造过程\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"纸杯蛋糕在烤箱中烘烤 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] 从紧闭的花蕾逐渐绽放成完全盛开的状态 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>普通视频\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_0.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_1.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_2.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_0_3.gif?raw=true\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>变形视频\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_0.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_1.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_2.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002FProjectPage\u002Fstatic\u002Fvideos\u002FC_1_3.gif?raw=true\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 图库\n\n我们展示了一些由**MagicTime**、[MakeLongVideo](https:\u002F\u002Fgithub.com\u002Fxuduo35\u002FMakeLongVideo)、[ModelScopeT2V](https:\u002F\u002Fgithub.com\u002Fmodelscope)、[VideoCrafter](https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FVideoCrafter?tab=readme-ov-file)、[ZeroScope](https:\u002F\u002Fhuggingface.co\u002Fcerspense\u002Fzeroscope_v2_576w)、[LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie)、[T2V-Zero](https:\u002F\u002Fgithub.com\u002FPicsart-AI-Research\u002FText2Video-Zero)、[Latte](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLatte)以及[Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff)生成的变形视频。\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>方法\u003C\u002Fcenter>\u003C\u002Ftd> \n \u003Ctd colspan=\"1\">\u003Ccenter>“樱花绽放的过渡过程[...]”\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>“面团球烘烤的过程[...]”\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>“一块冰块正在融化[...]”\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>“一座简约现代住宅的建造过程[...]”\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>MakeLongVideo\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_e52d33cd19e6.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3f910fd6fe49.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d90b5cc4d5c1.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_4af56206e256.png\" alt=\"MakeLongVideo\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>ModelScopeT2V\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ef0616e024ec.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_a5200c02c7cb.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_33a0079590e1.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d93c55936b06.png\" alt=\"ModelScopeT2V\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>VideoCrafter\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3729b72b38e8.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_09eb9f8ef9c4.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_40c47049913f.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_6f63bf96bffc.png\" alt=\"VideoCrafter\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>ZeroScope\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_4b2c554e58c8.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_40d6c53b65ec.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_92a4c15fa16a.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_a2fc67160afa.png\" alt=\"ZeroScope\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>LaVie\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_409ea903bf77.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_02e730630f92.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_41cb56096659.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_0d8870c12875.png\" alt=\"LaVie\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>T2V-Zero\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_8c8f91b9f9f2.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_3a58941764fd.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_5f5391e70728.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ef25240348ce.png\" alt=\"T2V-Zero\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Latte\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_253c0f0f34e5.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_83e22917fd04.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_340b05be0fc5.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_d941654606cd.png\" alt=\"Latte\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Animatediff\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fb6896181da2.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_bc733c3e2a1f.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_55c6267b508e.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_dbd92f691441.png\" alt=\"Animatediff\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>Ours\u003C\u002Ftd> \n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_9279ac375a61.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f02a9d4964d0.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_e0413bac925e.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_c33c2e0ad6e9.png\" alt=\"Ours\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n我们展示了更多由 **MagicTime** 在 [Realistic](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F4201\u002Frealistic-vision-v20)、[ToonYou](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F30240\u002Ftoonyou) 和 [RcnzCartoon](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F66347\u002Frcnz-cartoon-3d) 的帮助下生成的变形视频。\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_cad18e170be9.png\" alt=\"写实\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_1ca77af716a4.png\" alt=\"写实\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_cff3ef9b9faa.png\" alt=\"写实\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] 豆芽从种子中生长成熟\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"面团 [...] 在烤箱中膨胀并变成金黄色 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"在Minecraft中的建筑 [...] \"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_8713c01e9ef9.png\" alt=\"卡通\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f7697e4b9be6.png\" alt=\"卡通\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fa6465dd12d5.png\" alt=\"卡通\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"花蕾逐渐绽放成黄色花朵\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"植物发芽的延时摄影 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] 在Minecraft中建造现代房屋 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_f1ce78f23262.png\" alt=\"卡通风格\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_ae560dbd9998.png\" alt=\"卡通风格\">\u003C\u002Ftd>\n \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_fc638e6a92bf.png\" alt=\"卡通风格\">\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"冰块正在融化\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"豆苗从土壤中发芽并逐渐长大\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"粉色梅花绽放的延时摄影 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n提示词为了展示效果已做删减，完整提示词请参见[这里](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002F__assets__\u002Fpromtp_unet.txt)。\n\n\n### 集成到DiT架构中\n\n本项目的使命是帮助复现Sora，并提供高质量的视频-文本数据及数据标注流程，以支持[Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan)或其他基于DiT的T2V模型。为此，我们迈出了第一步，将MagicTime方案集成到DiT框架中。具体来说，我们的方法支持Open-Sora-Plan v1.0.0进行微调。首先，我们在相同的标注框架下扩充了更多变形景观延时视频，构建了ChronoMagic-Landscape数据集。随后，我们使用该数据集对Open-Sora-Plan v1.0.0进行微调，得到了MagicTime-DiT模型。结果如下（**257×512×512 (10秒)**）：\n\n\u003Ctable>\n \u003Ctr>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fed66b4c7-4352-456a-bee4-267090857e3e\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ff2498e6b-4556-4909-b582-954f36a71281\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F17f8d675-6315-4c48-9933-8b3a7f4e72d2\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fec29677d-2ed7-411b-8a41-e744614916bf\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\u003Ccenter>\"海岸景观延时摄影 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"展现黄昏的宁静之美 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"日出辉煌：捕捉那令人惊叹的一刻 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd>\u003Ccenter>\"夜幕优雅：拥抱那份静谧的美丽 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fbc961c34-7a3d-416e-be3b-80e09a5145bc\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F4feba55e-3259-4a1c-821b-51eb905e289b\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F7a69f551-ac22-4d69-a5dd-e03819f295bb\" autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003Ctd>\n \u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb92ae91a-5f7b-4f1b-9a36-82b95478c388\"autoplay loop muted>\u003C\u002Fvideo>\n \u003C\u002Ftd>\n \u003C\u002Ftr>\n \u003Ctr>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"太阳缓缓沉入地平线 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"[...] 白昼渐渐隐入黑夜的怀抱 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"云朵动态变化的延时摄影 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003Ctd colspan=\"1\">\u003Ccenter>\"捕捉云朵的动态变化 [...]\"\u003C\u002Fcenter>\u003C\u002Ftd>\n \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n提示词为了展示效果已做删减，完整提示词请参见[这里](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002F__assets__\u002Fpromtp_opensora.txt)。\n\n## 🤗 演示\n\n### Gradio Web UI\n\n强烈推荐通过以下命令体验我们的Web演示，它包含了目前MagicTime所支持的所有功能。我们还在Hugging Face Spaces上提供了[在线演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime?logs=build)。\n\n```bash\npython app.py\n```\n\n### CLI推理\n\n```bash\n# 对于写实风格\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml --human\n\n# 或者可以直接运行.sh脚本\nsh inference_cli.sh\n```\n\n警告：值得注意的是，即使使用相同的种子和提示词，如果更换机器，结果也会有所不同。\n\n## ⚙️ 环境要求与安装\n\n我们推荐以下环境配置。\n\n### 环境搭建\n\n```bash\ngit clone --depth=1 https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime.git\ncd MagicTime\nconda create -n magictime python=3.10.13\nconda activate magictime\npip install -r requirements.txt\n```\n\n### 下载MagicTime\n\n权重可在[🤗HuggingFace](https:\u002F\u002Fhuggingface.co\u002FBestWishYsh\u002FMagicTime\u002Ftree\u002Fmain)和[🟣WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FSHYuanBest\u002FMagicTime\u002Ffile)获取，也可以通过以下命令下载。\n\n```bash\n# 方法一\n# 如果您在中国大陆，请先运行：export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\nhuggingface-cli download --repo-type model \\\nBestWishYsh\u002FMagicTime \\\n--local-dir ckpts\n\n# 方法二\ngit lfs install\ngit clone https:\u002F\u002Fwww.wisemodel.cn\u002FSHYuanBest\u002FMagicTime.git\n```\n\n准备就绪后，权重将以如下格式组织：\n\n```\n📦 ckpts\u002F\n├── 📂 Base_Model\u002F\n│ ├── 📂 motion_module\u002F\n│ ├── 📂 stable-diffusion-v1-5\u002F\n├── 📂 DreamBooth\u002F\n├── 📂 Magic_Weights\u002F\n│ ├── 📂 magic_adapter_s\u002F\n│ ├── 📂 magic_adapter_t\u002F\n│ ├── 📂 magic_text_encoder\u002F\n```\n\n## 🗝️ 训练与推理\n\n训练代码即将发布！\n\n对于推理，以下是一些示例：\n\n```bash\n# 对于写实风格\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml\n\n# 对于 ToonYou\npython inference_magictime.py --config sample_configs\u002FToonYou.yaml\n# 对于 RcnzCartoon\npython inference_magictime.py --config sample_configs\u002FRcnzCartoon.yaml\n# 或者你可以直接运行 .sh 文件\nsh inference.sh\n```\n\n你也可以将所有的*自定义提示词*放入一个\u003Cu>.txt\u003C\u002Fu>文件中，然后运行：\n\n```bash\n# 对于 Realistic\npython inference_magictime.py --config sample_configs\u002FRealisticVision.yaml --run-txt XXX.txt --batch-size 2\n# 对于 ToonYou\npython inference_magictime.py --config sample_configs\u002FToonYou.yaml --run-txt XXX.txt --batch-size 2\n# 对于 RcnzCartoon\npython inference_magictime.py --config sample_configs\u002FRcnzCartoon.yaml --run-txt XXX.txt --batch-size 2\n```\n\n## 社区贡献\n\n我们发现了一些由社区开发者创建的插件。感谢他们的努力：\n\n - ComfyUI 扩展。[ComfyUI-MagicTimeWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-MagicTimeWrapper)（由 [@Kijai](https:\u002F\u002Fgithub.com\u002Fkijai) 开发）。你也可以点击[这里](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wx421U7Gn\u002F?spm_id_from=333.1007.top_right_bar_window_history.content.click)查看安装教程。\n - Replicate 演示及云 API。[Replicate-MagicTime](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime)（由 [@camenduru](https:\u002F\u002Ftwitter.com\u002Fcamenduru) 开发）。\n - Jupyter Notebook。[Jupyter-MagicTime](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FMagicTime-jupyter)（由 [@ModelsLab](https:\u002F\u002Fmodelslab.com\u002F) 开发）。\n\n如果你发现了相关的工作，请告诉我们。\n\n## 🐳 ChronoMagic 数据集\nChronoMagic 包含 2265 个变形延时视频，每个视频都配有详细的描述。我们发布了用于训练 MagicTime 的 ChronoMagic 子集。该数据集可以在 [HuggingFace 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBestWishYsh\u002FChronoMagic) 上下载，或者使用以下命令进行下载。部分样本可以在我们的[项目页面](https:\u002F\u002Fpku-yuangroup.github.io\u002FMagicTime\u002F)上找到。\n```bash\nhuggingface-cli download --repo-type dataset \\\n--resume-download BestWishYsh\u002FChronoMagic \\\n--local-dir BestWishYsh\u002FChronoMagic \\\n--local-dir-use-symlinks False\n```\n\n## 👍 致谢\n* [Animatediff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff\u002Ftree\u002Fmain) 我们在此基础上构建了代码库，它是一个强大的基于 U-Net 的文本到视频生成模型。\n* [Open-Sora-Plan](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FOpen-Sora-Plan) 我们也在此基础上构建了代码库，这是一个简单且可扩展的基于 DiT 的文本到视频生成仓库，用于复现 [Sora](https:\u002F\u002Fopenai.com\u002Fsora)。\n\n## 🔒 许可证\n* 本项目的大部分内容采用 Apache 2.0 许可证，具体请参阅 [LICENSE](https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fblob\u002Fmain\u002FLICENSE) 文件。\n* 本服务目前为研究预览版。如您发现任何潜在的侵权行为，请与我们联系。\n\n## ✏️ 引用\n如果您在研究中认为我们的论文和代码有所帮助，请考虑给个项目点个赞 :star: 并引用 :pencil:。\n\n```BibTeX\n@article{yuan2025magictime,\n title={Magictime: 延时视频生成模型作为变形模拟器},\n author={Yuan, Shenghai 和 Huang, Jinfa 和 Shi, Yujun 和 Xu, Yongqi 和 Zhu, Ruijie 和 Lin, Bin 和 Cheng, Xinhua 和 Yuan, Li 和 Luo, Jiebo},\n journal={IEEE 模式分析与机器智能汇刊},\n year={2025},\n publisher={IEEE}\n}\n```\n\n## 🤝 贡献者\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fgraphs\u002Fcontributors\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_readme_677f328ff404.png\" \u002F>\n\n\u003C\u002Fa>","# MagicTime 快速上手指南\n\nMagicTime 是一个基于提示词生成**延时摄影视频**（Metamorphic Video）的开源模型。它擅长表现物体随时间发生的物理形态变化（如种子发芽、花朵绽放、建筑建成等），能够生成包含丰富物理知识和长时序变化的视频。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n* **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS\n* **Python**: 3.8 - 3.10\n* **GPU**: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以获得最佳效果)，需安装 CUDA 驱动\n* **依赖管理**: 建议使用 `conda` 创建独立虚拟环境\n\n## 2. 安装步骤\n\n### 2.1 克隆项目\n由于仓库已进行压缩优化，推荐使用浅克隆以加快下载速度：\n\n```bash\ngit clone --depth=1 https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime.git\ncd MagicTime\n```\n\n> **国内加速提示**：如果 GitHub 连接缓慢，可使用国内镜像源：\n> `git clone --depth=1 https:\u002F\u002Fgitee.com\u002Fmirrors\u002FMagicTime.git` (注：若 Gitee 无同步镜像，请尝试配置 git proxy 或使用上述官方命令)\n\n### 2.2 创建虚拟环境并安装依赖\n\n```bash\n# 创建 conda 环境\nconda create -n magictime python=3.9 -y\nconda activate magictime\n\n# 安装 PyTorch (请根据实际 CUDA 版本调整，以下为通用示例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装项目依赖\npip install -r requirements.txt\n```\n\n### 2.3 下载模型权重\n项目代码不包含模型权重，需手动下载。请访问 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FBestWishYsh\u002FMagicTime) 或 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1WsomdkmSp3ql3ImcNsmzFuSQ9Qukuyr8?usp=sharing) 下载预训练模型文件。\n\n将下载的权重文件放置于项目根目录下的 `pretrained_models` 文件夹中（如文件夹不存在请新建）：\n\n```bash\nmkdir -p pretrained_models\n# 假设下载的文件名为 magictime.pth，将其移动至该目录\nmv \u002Fpath\u002Fto\u002Fdownloaded\u002Fmagictime.pth pretrained_models\u002F\n```\n\n> **国内下载加速**：推荐使用 Hugging Face 国内镜像站下载模型：\n> 访问 `https:\u002F\u002Fhf-mirror.com\u002FBestWishYsh\u002FMagicTime` 进行下载。\n\n## 3. 基本使用\n\n安装完成后，您可以使用提供的推理脚本生成延时视频。\n\n### 3.1 单条提示词生成\n\n运行以下命令生成视频。请将 `\u003Cyour_prompt>` 替换为您想要的描述（建议使用英文提示词以获得最佳效果）。\n\n```bash\npython inference_magictime.py --prompt \"Bean sprouts grow and mature from seeds\" --output_dir .\u002Foutputs\n```\n\n**参数说明：**\n* `--prompt`: 视频生成的文本描述。\n* `--output_dir`: 生成视频的保存路径。\n* `--num_frames`: (可选) 生成视频的帧数，默认值通常已优化。\n* `--seed`: (可选) 随机种子，用于复现结果。\n\n### 3.2 批量推理\n\n如果您需要一次性生成多个视频，可以使用批量推理功能（需在 `inference_magictime.py` 中指定输入文件或直接修改脚本逻辑，参考官方更新日志 v2024.07.29）：\n\n```bash\n# 示例：从文本文件读取多行提示词进行批量生成\npython inference_magictime.py --prompt_file prompts.txt --output_dir .\u002Foutputs\u002Fbatch\n```\n\n### 3.3 在线体验 (无需本地部署)\n\n如果您暂时无法配置本地环境，可以通过以下平台直接体验：\n\n* **Hugging Face Spaces**: [点击此处体验](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FBestWishYsh\u002FMagicTime)\n* **Replicate Demo**: [点击此处体验](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fmagictime)\n* **Google Colab**: [点击此处运行 Notebook](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fcamenduru\u002FMagicTime-jupyter\u002Fblob\u002Fmain\u002FMagicTime_jupyter.ipynb)\n\n---\n**提示**：生成的延时视频旨在展现物体的“变形”过程（Metamorphic），对于静态场景或普通动作视频，建议使用其他通用视频生成模型。","某自然纪录片团队需要制作一段展示“种子在土壤中发芽并长成幼苗”的延时摄影素材，但受限于植物生长周期长、野外拍摄环境不可控等因素，难以获取高质量实拍画面。\n\n### 没有 MagicTime 时\n- **拍摄周期漫长**：必须实地架设相机连续数天甚至数周记录，一旦中途断电或设备故障，所有素材作废。\n- **形态变化生硬**：传统视频生成模型难以理解生物生长的连续形变，生成的画面常出现植物突然“瞬移”或纹理扭曲断裂。\n- **物理规律缺失**：生成的生长过程缺乏真实感，如叶片展开角度违背重力或光照逻辑，无法通过专业审核。\n- **后期成本高昂**：需人工逐帧修图或使用复杂的特效软件模拟生长，耗时耗力且效果依然僵硬。\n\n### 使用 MagicTime 后\n- **即时生成素材**：只需输入“种子破土而出长成幼苗”的提示词，MagicTime 即可在几分钟内模拟出完整的生物变态发育过程。\n- **形变流畅自然**：作为“变形模拟器”，它能精准捕捉植物从卷曲到舒展的细微中间态，确保每一帧的形态过渡平滑无伪影。\n- **符合真实物理**：基于对现实世界的深度建模，生成的光影变化与植物生长节奏高度同步，呈现出电影级的真实质感。\n- **无限迭代尝试**：团队可快速调整提示词（如改变天气、土壤类型），低成本生成多种风格的备选方案供导演选择。\n\nMagicTime 将原本需要数周实地拍摄的生物生长过程，转化为可控、高效且符合物理规律的数字化创作流，彻底打破了延时摄影的时空限制。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPKU-YuanGroup_MagicTime_c24a487a.png","PKU-YuanGroup","PKU-YUAN-Lab (袁粒课题组-北大深研院)","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FPKU-YuanGroup_d1788368.jpg","Open codes from YUAN Lab at PKU",null,"postmaster@pku-yuan.com","pku-yuan.com","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",98.6,{"name":87,"color":88,"percentage":89},"Shell","#89e051",1.4,1345,124,"2026-04-08T08:47:45","Apache-2.0","未说明","需要 NVIDIA GPU（提及在单张 H100 GPU 上运行），具体显存大小和 CUDA 版本未在提供的片段中明确说明",{"notes":97,"python":94,"dependencies":98},"README 片段主要介绍了项目背景、数据集和相关新闻，未包含具体的安装指南或环境配置细节。文中提到该项目有 Colab Notebook 和 Replicate 演示可用，暗示其依赖标准的深度学习栈（如 PyTorch）。另外，新闻中提到在单张 H100 GPU 上可实现 19.5 FPS 的实时长视频生成。",[94],[15,16,52],[101,102,103,104,105,106,107,108],"text-to-video","video-generation","diffusion-models","time-lapse","time-lapse-dataset","open-sora-plan","long-video-generation","metamorphic-video-generation","2026-03-27T02:49:30.150509","2026-04-09T23:55:47.469676",[112,117,122,127,132,137,142,147],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},26909,"如何在 ComfyUI 中安装并使用 MagicTime？","推荐使用社区开发的 ComfyUI-MagicTimeWrapper 插件。如果您使用的是官方整合包，请在整合包目录右键选择“在终端打开”，然后依次运行以下命令安装依赖：\n1. 安装阿里云 SDK：.\\python_embeded\\python.exe -m pip install aliyun-python-sdk-core-v3==2.13.10\n2. 安装插件依赖：python_embeded\\python.exe -m pip install -r ComfyUI\\custom_nodes\\ComfyUI-MagicTimeWrapper\\requirements.txt\n安装完成后即可在 ComfyUI 中使用。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F7",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},26910,"Windows 用户安装时遇到 triton 依赖缺失错误怎么办？","Triton 目前在 Windows 上尚未提供预编译版本，直接通过 pip 安装会失败。建议的解决方案是：\n1. 如果条件允许，建议在 Linux 环境下运行该项目，这是最稳定的路径。\n2. 如果必须在 Windows 运行，可能需要从源码编译 triton 或寻找非官方的构建版本，但这需要较多额外工作且不一定成功。目前项目主要支持 Linux 环境。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F22",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},26911,"运行时出现 'safetensors_rust.SafetensorError: HeaderTooLarge' 错误如何解决？","该错误通常是因为模型文件下载不完整或损坏导致的（特别是使用 git 克隆大文件时）。请尝试以下步骤修复：\n1. 确保已安装 git-lfs (Git Large File Storage)。\n2. 重新下载模型文件。最简单的方法是恢复 ckpts 目录状态：运行命令 \"git checkout ckpts\"。\n3. 如果问题依旧，请删除 ckpts 目录并重新运行准备脚本，确保 git-lfs 在克隆前已正确配置。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F15",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},26912,"如何生成超过 2 秒的长视频？","目前开源版本的 MagicTime 模型直接生成的视频长度为 2 秒（video_length=16 代表 16 帧）。要获得更长视频，官方建议采用以下方案：\n1. 使用帧插值模型（Frame Interpolation Model）对生成的 2 秒视频进行处理，从而扩展时长。\n2. 参考无需训练的长视频生成方法，如 FreeNoise 或 PromptTravel 等项目，结合 MagicTime 使用。\n官方正在加速训练新版本模型以支持更长的原生生成。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F10",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},26913,"如何在多 GPU 环境下运行推理或指定特定的显卡？","当前代码默认仅使用第一张显卡（GPU 0）。若需指定显卡或使用多卡，可以通过设置环境变量来实现：\n- 指定特定显卡：在运行命令前添加 `CUDA_VISIBLE_DEVICES=0`（将 0 替换为您想要的显卡编号）。\n- 使用多张显卡：设置为 `CUDA_VISIBLE_DEVICES=0,1` 等。\n官方表示未来可能会更新推理代码以原生支持多 GPU 配置参数。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F20",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},26914,"Windows 下克隆模型仓库时提示文件复制错误或警告怎么办？","在 Windows 上使用 git clone 下载大模型文件时，可能会遇到关于文件未正确复制的警告。这通常与 Git LFS 有关。解决方法是将克隆命令中的 `git` 替换为 `git-lfs` 相关操作，或者确保在执行 clone 之前已正确安装并初始化了 git-lfs（运行 `git lfs install`）。该警告在某些情况下不影响最终运行，但为了稳定性建议确保 LFS 正常工作。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F19",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},26915,"prepare_weights 脚本中的 shell 脚本无法直接运行或报错怎么办？","由于内部构建与开源版本存在差异，prepare_weights 下的脚本可能需要手动修改：\n1. 克隆基础模型时，目标目录不应预先存在。如果 'ckpts\u002FBase_Model' 已存在，克隆会失败。建议改为克隆到子目录：`git clone ... ckpts\u002FBase_Model\u002Fstable-diffusion-v1-5`。\n2. 在处理 MagicTime 模块时，移动目录前可能需要先删除克隆目录下的 `.git` 文件夹，因为权限保护会导致移动失败。可以使用 `rm -rf MagicTime\u002F.git` 后再执行移动操作，或者直接复制权重文件 (`cp -r`) 而不是移动整个目录。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F23",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},26916,"MagicTime 的许可证是否允许商业用途？","MagicTime 项目采用 Apache 2.0 开源许可证，该许可证本质上允许商业用途。项目中曾出现的“仅供非商业研究使用”的声明是为了强调其作为研究预览版的性质，后经澄清，项目继续维持 Apache 2.0 许可，用户可依据该许可证条款使用。如有具体商业合规疑问，建议直接联系项目作者确认。","https:\u002F\u002Fgithub.com\u002FPKU-YuanGroup\u002FMagicTime\u002Fissues\u002F8",[]]