Open-Sora计划

本项目旨在创建一个简单且可扩展的代码库，以复现Sora（由OpenAI开发，但我们更倾向于称其为“ClosedAI”）。

本项目希望通过开源社区的力量复现Sora，由北大-兔展AIGC联合实验室共同发起，来自兔展、华为、鹏城实验室和开源社区伙伴均有深度贡献力量。

当前V1.5版本完全基于华为昇腾训练（昇腾纯血版），欢迎Pull Request和使用！

我们正在快速迭代新版本，欢迎更多合作者或算法工程师加入，算法工程师招聘-兔展智能.pdf

     

如果你喜欢我们的项目，请在GitHub上为我们点亮一颗星⭐，以便及时获取最新更新。

📣 新闻

• [2026.03.08] 👋👋👋 我们推出了 Helios，这是一款突破性的视频生成模型，在单张 H100 GPU 上以 19.5 FPS 的速度实现分钟级高质量视频合成——且无需依赖传统的长视频防漂移策略或标准的视频加速技术。欢迎查看 技术报告！
• [2025.06.05] 🔥🔥🔥 我们发布了 1.5.0 版本，这是我们目前功能最强大的模型！通过引入 更高压缩比的 WFVAE 和改进的稀疏 DiT 架构 SUV，我们仅使用 8B 参数规模的模型和 4,000 万段视频样本，便实现了与 HunyuanVideo（开源）相当的性能。1.5.0 版本是在 Ascend 910 系列加速器上完全训练并推理完成的；请访问 mindspeed_mmdit 分支获取我们的新代码，并查阅 Report-v1.5.0.md 获取详细报告。GPU 版本也将很快推出。
• [2024.12.03] ⚡️ 我们发布了 v1.3 版本的 arXiv 论文以及 WF-VAE 的 论文。更强大的下一版本即将发布。
• [2024.10.16] 🎉 我们发布了 1.3.0 版本，其亮点包括：WFVAE、提示优化器、数据过滤策略、稀疏注意力机制和 桶式训练策略。此外，我们还能在 24G 显存 内支持 93×480p 分辨率。更多细节请参阅我们的最新 报告。
• [2024.08.13] 🎉 我们推出了 Open-Sora Plan v1.2.0 的 I2V 模型，该模型基于 Open-Sora Plan v1.2.0。当前版本支持图像到视频的生成以及过渡帧的生成（即视频生成的起始和结束帧条件）。请查看此 报告 中的“图像到视频”部分。
• [2024.07.24] 🔥🔥🔥 v1.2.0 来了！我们摒弃了 2+1D 架构，转而采用 3D 全注意力机制，成功训练出一款真正的 3D 视频扩散模型，可生成 4 秒 720p 分辨率的视频。请查看我们的最新 报告。
• [2024.05.27] 🎉 我们发布了 Open-Sora Plan v1.1.0，该版本显著提升了视频质量和长度，并且完全开源！请查阅我们的最新 报告。感谢 ShareGPT4Video 提供的长视频标注能力。
• [2024.04.09] 🤝 我们很高兴分享关于变形延时视频生成的最新探索成果：MagicTime，它能够从延时视频中学习真实世界的物理知识。
• [2024.04.07] 🎉🎉🎉 今天，我们非常激动地发布了 Open-Sora-Plan v1.0.0，该版本大幅提升了视频生成质量和文本控制能力。详情请参阅我们的 报告。感谢华为 NPU 对我们的支持。
• [2024.03.27] 🚀🚀🚀 我们发布了 VideoCausalVAE 的报告，该模型同时支持图像和视频输入。以下是我们演示中的重建视频效果。文本到视频模型正在开发中。
• [2024.03.01] 🤗 我们启动了一项复现 Sora 的计划，名为 Open-Sora Plan！欢迎 关注 👀 此仓库，以获取最新动态。

😍 作品集

Open-Sora Plan v1.5.0 的文本到视频生成示例。

YouTube:

Bilibili:

😮 亮点

Open-Sora Plan 在视频生成方面表现出色。

🔥 性能更强、压缩比更高的 WFVAE

• 采用 8×8×8 的下采样率，但 PSNR 指标却优于 Wan2.1 中使用的 VAE。同时降低了基于其构建的 DiT 模型的训练成本。

🚀 更强大的稀疏 DiT

• 更加高效的稀疏注意力架构 SUV，在提供超过 35% 加速的同时，性能接近密集型 DiT。

🐳 资源

版本	架构	扩散模型	因果视频VAE	数据	提示优化器
v1.5.0	SUV (Skiparse 3D)	121x576x1024[5]	Anysize_8x8x8_32dim	-	-
v1.3.0 [4]	Skiparse 3D	Anysize in 93x640x640[3], Anysize in 93x640x640_i2v[3]	Anysize	prompt_refiner	checkpoint
v1.2.0	Dense 3D	93x720p, 29x720p[1], 93x480p[1,2], 29x480p, 1x480p, 93x480p_i2v	Anysize	Annotations	-
v1.1.0	2+1D	221x512x512, 65x512x512	Anysize	Data and Annotations	-
v1.0.0	2+1D	65x512x512, 65x256x256, 17x256x256	Anysize	Data and Annotations	-

[1] 请注意，v1.2.0版本的29×720p和93×480p权重是在Panda70M数据集上训练的，尚未进行最终的高质量数据微调，因此可能会出现水印。

[2] 我们从93×720p微调了3500步，得到了93×480p，供社区研究使用。

[3] 该模型以步长=32随机训练。因此，请确保推理时的分辨率是32的倍数。帧数需要是4n+1，例如93、77、61、45、29、1（图像）。

[4] 模型权重也可在OpenMind和WiseModel上获取。

[5] 目前的模型权重仅与NPU + MindSpeed-MM框架兼容。模型权重也可在modelers上获取。

[!Warning]

🚨 对于1.2.0版本，我们不再支持2+1D模型。

⚙️ 如何开始

GPU

即将推出...

NPU

请查看**mindspeed_mmdit**分支，并按照README.md进行配置。

📖 技术报告

请查阅Report-v1.5.0.md。

💡 如何贡献

我们非常感谢您对Open-Sora计划开源社区的贡献，并帮助我们使其比现在更好！

更多详情，请参阅贡献指南

👍 致谢及相关工作

• Allegro: Allegro是一个强大的文本到视频模型，基于我们的Open-Sora计划，可以从简单的文本输入生成高达6秒、15 FPS和720p分辨率的高质量视频。开源的意义正变得越来越具体。
• Latte: 这是一个出色的2+1D视频生成模型。
• PixArt-alpha: 用于逼真文图合成的扩散Transformer快速训练。
• ShareGPT4Video: 通过更好的字幕提升视频理解和生成。
• VideoGPT: 使用VQ-VAE和Transformer进行视频生成。
• DiT: 基于Transformer的可扩展扩散模型。
• FiT: 用于扩散模型的灵活视觉Transformer。
• 位置插值: 通过位置插值扩展大型语言模型的上下文窗口。

🔒 许可证

• 详情请参见LICENSE。

✨ 星标历史

✏️ 引用

@article{lin2024open,
  title={Open-Sora计划：开源大型视频生成模型},
  author={林斌、葛云阳、程新华、李宗健、朱斌、王绍东、何贤义、叶洋、袁圣海、陈刘汉等},
  journal={arXiv预印本arXiv:2412.00131},
  year={2024}
}

@article{helios,
  title={Helios：真正的实时长视频生成模型},
  author={袁圣海、尹元阳、李宗健、黄新伟、杨晓、袁莉},
  journal={arXiv预印本arXiv:2603.04379},
  year={2026}
}

@article{li2024wf,
  title={WF-VAE：通过小波驱动的能量流增强潜伏视频扩散模型的视频VAE},
  author={李宗健、林斌、叶洋、陈刘汉、程新华、袁圣海、袁莉},
  journal={arXiv预印本arXiv:2411.17459},
  year={2024}
}

🤝 社区贡献者

Open-Sora Plan 快速上手指南

Open-Sora Plan 是一个旨在复现 Sora 视频生成能力的开源项目。当前最新的 v1.5.0 版本完全基于华为昇腾（Ascend）NPU 训练和推理，采用了高性能的 WF-VAE 和稀疏 DiT 架构（SUV）。

1. 环境准备

系统要求

• 硬件: 华为昇腾 910 系列加速卡 (Ascend 910-series)。
  • 注：GPU 版本正在开发中，暂未发布。
• 操作系统: 支持 Ascend CANN 环境的 Linux 发行版（如 EulerOS, Ubuntu 等）。
• 软件栈:
  • 华为 CANN (Compute Architecture for Neural Networks)
  • MindSpore 框架
  • MindSpeed-MM 库

前置依赖

请确保已安装与您的昇腾驱动匹配的 CANN 包和 MindSpore 环境。建议参考华为官方文档完成基础环境搭建。

2. 安装步骤

由于 v1.5.0 使用了特定的架构优化，必须切换到专用分支进行安装。

第一步：克隆代码并切换分支

git clone https://github.com/PKU-YuanGroup/Open-Sora-Plan.git
cd Open-Sora-Plan
git checkout mindspeed_mmdit

第二步：安装依赖

进入项目目录后，根据 mindspeed_mmdit 分支下的 requirements.txt 安装 Python 依赖。 (注：具体依赖列表请以该分支下的文件为准)

pip install -r requirements.txt

提示：如果您在中国大陆，建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：下载模型权重

v1.5.0 的模型权重仅兼容 NPU + MindSpeed-MM 框架。您可以从以下地址下载：

• HuggingFace: Open-Sora-Plan-v1.5.0
• 魔乐社区 (Modelers): Open-Sora-Plan-v1.5.0

需要下载的主要文件包括：

• 扩散模型：MindSpeed/model_ema.pt
• VAE 模型：MindSpeed/wfvae_888_dim32.ckpt

将下载的权重放置在项目指定的目录下（具体路径请参考分支内的 README 或配置文件）。

3. 基本使用

目前 v1.5.0 主要支持在昇腾环境下进行推理。最简单的使用方式是通过提供的推理脚本生成视频。

文生视频示例

假设您已配置好环境变量并下载了权重，运行推理命令通常如下（具体参数请参照 mindspeed_mmdit 分支中的示例脚本）：

python scripts/inference.py \
    --config configs/v1.5_config.yaml \
    --ckpt_path ./weights/MindSpeed/model_ema.pt \
    --vae_path ./weights/MindSpeed/wfvae_888_dim32.ckpt \
    --prompt "A cat walking on the street, realistic, 4k" \
    --output_dir ./outputs

关键参数说明

• --config: 指向 v1.5.0 对应的配置文件。
• --ckpt_path: 扩散模型检查点路径。
• --vae_path: WF-VAE 模型路径。
• --prompt: 输入的文字描述。
• --output_dir: 生成视频的保存路径。

注意：

1. 请确保输入分辨率和帧数符合模型要求（v1.5.0 基于高压缩率 VAE，具体尺寸限制请参考技术报告）。
2. 更多高级功能（如图像转视频 I2V、特定分辨率控制）请参阅项目根目录下的 Report-v1.5.0.md 技术报告及分支内详细文档。