SkyReels-A2：在视频扩散Transformer中创作任何内容

🔥 更多结果，请访问我们的 主页 🔥

👋 欢迎加入我们的 Discord

本仓库名为 SkyReels-A2，包含我们论文《SkyReels-A2：在视频扩散Transformer中创作任何内容》的官方PyTorch实现。

🎉 最新消息

• 2025年6月1日：🎉 我们发布了技术报告《SkyReels-Audio：视频扩散Transformer中的全音频条件驱动肖像动画》（https://arxiv.org/pdf/2506.00830）。
• 2025年4月21日：👋 我们发布了无限长度电影生成模型《SkyReels-V2》系列模型以及视频字幕生成模型《SkyCaptioner-V1》。
• 2025年4月8日：🎉 我们开放了A2-Bench在线评测与排行榜。请在A2-Bench排行榜上试用！
• 2025年4月7日：🔥 ComfyUI 现已可用。
• 2025年4月3日：🔥 我们发布了检查点预览版、模型推理代码及Gradio演示。
• 此前，我们发布了SkyReels-A1，这是一个开源且高效的肖像图像动画框架。

📑 待办事项

• 支持A2-Bench评测与排行榜。
• ComfyUI。
• 多GPU并行推理。
• 使用TeaCache加速推理。
• 在RTX4090上进行用户级GPU推理。
• 发布所有模型序列，包括无限长版本。
• Diffusers。

🪄 模型

模型	下载链接	视频尺寸
A2-Wan2.1-14B-预览	HuggingFace 🤗	~ 81 x 480 x 832
A2-Wan2.1-14B	待发布	~ 81 x 480 x 832
A2-Wan2.1-14B-Pro	待发布	~ 97 x 544 x 960
A2-Wan2.1-14B-无限	待发布	~ 无穷 x 720 x 1080

1. 快速入门 🏁

1.1 克隆代码并准备环境 🛠️

首先使用git克隆代码库：

git clone https://github.com/SkyworkAI/SkyReels-A2.git
cd SkyReels-A2

# 使用conda创建环境
conda create -n skyreels-a2 python=3.10
conda activate skyreels-a2

然后安装剩余依赖：

pip install -r requirements.txt

1.2 下载预训练权重 📥

您可以从HuggingFace下载预训练权重：

# !pip install -U "huggingface_hub[cli]"
huggingface-cli download Skywork/SkyReels-A2 --local-dir local_path --exclude "*.git*" "README.md" "docs"

或者手动从网页下载。

1.3 推理 🚀

您可以先设置模型路径和参考图片路径，然后简单运行推理脚本：

python infer.py

如果脚本成功运行，您将得到一个输出的mp4文件。该文件包含以下内容：驱动视频、输入图像或视频，以及生成的结果。

我们还支持多GPU推理脚本以加快速度：

torchrun --nproc_per_node=$GPU_NUM infer_MGPU.py

将infer_MGPU.py中的offload_switch设置为True，即可在RTX4090上运行。

Gradio界面 🤗

我们还提供了一个Gradio界面，以提升用户体验，只需运行：

python app.py

图形化交互界面如下所示。

2. A2-Bench 评估 👓

我们已在 Huggingface 上公开了评估数据，您可以使用这些结果进行推理，然后提交到 leaderboard，以自动获取评估结果。关于指标计算代码的更多细节将很快发布。

致谢 💐

我们衷心感谢 Wan 和 finetrainers 两个仓库的贡献者，感谢他们开放的研究成果和无私的贡献。

引用 💖

如果您在研究中使用了 SkyReels-A2，欢迎为本项目点赞，并使用以下 BibTeX 格式引用我们的工作：

@article{fei2025skyreels,
  title={SkyReels-A2: 在视频扩散模型中创作任何内容},
  author={Fei, Zhengcong and Li, Debang and Qiu, Di and Wang, Jiahua and Dou, Yikun and Wang, Rui and Xu, Jingtao and Fan, Mingyuan and Chen, Guibin and Li, Yang and others},
  journal={arXiv 预印本 arXiv:2504.02436},
  year={2025}
}

星标历史

SkyReels-A2 快速上手指南

SkyReels-A2 是一个基于视频扩散 Transformer 的开源模型，旨在实现“任意组合”的视频生成能力。本指南将帮助开发者快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡
  • 推荐配置: RTX 4090 或更高显存显卡（支持单卡推理）
  • 多卡加速: 支持多 GPU 并行推理
• 依赖管理工具: Conda (推荐) 或 pip
• 网络环境: 需能访问 Hugging Face 下载模型权重（如网络受限，建议配置镜像源或使用代理）

2. 安装步骤

2.1 克隆代码库

首先，从 GitHub 克隆项目代码：

git clone https://github.com/SkyworkAI/SkyReels-A2.git
cd SkyReels-A2

2.2 创建虚拟环境

使用 Conda 创建并激活名为 skyreels-a2 的 Python 3.10 环境：

conda create -n skyreels-a2 python=3.10
conda activate skyreels-a2

2.3 安装依赖

安装项目所需的 Python 依赖包：

pip install -r requirements.txt

提示：如果下载速度较慢，可添加国内 pip 源加速，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4 下载预训练模型

从 Hugging Face 下载预训练权重。以下命令将模型下载到本地 local_path 目录：

# 确保已安装 huggingface_hub CLI 工具
# !pip install -U "huggingface_hub[cli]"

huggingface-cli download Skywork/SkyReels-A2 --local-dir local_path --exclude "*.git*" "README.md" "docs"

注：目前主要提供 A2-Wan2.1-14B-Preview 版本，分辨率约为 81 帧 x 480 x 832。

3. 基本使用

3.1 命令行推理

在运行脚本前，请确保已在代码或配置文件中正确设置模型路径和参考图像/视频路径。

运行单卡推理脚本：

python infer.py

运行成功后，将在输出目录生成一个 MP4 文件，其中包含驱动视频、输入图像（或视频）以及生成的最终结果。

多 GPU 加速推理

如果您拥有多张显卡，可以使用 torchrun 进行并行加速：

# 将 $GPU_NUM 替换为您的显卡数量，例如 2 或 4
torchrun --nproc_per_node=$GPU_NUM infer_MGPU.py

RTX 4090 用户注意： 若要在单张 RTX 4090 上运行，请打开 infer_MGPU.py 文件，将 offload_switch 参数设置为 True 以启用显存优化策略。

3.2 图形界面交互 (Gradio)

项目提供了基于 Gradio 的 Web 界面，方便进行可视化操作和参数调整：

python app.py

运行后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可上传素材并生成视频。