SkyReels V1：以人为本的视频基础模型

🤗 Hugging Face · 👋 体验平台 · 💬 Discord

---

欢迎来到 SkyReels V1 仓库！在这里，您将找到我们突破性视频基础模型的文生视频和图生视频模型权重及推理代码。

🔥🔥🔥 最新消息！！

• 2025年2月18日：👋 我们发布了 SkyReels-V1 文生视频模型 的推理代码和模型权重。
• 2025年2月18日：👋 我们发布了 SkyReels-V1 图生视频模型 的推理代码和模型权重。
• 2025年2月18日：🔥 我们还发布了 SkyReels-A1。这是一个开源且高效的框架式人像图像动画模型。

🎥 演示

📑 待办事项清单

• SkyReels-V1（文生视频模型）

  • 检查点
  • 推理代码
  • Web演示（Gradio）
  • 在RTX4090上进行用户级GPU推理
  • 多GPU并行推理
  • 提示重写与提示引导
  • CFG蒸馏模型
  • 轻量级模型
  • 720P版本
  • ComfyUI

• SkyReels-V1（图生视频模型）

  • 检查点
  • 推理代码
  • Web演示（Gradio）
  • 在RTX4090上进行用户级GPU推理
  • 多GPU并行推理
  • 提示重写与提示引导
  • CFG蒸馏模型
  • 轻量级模型
  • 720P版本
  • ComfyUI

🌟 概述

SkyReels V1 是首个也是最先进的开源以人为本视频基础模型。通过对 HunyuanVideo 在O(10M)高质量影视片段上进行微调，SkyReels V1 具有三大优势：

1. 开源领先：我们的文生视频模型在开源模型中达到最先进（SOTA）水平，可与Kling、Hailuo等专有模型相媲美。
2. 先进的面部动画：捕捉33种不同的面部表情，结合超过400种自然动作组合，准确反映人类情感。
3. 电影级光影与美学：基于高质量的好莱坞级影视数据训练，生成的每一帧在构图、演员位置和镜头角度上都具有电影级品质。

🔑 核心特性

1. 自主开发的数据清洗与标注流水线

我们的模型建立在自主开发的数据清洗与标注流水线上，构建了一个包含大量高质量电影、电视剧和纪录片内容的数据集。

• 表情分类：将人类面部表情分为33种不同类型。
• 角色空间感知：利用3D人体重建技术，理解视频中多人之间的空间关系，实现电影级别的角色定位。
• 动作识别：构建超过400个动作语义单元，以精确理解人类动作。
• 场景理解：对服装、场景和剧情进行跨模态相关性分析。

2. 多阶段图生视频预训练

受 HunyuanVideo 设计启发，我们的多阶段预训练流水线包括以下阶段：

• 阶段1：模型领域迁移预训练：我们使用大规模数据集（O(10M)的影视内容）将文生视频模型适配到以人为中心的视频领域。
• 阶段2：图生视频模型预训练：通过调整卷积输入参数，将阶段1的文生视频模型转换为图生视频模型，并在阶段1使用的同一数据集上进行预训练。
• 阶段3：高质量微调：我们在原始数据集的高质量子集上对图生视频模型进行微调，确保卓越的性能和质量。

📊 基准测试结果

我们使用 VBench 对我们的文生视频模型性能进行了评估，并与其他优秀的开源模型进行了对比。

根据基准测试结果，SkyReels V1 在开源文生视频（T2V）模型中表现出最先进（SOTA）的性能。具体来说，我们的模型获得了82.43的综合得分，高于其他开源模型，如 VideoCrafter-2.0 VEnhancer（82.24）和 CogVideoX1.5-5B（82.17）。此外，我们在多个关键指标上也取得了最高分，包括动态程度和多对象处理能力，这表明我们的模型在处理复杂视频生成任务方面具有更强的能力。

模型	综合得分	质量得分	语义得分	图像质量	动态程度	多对象	空间关系
OpenSora V1.3	77.23	80.14	65.62	56.21	30.28	43.58	51.61
AnimateDiff-V2	80.27	82.90	69.75	70.1	40.83	36.88	34.60
VideoCrafter-2.0 VEnhancer	82.24	83.54	77.06	65.35	63.89	68.84	57.55
CogVideoX1.5-5B	82.17	82.78	79.76	65.02	50.93	69.65	80.25
HunyuanVideo 540P	81.23	83.49	72.22	66.31	51.67	70.45	63.46
SkyReels V1 540P（我们）	82.43	84.62	73.68	67.15	72.5	71.61	70.83

📦 模型介绍

模型名称	分辨率	视频时长	FPS	下载链接
SkyReels-V1-Hunyuan-I2V	544px960p	97	24	🤗 下载
SkyReels-V1-Hunyuan-T2V	544px960p	97	24	🤗 下载

🚀 SkyReels Infer 介绍

SkyReelsInfer 是一个高效的视频生成推理框架，能够准确且快速地生成高质量视频，在不损失质量的前提下显著提升视频生成推理的速度。

多 GPU 推理支持：该框架支持上下文并行、CFG 并行和 VAE 并行等多种方法，能够在保证无损质量的同时，快速生成视频，满足在线环境对低延迟的严格要求。

用户级 GPU 部署：通过采用模型量化和参数级卸载策略，系统大幅降低了 GPU 显存需求，能够适应显存有限的消费级显卡。

卓越的推理性能：该框架表现出色的效率，与 HunyuanVideo XDiT 相比，端到端延迟降低了 58.3%，为推理速度树立了新的标杆。

出色的易用性：基于开源框架 Diffusers 构建，并采用非侵入式的并行实现方式，确保了流畅且友好的用户体验。

🛠️ 运行指南

首先克隆仓库：

git clone https://github.com/SkyworkAI/SkyReels-V1
cd skyreelsinfer

Linux 系统安装指南

手动安装时，建议使用 Python 3.10 和 CUDA 12.2 版本。

# 安装 pip 依赖
pip install -r requirements.txt

当显存充足时（例如在 A800 上），可以直接运行无损版本。

注意：生成视频时，提示词应以“FPS-24, ”开头，因为我们在训练过程中参考了 Moviegen 中控制帧率的训练方法。

SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --task_type t2v \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, 一只戴着太阳镜、在泳池边担任救生员的猫" \
    --embedded_guidance_scale 1.0

用户级 GPU 推理（RTX4090）

我们推荐的分辨率、宽高比及帧数设置如下表所示。

分辨率	h/w=9:16	h/w=16:9	h/w=1:1
544p	544px960px97f	960px544px97f	720px720px97f

使用命令行

# SkyReelsModel：若使用 i2v，请切换至 Skywork/SkyReels-V1-Hunyuan-I2V。
# quant：启用 FP8 权重仅量化。
# offload：启用模型卸载。
# high_cpu_memory：启用固定内存以减少模型卸载的开销。
# parameters_level：进一步降低 GPU 显存占用。
# task_type：任务类型同时支持 t2v 和 i2v。执行 i2v 任务时，需输入 --image。
SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --task_type t2v \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, 一只戴着太阳镜、在泳池边担任救生员的猫" \
    --embedded_guidance_scale 1.0 \
    --quant \
    --offload \
    --high_cpu_memory \
    --parameters_level

以上示例展示了在单张 RTX 4090 显卡上，经过全面显存优化后生成一段 544px×960px、97 帧、时长 4 秒的视频，峰值显存占用为 18.5G。在显存容量允许的情况下，还可以生成 544px×960px、289 帧、时长 12 秒的视频（使用 --sequence_batch 参数，单张 RTX 4090 大约需要 1.5 小时；增加 GPU 数量可大幅缩短时间）。

🚀 多 GPU 并行推理

# SkyReelsModel：若使用 i2v，请切换至 Skywork/SkyReels-V1-Hunyuan-I2V。
# quant：启用 FP8 权重仅量化。
# offload：启用模型卸载。
# high_cpu_memory：启用固定内存以减少模型卸载的开销。
# gpu_num：使用的 GPU 数量。
SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, 一只戴着太阳镜、在泳池边担任救生员的猫" \
    --embedded_guidance_scale 1.0 \
    --quant \
    --offload \
    --high_cpu_memory \
    --gpu_num $GPU_NUM

性能对比

本次测试旨在比较 SkyReelsInfer 和 HunyuanVideo XDiT 在 A800（高性能计算 GPU）和 RTX 4090（消费级 GPU）上处理 544p 视频的端到端延迟。结果将展示 SkyReelsInfer 在速度和效率方面的优越性能。

测试参数

分辨率	视频大小	变换器步数	引导系数
540p	544px960px97f	30	6

用户级 GPU 推理（RTX4090）

在实际应用中，Hunyuanvideo XDIT 由于显存不足，无法在 RTX 4090 上进行推理。为解决这一问题，我们基于官方的卸载机制、FP8 模型权重和 VAE 分块技术进行了优化，具体措施包括：
a) 优化模型加载与初始化逻辑，避免将 FP16 模型完全加载到内存中。
b) 减小 VAE 分块尺寸，以降低显存占用。

针对 SkyReelsInfer 在 RTX 4090 上的部署，我们将采取以下措施以确保充足的显存资源并提升推理效率：
a) 模型量化：采用仅权重 FP8 量化，确保模型能够完整加载到显存中。
b) 卸载策略：启用参数级卸载，进一步减少显存使用。
c) 多 GPU 并行：开启上下文并行、CFG 并行和 VAE 并行，实现分布式处理。
d) 计算优化：利用 SegaAttn 优化注意力层计算，并启用 Torch.Compile 对 Transformer 进行编译优化（支持 4 GPU 和 8 GPU 配置）。

GPU 数量	hunyuanvideo + xdit	SkyReelsInfer
1	显存溢出	889.31s
2	显存溢出	453.69s
4	464.3s	293.3s
8	无法将视频序列拆分为 ulysses_degree x ring_degree	159.43s

上表总结了在 RTX 4090 上使用 HunyuanVideo XDIT 和 SkyReelsVideoInfer 生成 544p、时长 4 秒视频的端到端延迟测试结果。由此可得出以下结论：

• 在相同的 RTX 4090 资源条件下（4 张 GPU），SkyReelsInfer 版本相比 HunyuanVideo XDIT 将端到端延迟降低了 58.3%（293.3s 对比 464.3s）。
• SkyReelsInfer 版本具备更稳健的部署策略，在用户级别支持从 1 张到 8 张 GPU 的推理部署。

A800

基于 A800（80G），主要测试对比了 HunyuanVideo XDIT 和 SkyReelsInfer 在不牺牲输出质量前提下的性能差异。

GPU 数量	hunyuanvideo + xdit	SkyReelsInfer
1	884.20s	771.03s
2	487.22s	387.01s
4	263.48s	205.49s
8	无法将视频序列拆分为 ulysses_degree x ring_degree	107.41s

上表总结了在 A800 上使用 HunyuanVideo XDIT 和 SkyReelsVideoInfer 生成 544p、时长 4 秒视频的端到端延迟测试结果。由此可得出以下结论：

在相同的 A800 资源条件下，SkyReelsInfer 版本相比官方 HunyuanVideo 版本，端到端延迟降低了 14.7% 至 28.2%。

SkyReelsInfer 版本拥有更为稳健的多 GPU 部署策略。

致谢

我们衷心感谢 HunyuanVideo、ParaAttention 以及 Diffusers 仓库的贡献者们，感谢他们开放的研究成果与无私的贡献。

引用

@misc{SkyReelsV1,
  author = {SkyReels-AI},
  title = {Skyreels V1: 以人为本的视频基础模型},
  year = {2025},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/SkyworkAI/SkyReels-V1}}
}

SkyReels-V1 快速上手指南

SkyReels-V1 是一款开源的以人为核心的视频基础模型，支持文生视频（T2V）和图生视频（I2V）。它在开源模型中达到了 SOTA 水平，特别擅长生成具有电影级光影和丰富面部表情的视频。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux
• Python 版本: 推荐 3.10
• CUDA 版本: 推荐 12.2
• 硬件要求:
  • 高性能模式: 需要大显存 GPU（如 A800），可直接运行无损版本。
  • 消费级模式: 支持 RTX 4090 等显卡，需开启量化（quant）和卸载（offload）选项以优化显存占用。

安装步骤

1. 克隆仓库

   git clone https://github.com/SkyworkAI/SkyReels-V1
   cd skyreelsinfer
   

2. 安装依赖 建议使用国内镜像源加速安装（如清华源或阿里源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

注意事项

生成视频时，提示词（Prompt）必须以 "FPS-24, " 开头，这是模型训练时的特定格式要求。

场景一：高性能 GPU 推理（如 A800）

适用于显存充足的环境，直接运行无损版本。

SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --task_type t2v \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \
    --embedded_guidance_scale 1.0

场景二：消费级 GPU 推理（如 RTX 4090）

针对显存有限的用户，启用 FP8 量化、模型卸载及参数级优化。此配置下生成 544x960x97f (约 4 秒) 视频峰值显存占用约为 18.5GB。

SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --task_type t2v \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \
    --embedded_guidance_scale 1.0 \
    --quant \
    --offload \
    --high_cpu_memory \
    --parameters_level

场景三：多卡并行推理

如需加速生成或使用更多资源，可指定 GPU 数量进行并行推理。

SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V"
# 请将 $GPU_NUM 替换为实际的 GPU 数量，例如 2 或 4
GPU_NUM=2 
python3 video_generate.py \
    --model_id ${SkyReelsModel} \
    --guidance_scale 6.0 \
    --height 544 \
    --width 960 \
    --num_frames 97 \
    --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \
    --embedded_guidance_scale 1.0 \
    --quant \
    --offload \
    --high_cpu_memory \
    --gpu_num $GPU_NUM

提示: 若需使用图生视频（I2V）功能，请将 --model_id 设置为 Skywork/SkyReels-V1-Hunyuan-I2V，并将 --task_type 设为 i2v，同时添加 --image 参数指定输入图片路径。