Infinity**⭐️**: 面向视觉生成的统一时空自回归建模

Infinity⭐️: 面向视觉生成的统一时空自回归建模

---

🔥 最新动态!!

• 2025年11月7日：🔥 论文、训练与推理代码、检查点及演示网站正式发布！
• 2025年9月18日：🎉 InfinityStar被NeurIPS 2025接收为口头报告。

🕹️ 体验并玩转Infinity⭐️！

我们提供了一个演示网站，供您试用InfinityStar并生成视频。尽情享受基于比特级视频自回归建模的乐趣吧！

✨ 概述

我们提出了InfinityStar，这是一个用于高分辨率图像和动态视频合成的统一时空自回归框架。

• 🧠 统一时空模型：一种纯离散的自回归方法，在单一而优雅的架构中联合捕捉空间和时间依赖关系。

• 🎬 多任务生成：这种统一的设计自然支持多种生成任务，如文本到图像、文本到视频、图像到视频，以及通过简单的时间自回归实现的长时交互式视频合成。

• 🏆 领先的性能与速度：通过大量实验，InfinityStar在VBench上取得了83.74分的成绩，大幅超越所有自回归模型，甚至优于扩散模型竞争对手如HunyuanVideo，且速度约为领先扩散方法的10倍。

• 📖 开创性高分辨率自回归生成：据我们所知，InfinityStar是首个能够生成工业级720p视频的离散自回归视频生成器，为其类别树立了新的质量标准。

🔥 统一建模，适用于图像、视频生成及长时交互式视频合成 📈：

🎬 视频演示

一般美学

动漫与3D动画

运动效果

扩展应用：长时交互式视频

基准测试

在图像生成基准上达到SOTA性能：

在视频生成基准上达到SOTA性能：

超越扩散模型竞争对手如HunyuanVideo*：

可视化

文本到图像示例

图像到视频示例

视频外推示例

📑 开源计划

• 训练代码
• 网页演示
• InfinityStar推理代码
• InfinityStar模型检查点
• InfinityStar-Interact推理代码
• InfinityStar-Interact检查点

安装

1. 我们使用FlexAttention加速训练，这需要torch>=2.5.1。
2. 通过pip3 install -r requirements.txt安装其他pip包。

训练脚本

我们提供了一套完整的模型训练和微调流程，涵盖数据组织、特征提取以及训练脚本。详细说明请参阅data/README.md。

推理

• 720p视频生成： 使用tools/infer_video_720p.py可生成分辨率为720p、时长5秒的视频。由于训练成本较高，我们发布的720p模型仅针对5秒视频生成进行训练。该脚本还支持通过指定图像路径进行图像到视频的转换。

  python3 tools/infer_video_720p.py
  

• 480p可变长度视频生成： 我们还提供了一个480p分辨率的中间检查点，可用于生成5秒或10秒的视频。由于该模型并未专门针对文本到视频（T2V）优化，我们建议使用实验性的图像到视频（I2V）和视频到视频（V2V）模式以获得更好的效果。要指定视频时长，可在tools/infer_video_480p.py中将generation_duration变量修改为5或10。该脚本同样支持通过提供图像或视频路径来进行图像到视频以及视频续写。

  python3 tools/infer_video_480p.py
  

• 480p长时交互式视频生成： 使用tools/infer_interact_480p.py可生成480p分辨率的长时交互式视频。该脚本支持交互式视频生成，您可以提供参考视频和多个提示词，模型将在您的协助下交互式地生成视频。

  python3 tools/infer_interact_480p.py
  

引用

如果我们的工作对您的研究有所帮助，欢迎您给我们点个赞 ⭐ 或者使用以下格式引用我们：

@Article{VAR,
      title={视觉自回归建模：通过下一尺度预测实现可扩展的图像生成}, 
      author={田科宇、蒋毅、袁泽寰、彭冰悦、王立伟},
      year={2024},
      eprint={2404.02905},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{Infinity,
    title={Infinity：面向高分辨率图像合成的位级自回归建模扩展}, 
    author={韩健、刘金来、蒋毅、闫斌、张宇奇、袁泽寰、彭冰悦、刘晓兵},
    year={2024},
    eprint={2412.04431},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2412.04431}, 
}

@misc{InfinityStar,
      title={InfinityStar：用于视觉生成的统一时空自回归建模}, 
      author={刘金来、韩健、闫斌、吴辉、朱峰达、王星、蒋毅、彭冰悦、袁泽寰},
      year={2025},
      eprint={2511.04675},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.04675}, 
}

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

InfinityStar 快速上手指南

InfinityStar 是一个统一的时空自回归框架，支持高分辨率图像生成、动态视频合成及长交互式视频制作。它在 VBench 基准测试中取得了 SOTA 性能，生成速度比主流扩散模型快约 10 倍，并首创了工业级 720p 离散自回归视频生成能力。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• PyTorch: torch >= 2.5.1 (必须，因为使用了 FlexAttention 加速训练)
• 硬件: 推荐使用 NVIDIA GPU (显存建议 24GB+ 以运行 720p 模型)

安装步骤

1. 克隆仓库

   git clone https://github.com/FoundationVision/InfinityStar.git
   cd InfinityStar
   

2. 安装依赖 首先确保已安装符合版本要求的 PyTorch，然后安装其他所需包：

   pip3 install -r requirements.txt
   

   提示: 如果下载速度较慢，可添加国内镜像源加速，例如： pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型权重 从 Hugging Face 下载预训练模型检查点（Checkpoints）并放置于项目指定目录（通常为 weights/ 或根据脚本要求配置）：

   • 地址：FoundationVision/InfinityStar

基本使用

以下是三种核心场景的最简使用示例。请确保已下载对应的模型权重。

1. 生成 720p 视频 (5 秒)

适用于高质量短视频生成，支持文生视频（T2V）和图生视频（I2V）。

python3 tools/infer_video_720p.py

注：如需进行图生视频，请在脚本中指定图片路径参数。

2. 生成 480p 可变长度视频 (5 秒或 10 秒)

适用于快速测试或较长视频生成。该模型在图生视频（I2V）和视频续写（V2V）任务上表现更佳。

# 修改 tools/infer_video_480p.py 中的 generation_duration 变量为 5 或 10
python3 tools/infer_video_480p.py

注：支持通过提供图片或视频路径来实现视频续写。

3. 生成长交互式视频 (480p)

支持提供参考视频和多个提示词，进行多轮交互式视频生成。

python3 tools/infer_interact_480p.py

---

更多详细训练流程和数据处理说明，请参阅项目根目录下的 data/README.md。