我们提出了NOVA（NOn-Quantized Video Autoregressive Model），这是一种能够高效地进行自回归图像/视频生成的模型。NOVA将视频生成问题重新定义为对时间维度上的逐帧预测以及空间维度上的逐组预测的非量化自回归建模。NOVA具有良好的泛化能力，能够在单一统一的模型中实现多样化的零样本生成。

🚀新闻

• [2025年10月] 发布了我们的下一代视频生成模型🐻 URSA。
• [2025年7月] 使用Accelerate、OmegaConf和Wandb重构代码库。
• [2025年2月] 发布了评估指南。
• [2025年2月] 发布了训练指南
• [2025年1月] 被ICLR 2025接收。[OpenReview] & [海报]。
• [2024年12月] 发布了项目页面
• [2024年12月] 发布了🤗 在线演示（T2I, T2V)
• [2024年12月] 发布了论文，权重，以及快速入门指南和Gradio演示本地代码。

✨亮点

• 🔥 新颖方法: 非量化视频自回归生成。
• 🔥 最先进性能: 高效且具备最先进的t2i/t2v效果。
• 🔥 统一建模: 单一统一模型中的多任务能力。

🗄️模型库

更多详细信息请参见模型库

文本到图像

模型	参数	分辨率	数据	权重	GenEval	DPGBench
NOVA-0.6B	0.6B	512x512	16M	🤗 HF链接	0.75	81.76
NOVA-0.3B	0.3B	1024x1024	600M	🤗 HF链接	0.67	80.60
NOVA-0.6B	0.6B	1024x1024	600M	🤗 HF链接	0.69	82.25
NOVA-1.4B	1.4B	1024x1024	600M	🤗 HF链接	0.71	83.01

文本到视频

模型	参数	分辨率	数据	权重	VBench
NOVA-0.6B	0.6B	33x768x480	20M	🤗 HF链接	80.12

📖目录

• 1. 安装
  • 1.1 从源码
  • 1.2 从Git
• 2. 快速入门
  • 2.1 文本到图像
  • 2.2 文本到视频
  • 2.3 图像到视频
• 3. Gradio演示
• 4. 训练
• 5. 推理
• 6. 评估

1. 安装

1.1 从源码

克隆此仓库到本地磁盘并安装：

pip install diffusers transformers accelerate imageio-ffmpeg omegaconf wandb
git clone https://github.com/baaivision/NOVA.git
cd NOVA && pip install .

1.2 从Git

如果您已设置GitHub SSH密钥，也可以直接从远程仓库安装：

pip install diffusers transformers accelerate imageio-ffmpeg omegaconf wandb
pip install git+ssh://git@github.com/baaivision/NOVA.git

2. 快速入门

2.1 文本到图像

import torch
from diffnext.pipelines import NOVAPipeline

model_id = "BAAI/nova-d48w768-sdxl1024"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

prompt = "一只穿着贝雷帽和黑色高领毛衣的柴犬。"
image = pipe(prompt).images[0]
    
image.save("shiba_inu.jpg")

2.2 文本生成视频

import os
import torch
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_image, export_to_video
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

model_id = "BAAI/nova-d48w1024-osp480"
low_memory = False

model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)

if low_memory:
    # 使用CPU模型卸载机制和可扩展分配器以避免显存不足。
    pipe.enable_model_cpu_offload()
else:
    pipe = pipe.to("cuda")

# 文本生成视频
prompt = "许多斑点水母在水下 pulsating。"
video = pipe(prompt, max_latent_length=9).frames[0]
export_to_video(video, "jellyfish.mp4", fps=12)

# 增加宽高比和扩散步数以提高视频质量。
video = pipe(
  prompt,
  max_latent_length=9,
  num_inference_steps=128,  # 默认：64
  num_diffusion_steps=100,  # 默认：25
).frames[0]
export_to_video(video, "jellyfish_v2.mp4", fps=12)

# 你也可以从文本生成图像，将第一帧作为图像保存。
prompt = "许多斑点水母在水下 pulsating。"
image = pipe(prompt, max_latent_length=1).frames[0, 0]
export_to_image(image, "jellyfish.jpg")

2.3 图像生成视频

import os, torch, PIL.Image, numpy as np
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_image, export_to_video
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

model_id = "BAAI/nova-d48w1024-osp480"
low_memory = False

model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)

if low_memory:
    # 使用CPU模型卸载机制和可扩展分配器以避免显存不足。
    pipe.enable_model_cpu_offload()
else:
    pipe = pipe.to("cuda")

prompt = "许多斑点水母在水下 pulsating。"

# 步骤1：生成或选择一张分辨率为768x480的匹配图像。
image = pipe(prompt, max_latent_length=1).frames[0, 0]
export_to_image(image, "jellyfish.jpg")

# 步骤2：使用这张图像生成后续帧。
video = pipe(prompt, image=np.array(PIL.Image.open("jellyfish.jpg")), max_latent_length=9).frames[0]
export_to_video(video, "jellyfish.mp4", fps=12)

3. Gradio演示

# 文本到图像演示
python scripts/app_nova_t2i.py --model "BAAI/nova-d48w1024-sdxl1024" --device 0

# 文本到视频演示
python scripts/app_nova_t2v.py --model "BAAI/nova-d48w1024-osp480" --device 0

4. 训练

• 请参阅训练指南

5. 评估

• 请参阅评估指南

6. 推理

• 请参阅推理指南

📋待办事项清单

• 模型库
• 快速入门
• Gradio演示
• 训练指南
• 评估指南
• 推理指南
• 提示词编写工具
• 更大的模型规模
• 额外的下游任务：图像编辑、视频编辑、可控生成

引用

如果您觉得本仓库有用，请考虑给个星⭐并引用🦖：

@article{deng2025ursa,
  title={用于视频生成的具有度量路径的统一离散扩散},
  author={Deng, Haoge and Pan, Ting and Zhang, Fan and Liu, Yang and Luo, Zhuoyan and Cui, Yufeng and Shen, Chunhua and Shan, Shiguang and Zhang, Zhaoxiang and Wang, Xinlong},
  journal={arXiv预印本 arXiv:2510.24717},
  year={2025}
}

@article{deng2024nova,
  title={无需向量量化即可实现的自回归视频生成},
  author={Deng, Haoge and Pan, Ting and Diao, Haiwen and Luo, Zhengxiong and Cui, Yufeng and Lu, Huchuan and Shan, Shiguang and Qi, Yonggang and Wang, Xinlong},
  journal={arXiv预印本 arXiv:2412.14169},
  year={2024}
}

致谢

我们感谢以下项目：MAE、MAR、MaskGIT、DiT、Open-Sora-Plan、CogVideo、FLUX、OpenMuse以及CodeWithGPU。

许可证

代码和模型采用Apache许可证2.0授权。

NOVA 快速上手指南

NOVA 是一款无需向量量化（Non-Quantized）的自回归视频生成模型，支持高效的文生图（T2I）、文生视频（T2V）及图生视频（I2V）任务。本指南帮助开发者快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8 及以上版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB 以上以运行高分辨率模型）
• 依赖库: torch, diffusers, transformers, accelerate 等

提示：国内用户建议使用国内镜像源加速 Python 包下载，例如阿里云或清华大学镜像源。

2. 安装步骤

您可以选择从源码克隆或直接从 Git 仓库安装。

方式一：从源码安装（推荐）

# 1. 安装基础依赖（建议使用国内镜像源）
pip install diffusers transformers accelerate imageio-ffmpeg omegaconf wandb -i https://pypi.tuna.tsinghua.edu.cn/simple

# 2. 克隆仓库
git clone https://github.com/baaivision/NOVA.git

# 3. 进入目录并安装
cd NOVA && pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：直接从 Git 安装

如果您已配置好 GitHub SSH Key，可直接通过以下命令安装：

# 安装基础依赖
pip install diffusers transformers accelerate imageio-ffmpeg omegaconf wandb -i https://pypi.tuna.tsinghua.edu.cn/simple

# 直接安装远程仓库
pip install git+ssh://git@github.com/baaivision/NOVA.git

3. 基本使用

NOVA 提供了统一的 NOVAPipeline 接口。以下是三种核心任务的最简代码示例。

注意：首次运行时会自动从 Hugging Face 下载模型权重。国内网络若下载缓慢，建议配置 HF_ENDPOINT 环境变量或使用镜像站。

3.1 文生图 (Text-to-Image)

生成一张 1024x1024 分辨率的图片。

import torch
from diffnext.pipelines import NOVAPipeline

# 加载模型 (可选模型见 Model Zoo)
model_id = "BAAI/nova-d48w768-sdxl1024"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

# 生成图片
prompt = "a shiba inu wearing a beret and black turtleneck."
image = pipe(prompt).images[0]
    
image.save("shiba_inu.jpg")

3.2 文生视频 (Text-to-Video)

生成一段视频。为优化显存使用，建议设置 CUDA 内存分配策略。

import os
import torch
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_video

# 设置显存优化
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

model_id = "BAAI/nova-d48w1024-osp480"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

# 生成视频
prompt = "Many spotted jellyfish pulsating under water."
video = pipe(prompt, max_latent_length=9).frames[0]

# 保存视频 (fps=12)
export_to_video(video, "jellyfish.mp4", fps=12)

3.3 图生视频 (Image-to-Video)

基于首帧图片生成后续视频序列。

import os, torch, PIL.Image, numpy as np
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_video

os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

model_id = "BAAI/nova-d48w1024-osp480"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

prompt = "Many spotted jellyfish pulsating under water."

# 步骤 1: 先生成或加载一张符合分辨率 (768x480) 的首帧图片
# 此处演示先生成图片，实际使用中也可读取本地图片
image = pipe(prompt, max_latent_length=1).frames[0, 0]
image_path = "jellyfish.jpg"
image.save(image_path)

# 步骤 2: 基于该图片生成视频
video = pipe(
    prompt, 
    image=np.array(PIL.Image.open(image_path)), 
    max_latent_length=9
).frames[0]

export_to_video(video, "jellyfish_i2v.mp4", fps=12)

💡 显存优化提示

如果您的显卡显存较小（如遇到 OOM 错误），可以在初始化 pipeline 后启用 CPU 卸载模式：

pipe.enable_model_cpu_offload()