用于长视频生成的扩散-Transformer 外推法

本仓库提供了 RIFLEx (ICML 2025)、UltraViCo (ICLR 2026) 和 UltraImage 的官方实现，这些方法以即插即用的方式实现了长视频生成和高分辨率图像生成中的扩散-Transformer 外推。

本仓库在不同分支上分别托管了 RIFLEx 和 UltraViCo，代码完全开源。

• RIFLEx:

  • main: HunyuanVideo-diffusers 和 CogVideoX-diffusers
  • multi-gpu: HunyuanVideo 的多 GPU 推理

• UltraViCo:

  • ultra-wan: 针对 Wan2.1 的 UltraViCo
  • ultra-hunyuan: 针对 HunyuanVideo 的 UltraViCo

• UltraImage:

  • ultra-flux: 针对 Flux 的 UltraImage
  • ultra-qwenimage: 针对 Qwen-Image 的 UltraImage

🎉 支持的模型

在此，我们列出了 RIFLEx 已经应用到的 SOTA 视频扩散 Transformer。我们正在持续努力支持更多模型。欢迎您提出希望我们支持的其他模型建议！

模型	外推	示例结果
HunyuanVideo	5s -> 11s
CogVideoX-5B	6s -> 12s

待续……

🔥🔥 最新消息

• 2026.1.26 ：UltraViCo 被 ICLR 2026 接收！
• 2025.5.1 ：RIFLEx 被 ICML 2025 接收！
• 2025.3.17 ：RIFLEx 已集成到官方 HunyuanVideo-I2V 仓库！
• 2025.3.1 ：针对 CogVideoX-5B 以及微调后的 CogVideoX-RIFLEx 的代码已发布。
• 2025.2.26 RIFLEx 已在 HunyuanVideoGP 中得到支持，在 RTX 4090 上可生成 10.5 秒、1280×720 分辨率的视频。
• 2025.2.26 RIFLEx 已在 ComfyUI-HunyuanVideoWrapper 中得到支持，由 KiJai 开发。
• 2025.2.25 ：论文、项目页面、代码以及微调后的 HunyuanVideo-RIFLEx 已发布。

RIFLEx 代码

RIFLEx 只在原始的 1D RoPE 上添加了一行代码。

def get_1d_rotary_pos_embed_riflex(
    dim: int,
    pos: Union[np.ndarray, int],
    theta: float = 10000.0,
    k: Optional[int] = None,
    L_test: Optional[int] = None,
):
    '''
        k：RoPE 中固有频率的索引
        L_test：推理时的帧数
    '''
    
    assert dim % 2 == 0
    if isinstance(pos, int):
        pos = torch.arange(pos)
    if isinstance(pos, np.ndarray):
        pos = torch.from_numpy(pos)
    freqs = 1.0 / (theta ** (torch.arange(0, dim, 2, device=pos.device)[: (dim // 2)].float() / dim)) 

    // === RIFLEx 修改开始 ===
    // 减少固有频率，以确保外推后仍处于一个周期内（公式(8)）。
    // 经验表明，部分视频在尾部帧中可能会出现重复现象。
    // 为保守起见，我们乘以 0.9，使外推长度不超过一个周期的 90%。
    freqs[k-1] = 0.9 * 2 * torch.pi / L_test
    // === RIFLEx 修改结束 ===

    freqs = torch.outer(pos, freqs)  
    freqs_cos = freqs.cos().repeat_interleave(2, dim=1).float()  
    freqs_sin = freqs.sin().repeat_interleave(2, dim=1).float()  
    return freqs_cos, freqs_sin

在 riflex_utils.py 中，我们展示了如何识别基于 RoPE 的预训练扩散 Transformer 中的固有频率。

使用 Diffusers 进行单 GPU 推理以快速入门

安装

conda create -n riflex python=3.10
pip install -r requirements.txt
pip install -U bitsandbytes

提示词

所有模型的示例提示词都列在 assets/prompts 中。项目页面上的提示词可在 assets/prompts/free_hunyuan.txt 和 assets/prompts/finetune_hunyuan.txt 中找到。

请注意，对于 HunyuanVideo 的单 GPU 推理，Diffusers 使用 DiffusersBitsAndBytesConfig 来节省内存，这可能会影响性能。若要生成 项目页面 上的演示，请参阅“多 GPU 推理”（#multi-gpu-inference--recommended-）部分。

HunyuanVideo 推理

python hunyuanvideo.py --k 4 --N_k 50 --num_frames 261 --prompt "一只白色与橙色相间的虎斑猫快乐地穿梭于茂密的花园中，仿佛在追逐什么。它的眼睛睁得大大的，充满喜悦，一边小跑着向前，一边仔细打量着树枝、花朵和树叶。小路十分狭窄，猫在植物间穿行而过。画面从地面视角拍摄，紧随猫咪移动，呈现出低角度的亲密感。整幅图像具有电影般的质感，色调温暖，略带颗粒感。上方树叶与植物间洒下的零星阳光形成温暖的对比，更加凸显了猫咪橙色的毛发。镜头清晰锐利，景深较浅。"

python hunyuanvideo.py --k 4 --N_k 66 --num_frames 261 --finetune --model_id "thu-ml/Hunyuan-RIFLEx-diffusers" --prompt "一段3D动画，描绘了一只小巧圆润、毛茸茸的小生物，长着大而富有表现力的眼睛，在一片生机勃勃、充满魔力的森林中探索。这只小生物介于兔子和松鼠之间，拥有柔软的蓝色毛皮和蓬松的条纹尾巴。它蹦跳着沿着一条闪闪发光的小溪前行，眼中满是惊奇之色。整片森林充满了神奇的元素：会发光并变换颜色的花朵、叶子呈紫色和银色的树木，以及宛如萤火虫般漂浮的小光点。小生物停下脚步，与一群围绕蘑菇圈翩翩起舞的小精灵们愉快地互动。随后，它仰头凝视着一棵巨大的发光之树，那棵树似乎就是这片森林的心脏所在。"

CogVideoX 推理

python cogvideox.py --k 2 --N_k 20 --num_frames 97 --prompt "一段3D动画，描绘了一只小巧圆润、毛茸茸的小生物，长着大而富有表现力的眼睛，在一片生机勃勃、充满魔力的森林中探索。这只小生物介于兔子和松鼠之间，拥有柔软的蓝色毛皮和蓬松的条纹尾巴。它蹦跳着沿着一条闪闪发光的小溪前行，眼中满是惊奇之色。整片森林充满了神奇的元素：会发光并变换颜色的花朵、叶子呈紫色和银色的树木，以及宛如萤火虫般漂浮的小光点。小生物停下脚步，与一群围绕蘑菇圈翩翩起舞的小精灵们愉快地互动。随后，它仰头凝视着一棵巨大的发光之树，那棵树似乎就是这片森林的心脏所在。"

python cogvideox.py --k 2 --N_k 25 --num_frames 97 --finetune --model_id "thu-ml/CogVideoX-RIFLEx-diffusers" --prompt "一架无人机环绕着一座建在阿马尔菲海岸岩石峭壁上的美丽古老教堂飞行。镜头展示了这座教堂历史悠久而宏伟的建筑细节，以及层层叠叠的台阶与露台。下方的海浪拍打着岩石，视野俯瞰着意大利阿马尔菲海岸的海面与丘陵地貌。远处有几位游客正在露台上漫步，欣赏壮丽的海景。午后温暖的阳光为整个场景增添了一种梦幻而浪漫的氛围。这是一组令人惊叹的精美摄影作品。"

多 GPU 推理（推荐）

为了 提升推理速度 并 复现我们项目页面 中的演示效果，请使用多 GPU 推理。详细信息请参阅 multi-gpu 分支。

参考文献

如果您觉得这些代码有用，请引用以下文献：

@article{zhao2025riflex,
  title={Riflex: 视频扩散模型中长度外推的免费午餐},
  author={Zhao, Min 和 He, Guande 和 Chen, Yixiao 和 Zhu, Hongzhou 和 Li, Chongxuan 和 Zhu, Jun},
  journal={arXiv 预印本 arXiv:2502.15894},
  year={2025}
}

@article{zhao2025ultravico,
  title={UltraViCo: 打破视频扩散模型中的外推极限},
  author={Zhao, Min 和 Zhu, Hongzhou 和 Wang, Yingze 和 Yan, Bokai 和 Zhang, Jintao 和 He, Guande 和 Yang, Ling 和 Li, Chongxuan 和 Zhu, Jun},
  journal={arXiv 预印本 arXiv:2511.20123},
  year={2025}
}
@article{zhao2025ultraimage,
  title={UltraImage: 重新思考图像扩散模型中的分辨率外推},
  author={Zhao, Min 和 Yan, Bokai 和 Yang, Xue 和 Zhu, Hongzhou 和 Zhang, Jintao 和 Liu, Shilong 和 Li, Chongxuan 和 Zhu, Jun},
  journal={arXiv 预印本 arXiv:2512.04504},
  year={2025}
}

DiT-Extrapolation 快速上手指南

DiT-Extrapolation 是清华大学开源的视频扩散模型长度外推工具，包含 RIFLEx（视频时长扩展）、UltraViCo 和 UltraImage（高分辨率图像生成）等项目。本指南以核心的 RIFLEx 为例，帮助开发者快速在单卡环境下实现视频时长翻倍生成（如 5s -> 11s）。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• 硬件要求:
  • 单张 NVIDIA GPU (显存建议 24GB 以上，如 RTX 3090/4090)
  • 若需复现官方演示效果或生成更高分辨率视频，推荐使用多卡环境（详见官方 multi-gpu 分支）
• 前置依赖: CUDA Toolkit, conda (推荐)

安装步骤

1. 创建并激活虚拟环境

   conda create -n riflex python=3.10
   conda activate riflex
   

2. 克隆代码仓库

   git clone https://github.com/thu-ml/DiT-Extrapolation.git
   cd DiT-Extrapolation
   

3. 安装依赖包 建议使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install -U bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

以下示例展示如何使用 HunyuanVideo 模型进行免训练（Training-free）的时长外推推理。

1. 准备提示词

示例提示词已包含在 assets/prompts 目录中。你可以直接使用命令行传入英文提示词。

2. 运行推理脚本

执行以下命令生成视频。该命令将视频帧数扩展至 261 帧（约 11 秒），实现了从原始时长的 2 倍外推。

python hunyuanvideo.py --k 4 --N_k 50 --num_frames 261 --prompt "A white and orange tabby cat is seen happily darting through a dense garden, as if chasing something. Its eyes are wide and happy as it jogs forward, scanning the branches, flowers, and leaves as it walks. The path is narrow as it makes its way between all the plants. the scene is captured from a ground-level angle, following the cat closely, giving a low and intimate perspective. The image is cinematic with warm tones and a grainy texture. The scattered daylight between the leaves and plants above creates a warm contrast, accentuating the cat's orange fur. The shot is clear and sharp, with a shallow depth of field."

参数说明：

• --k: RoPE 中的固有频率索引（HunyuanVideo 通常设为 4）。
• --N_k: 相关超参数（免训练模式设为 50）。
• --num_frames: 目标生成帧数（261 帧对应约 11 秒）。
• --prompt: 视频生成的文字描述。

注意：单卡推理模式下，Diffusers 会自动启用 DiffusersBitsAndBytesConfig 以节省显存，这可能会轻微影响生成质量。若需最佳效果或多卡并行，请参考仓库中的 multi-gpu 分支文档。

其他模型支持

• CogVideoX-5B: 使用 cogvideox.py 脚本，参数 --k 通常设为 2。
• 微调模型: 若使用官方提供的微调权重（如 thu-ml/Hunyuan-RIFLEx-diffusers），请在命令中添加 --finetune 和 --model_id 参数。