用于 Mochi 视频生成器的 ComfyUI 封装节点

开发中

https://github.com/user-attachments/assets/a714b70f-dcdb-4f91-8a3d-8da679a28d6e

可以使用 flash_attn、PyTorch 自带的注意力机制（sdpa），或 sage attention，其中 sage 的速度最快。

根据帧数的不同，显存占用可以控制在 20GB 以内。VAE 解码较为耗资源，目前有一个实验性的分块解码器（源自 CogVideoX -diffusers 代码），它允许更高的帧数。到目前为止，我用默认的 2×2 分块大小成功生成了最高 97 帧的视频。

模型：

https://huggingface.co/Kijai/Mochi_preview_comfy/tree/main

模型存放路径：ComfyUI/models/diffusion_models/mochi

VAE 存放路径：ComfyUI/models/vae/mochi

还有一个自动下载节点（后续也会提供常规加载节点）。

ComfyUI-MochiWrapper 快速上手指南

环境准备

在开始之前，请确保满足以下系统要求和依赖：

• 操作系统: Linux 或 Windows (推荐 Linux 以获得最佳性能)
• 显存要求:
  • 基础运行：建议 20GB 以上显存。
  • 高帧数生成：若使用实验性的分块解码器 (Tiled Decoder)，可在有限显存下生成更高帧数（目前已测试最高 97 帧）。
• 前置依赖:
  • Python 3.10+
  • PyTorch (支持 CUDA)
  • 注意力机制优化 (可选但强烈推荐):
    • flash_attn: 通用加速
    • sage_attention: 速度最快 (推荐安装 SageAttention)
    • 默认 fallback: PyTorch SDPA

安装步骤

1. 安装自定义节点

在 ComfyUI 的 custom_nodes 目录下克隆本仓库：

cd ComfyUI/custom_nodes
git clone https://github.com/Kijai/ComfyUI-MochiWrapper.git

2. 安装 Python 依赖

进入插件目录并安装所需库。国内用户建议使用清华源加速：

cd ComfyUI-MochiWrapper
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：若需启用最快的 sage_attention，请单独按照其官方文档进行编译安装。

3. 下载模型

你可以使用插件自带的 Autodownload Node 自动下载，或手动将模型文件放置到指定目录。

手动下载地址:

• 模型仓库: https://huggingface.co/Kijai/Mochi_preview_comfy/tree/main
• 国内加速: 建议使用 MirrorLink 或 HuggingFace 镜像站 下载。

文件放置路径: 将下载的文件分别放入以下目录（若目录不存在请手动创建）：

• 扩散模型 (Diffusion Model): ComfyUI/models/diffusion_models/mochi
• VAE 模型: ComfyUI/models/vae/mochi

基本使用

1. 启动 ComfyUI: 重启服务以加载新节点。
2. 加载工作流:
   • 在节点面板搜索 Mochi 关键字。
   • 找到并使用 Autodownload 节点（首次运行时会自动拉取模型），或使用标准的 Loader 节点加载已下载的模型。
3. 配置参数:
   • 连接 VAE 解码器。如果显存受限或需要生成长视频，请启用实验性的 Tiled Decoder (源自 CogVideoX)，它允许以 2x2 网格等方式分块解码，显著降低显存占用。
   • 设置帧数 (Frame Count)。根据显存大小调整，使用分块解码可尝试生成 97 帧或更多。
4. 生成视频: 点击 "Queue Prompt" 开始生成。

提示: 为了获得最佳推理速度，请确保环境中已正确安装 sage_attention 或 flash_attn，否则将回退到较慢的默认注意力机制。