ComfyUI_Sonic

Sonic 是一种关于“在人像动画中将注意力转移到全局音频感知”的方法，你可以在 ComfyUI 中使用它。

更新

• 有些人的 CUDA 设备必须使用 cuda:0，因此修复了这一问题，避免报错。
• 修复了 bf16 无法使用的错误，解决了 12GB 显存首次运行时容易出现 OOM 的问题，并修复了 macOS 上的 MPS 支持问题。

1. 安装

在 ./ComfyUI/custom_node 目录下，运行以下命令：

git clone https://github.com/smthemex/ComfyUI_Sonic.git

---

2. 依赖安装

pip install -r requirements.txt

3. 模型

• 3.1.1 从 Google Drive 下载必要的检查点文件。文件结构如下图所示。
• 3.1.2 下载 openai/whisper-tiny：

--  ComfyUI/models/sonic/
    |-- audio2bucket.pth
    |-- audio2token.pth
    |-- unet.pth
    |-- yoloface_v5m.pt
    |-- whisper-tiny/
        |--config.json
        |--model.safetensors
        |--preprocessor_config.json
    |-- RIFE/
        |--flownet.pkl

• 3.2 SVD 检查点：svd_xt.safetensors 或 svd_xt_1_1.safetensors：

--   ComfyUI/models/checkpoints
    ├── svd_xt.safetensors  或  svd_xt_1_1.safetensors

示例

• 新示例

• 旧示例

• 旧示例

之前的更新

• 将“帧数”替换为“持续时间”，现在可以用来调整输出音频的长度（单位为秒）。需要注意的是，实际对比长度是基于音频振幅数组，而非精确的百分比。
• 修复了当帧率不是 25 时出现的 batch 不匹配问题。
• 将模型加载方式改为单体 SVD 模型。
• 支持输出非正方形图片，但请注意，非正方形图片更容易导致显存溢出（OOM）。
• image_size 参数用于控制输出图片的最小尺寸。如果出现 OOM，请适当降低该值。
• 感谢 @civen-cn 提交的 PR。

引用

@article{ji2024sonic,
  title={Sonic: Shifting Focus to Global Audio Perception in Portrait Animation},
  author={Ji, Xiaozhong and Hu, Xiaobin and Xu, Zhihong and Zhu, Junwei and Lin, Chuming and He, Qingdong and Zhang, Jiangning and Luo, Donghao and Chen, Yi and Lin, Qin and others},
  journal={arXiv preprint arXiv:2411.16331},
  year={2024}
}

@article{ji2024realtalk,
  title={Realtalk: Real-time and realistic audio-driven face generation with 3d facial prior-guided identity alignment network},
  author={Ji, Xiaozhong and Lin, Chuming and Ding, Zhonggan and Tai, Ying and Zhu, Junwei and Hu, Xiaobin and Luo, Donghao and Ge, Yanhao and Wang, Chengjie},
  journal={arXiv preprint arXiv:2406.18284},
  year={2024}
}

ComfyUI_Sonic 快速上手指南

ComfyUI_Sonic 是将 Sonic（一种专注于全局音频感知的人像动画方法）集成到 ComfyUI 中的自定义节点。它允许用户通过音频驱动静态人像生成逼真的说话视频。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Windows, Linux 或 macOS (已支持 MPS)。
• 基础环境: 已安装并配置好 ComfyUI。
• Python 依赖: 需具备 pip 包管理工具。
• 硬件建议:
  • 推荐 NVIDIA GPU (CUDA)。
  • 显存建议：12GB 及以上（首次运行可能占用较高，若显存不足需调整图像尺寸）。
  • Mac 用户已支持 MPS 加速。

2. 安装步骤

2.1 安装插件节点

进入 ComfyUI 的自定义节点目录，克隆本仓库：

cd ./ComfyUI/custom_nodes
git clone https://github.com/smthemex/ComfyUI_Sonic.git

2.2 安装 Python 依赖

进入插件目录并安装所需依赖：

cd ComfyUI_Sonic
pip install -r requirements.txt

提示: 国内用户若下载缓慢，可添加国内镜像源加速，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 下载模型文件

本工具需要下载两类模型：Sonic 专用模型 和 SVD 基础模型。

A. Sonic 专用模型

请从 Google Drive 下载必要文件，并从 HuggingFace 下载 Whisper 模型。最终文件结构应如下所示：

目标路径: ComfyUI/models/sonic/

ComfyUI/models/sonic/
├── audio2bucket.pth
├── audio2token.pth
├── unet.pth
├── yoloface_v5m.pt
├── whisper-tiny/              # 从 openai/whisper-tiny 下载
│   ├── config.json
│   ├── model.safetensors
│   └── preprocessor_config.json
└── RIFE/
    └── flownet.pkl

• Whisper-tiny 下载地址: HuggingFace - openai/whisper-tiny
• 其他模型下载地址: Google Drive 链接

B. SVD 基础模型

下载 Stable Video Diffusion 模型并放入 ComfyUI 的主检查点目录。

目标路径: ComfyUI/models/checkpoints/

可选模型（二选一即可）：

1. svd_xt.safetensors
2. svd_xt_1_1.safetensors

放置后结构如下：

ComfyUI/models/checkpoints/
├── svd_xt.safetensors  (或 svd_xt_1_1.safetensors)

3. 基本使用

1. 启动 ComfyUI: 重启 ComfyUI 以加载新安装的节点。
2. 加载工作流:
   • 在 ComfyUI 界面中，将官方提供的示例工作流图片（如 example_0516.png）直接拖入画布。
   • 或者手动构建流程：加载 Sonic 相关节点，连接人像图片、音频文件以及 SVD 模型。
3. 关键参数设置:
   • Duration: 用于控制输出视频的时长（单位：秒）。该值基于音频振幅数组计算，非绝对精准百分比。
   • Image Size: 控制输出图像的最小尺寸。注意: 如果遇到 OOM (显存溢出) 错误，请调小此数值。
   • Frame Rate: 默认适配 25fps，现已修复非 25fps 时的批次匹配问题。
4. 运行: 点击 "Queue Prompt" 开始生成。

性能优化提示: 若显存为 12GB 且在首次运行时遇到 OOM，请尝试减小 image_size 参数或使用分辨率较小的输入图片。