一套自定义节点，可在 ComfyUI 中实现音频响应功能，从而生成与音乐同步的 AI 驱动动画。

---

这个工具能做什么？

• 创建 音频响应型 AI 视频，并通过任意音频控制 AI 生成的风格、内容和构图。
• 简单易用：只需将我们的其中一个 工作流 拖入 ComfyUI，指定音频和视觉输入即可。
• 灵活兼容：可与现有的 ComfyUI AI 技术和节点配合使用（例如：IPAdapter、AnimateDiff、ControlNet 等）。

---

快速设置

1. 安装 ComfyUI（支持 Mac、Windows 和 Linux）

2. 选择一个工作流 ⬇️

---

🖼️ 图片转视频

需要一组 图片 + 音频

效果示例：

📺 观看教程

📥 下载图片转视频工作流

---

🎬 视频转视频

需要一段 源视频 + 音频

效果示例：

📺 观看教程

📥 下载视频转视频工作流

---

✍️ 文本转视频

需要一段 文本提示 + 音频

效果示例：

📥 下载文本转视频工作流

---

3. 加载并运行

1. 将下载的 .json 文件 拖入 ComfyUI 窗口。
2. 在弹出窗口中 点击“安装全部”。
3. 设置输入（图片/视频/文本 + 音频）。
4. 根据提示 下载模型。
5. 点击队列 即可生成你的音频响应动画！

就是这样！ 尽情享受吧！！ 就是这样！ 尽情享受吧！！

节点详情

点击查看：逐节点参考

音频分析 🔍

对音频进行分析，为每一帧生成响应权重。

节点参数

• audio_sep_model: 来自“加载音频分离模型”的模型。
• audio: 输入音频文件。
• batch_size: 与音频权重关联的帧数。
• fps: 分析使用的帧率。

参数：

• analysis_mode: 例如，仅鼓声、人声或完整音频。
• threshold: 最小权重通过值。
• multiply: 放大系数。

输出：

• graph_audio（图像预览）、
• processed_audio、original_audio、
• audio_weights（数值列表）。

---

加载音频分离模型 🎧

加载或下载音频分离模型（例如，HybridDemucs 或 OpenUnmix）。

节点参数

• model: 可选择 HybridDemucs 或 OpenUnmix。
• 输出：audio_sep_model（可连接到音频分析或混音器）。

---

音频峰值检测 📈

识别音频权重中的峰值，以触发过渡或事件。

节点参数

• peaks_threshold: 灵敏度。
• min_peaks_distance: 峰值之间最小的帧间距。
• 输出：二进制峰值列表、备用列表、峰值索引/数量以及图表。

---

音频 IP Adapter 过渡 🔄

根据峰值管理图像之间的过渡，非常适合稳定或风格化过渡。

节点参数

• images: 一批图像。
• peaks_weights: 来自“音频峰值检测”。
• blend_mode、过渡时长、最小 IPA 权重 等。

---

音频提示调度 📝

将文本提示与峰值索引关联起来。

节点参数

• peaks_index: 来自峰值检测的索引。
• prompts: 多行字符串。
• 输出：映射后的调度字符串。

---

音频混音器 🎛️

调整音轨中的音量级别（鼓、人声、贝斯、其他）。

节点参数

• drums_volume（鼓音量）、vocals_volume（人声音量）、bass_volume（贝斯音量）、others_volume（其他音量）
• 输出：单个合并后的音频轨道。

---

图片重复至指定次数 🔁

将一组图片重复 N 次。

节点参数

• mask：遮罩输入。
• 输出：重复后的图片。

---

反转浮点数 🔄

翻转浮点数值的符号。

节点参数

• floats：浮点数列表。
• 输出：反转后的列表。

---

浮点数可视化 📈

将浮点数值绘制成图表。

节点参数

• floats（以及可选的第二/第三个）。
• 输出：可视化图表图像。

---

遮罩转浮点数 🎭

将遮罩转换为单个浮点数值。

节点参数

• mask：输入遮罩。
• 输出：浮点数。

---

浮点数转权重策略 🏋️

将浮点数列表转换为 IPAdapter 的“权重策略”。

节点参数

• floats：浮点数列表。
• 输出：包含策略信息的字典。

---

请在 GitHub 上给个项目点个 star 吧！这有助于我们改进工具，而且它是免费的！！ (:

在 Lilien 的帮助下制作 😎

ComfyUI_Yvann-Nodes 快速上手指南

ComfyUI_Yvann-Nodes 是一套专为 ComfyUI 设计的自定义节点包，旨在实现**音频反应（Audio Reactivity）**功能。它允许用户根据音乐节奏生成同步的 AI 动画，支持从图像、视频或文本提示驱动的视频生成。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Windows, macOS 或 Linux。
• 核心软件: 已安装并配置好 ComfyUI。
  • 建议更新到最新版本以兼容所有新节点。
• 硬件要求: 推荐配备 NVIDIA GPU（显存 8GB 以上为佳），以便流畅运行 AnimateDiff、ControlNet 等视频生成模型。
• 前置依赖:
  • 确保已安装 ComfyUI-Manager（推荐），以便自动处理缺失节点的安装。
  • 网络连接正常（首次运行时需下载音频分离模型）。

2. 安装步骤

方法一：使用 ComfyUI-Manager（推荐）

1. 启动 ComfyUI。
2. 点击右侧菜单的 "Manager" 按钮。
3. 选择 "Install Custom Nodes"。
4. 在搜索框中输入 Yvann 或 Audio Reactive。
5. 找到 ComfyUI_Yvann-Nodes，点击 Install。
6. 安装完成后，重启 ComfyUI。

方法二：手动安装

如果您未使用 Manager，可通过命令行手动安装：

cd ComfyUI/custom_nodes
git clone https://github.com/YvannD/ComfyUI_Yvann-Nodes.git

安装完成后重启 ComfyUI。首次加载工作流时，系统可能会提示安装额外的 Python 依赖（如 demucs），请按提示确认安装。

3. 基本使用

本工具的核心用法是加载预设的工作流（Workflow），只需几步即可生成随音乐律动的视频。

第一步：下载工作流

根据您的输入素材类型，选择并下载对应的 .json 工作流文件：

• 🖼️ 图生视频 (Images to Video): 适用于将一组静态图片转化为随音乐变化的视频。
  • 下载链接
• 🎬 视频重绘 (Video to Video): 适用于对现有视频进行风格化重绘并同步音频。
  • 下载链接
• ✍️ 文生视频 (Text to Video): 适用于仅通过提示词和音乐生成视频。
  • 下载链接

第二步：加载与配置

1. 导入工作流: 将下载的 .json 文件直接拖拽到 ComfyUI 的操作界面中。
2. 安装缺失节点: 如果弹出提示框，点击 "Install All" 安装工作流所需的其他辅助节点，然后重启 ComfyUI。
3. 设置输入素材:
   • 找到对应的输入节点（如 Load Image, Load Video, CLIP Text Encode 或 Load Audio）。
   • 上传您的音频文件（建议使用 MP3 或 WAV 格式）。
   • 上传您的视觉素材（图片或视频）或填写提示词。
4. 下载模型: 查看界面上的备注提示（Note 节点），下载所需的音频分离模型（如 HybridDemucs 或 OpenUnmix）及 AI 绘图大模型（Checkpoint/LoRA）。通常模型会自动下载到 ComfyUI/models/ 对应目录。

第三步：生成视频

1. 调整参数（可选）:
   • 在 Audio Analysis 节点中，可调整 analysis_mode（如仅鼓点、仅人声或全音频）来改变反应敏感度。
   • 在 Audio Peaks Detection 中调整 peaks_threshold 以控制触发转场的频率。
2. 执行队列: 点击 "Queue Prompt" 按钮。
3. 查看结果: 等待生成完成，您将在输出节点看到与音乐节奏完美同步的 AI 动画。

---

核心节点功能简述

• Audio Analysis 🔍: 分析音频并生成每帧的反应权重。
• Load Audio Separation Model 🎧: 加载音频分离模型，用于提取鼓点、人声等特定轨道。
• Audio Peaks Detection 📈: 检测音频峰值，用于触发画面切换或特效。
• Audio IP Adapter Transitions 🔄: 基于音频峰值控制图像之间的平滑过渡。
• Audio Prompt Schedule 📝: 将不同的文本提示词绑定到音乐的特定节拍点上。