用于 LivePortrait 的 ComfyUI 节点

更新 2

新增了另一种人脸检测器：https://github.com/1adrianb/face-alignment

由于该检测器可以使用 blazeface 后置摄像头模型（或 SFD），因此在处理较小人脸时比仅支持 blazeface 短模型的 MediaPipe 更加出色。首次运行时可能需要较长时间进行预热，但后续运行会非常迅速。

使用 blazeface_back_camera 的检测示例：

https://github.com/user-attachments/assets/40b1fdb4-0b1f-4ea8-8322-aa9151055db0

更新

开发中的几乎所有内容都已重做并合并到主分支，这意味着旧的工作流将不再适用。不过，整体速度有所提升，并且新增了许多功能。为兼容旧版本，原主分支已被移至 legacy 分支。

变更内容：

• 新增 MediaPipe 作为 Insightface 的替代方案，使用它时所有组件均受 MIT 和 Apache-2.0 许可证保护。
• 实现了完善的 Vid2vid 功能，包括平滑算法（感谢 @melMass）。
• 提升了速度与效率，即使在 Comfy 中也能实现近实时观看（延迟约 80–100 毫秒）。
• 重构节点以提供更多选项。
• 自动跳过未检测到人脸的帧。
• 还有许多其他改进，目前一时想不起来了，确实改动不少。
• 改进了对 Mac 上 MPS 的支持（感谢 @Grant-CP）。

本次更新的补充：

• 将地标检测的 ONNX 模型转换为 PyTorch 模型，这是我之前从未尝试过的事情。最终只成功生成了 .pth 文件，所以大家只能相信我的转换结果了。
• 这一转换使得无需安装 ONNX Runtime 即可运行相关功能，且可在 GPU 上高效执行，速度几乎相同。现在可以在 MediaPipe 裁剪节点中选择此选项： 一旦选中，模型将自动从以下链接下载：https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

示例：

实时摄像头输入：

https://github.com/user-attachments/assets/31f77c10-b757-44ae-bb26-39e45ec0b2d9

图像转视频：

https://github.com/user-attachments/assets/cfec0419-d1eb-4e67-8913-890eeb155eef

视频转视频：

https://github.com/user-attachments/assets/28438fcb-fbb0-4e4e-baf4-00fe06c455de

我已经将所有 pickle 文件转换为 safetensors 格式：https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

这些文件存放于 ComfyUI/models/liveportrait 目录下，若该目录不存在，则会自动下载。

人脸检测器

您可以选择默认的 Insightface，也可以使用 Google 的 MediaPipe。

两者最大的区别在于许可证：Insightface 严格限制用于非商业用途。 MediaPipe 的检测效果稍逊，且在 Windows 系统上无法在 GPU 上运行，不过其 CPU 性能远超 Insightface。

Insightface 不会自动安装。如需使用，请按照以下步骤操作： 如果您拥有可用的编译环境，安装起来非常简单：

pip install insightface

或者对于 ComfyUI_windows_portable 文件夹中的便携版：

python_embeded/python.exe -m pip install insightface

如果上述方法失败（很可能如此），请参考 Reactor 节点的故障排除部分获取替代方案：

https://github.com/Gourieff/comfyui-reactor-node

关于 Insightface 模型，请将其解压至 ComfyUI/models/insightface/buffalo_l 目录：

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

请注意，Insightface 的许可证属于非商业性质。

ComfyUI-LivePortraitKJ 快速上手指南

ComfyUI-LivePortraitKJ 是一个用于在 ComfyUI 中集成 LivePortrait 功能的节点包，支持实时面部驱动、图片转视频（Image2Vid）及视频转视频（Vid2Vid）。本指南将帮助你快速部署并使用该工具。

环境准备

系统要求

• 操作系统: Windows, Linux, macOS (MPS 加速已优化)
• 硬件: 推荐 NVIDIA GPU (CUDA) 或 Apple Silicon (MPS)。CPU 亦可运行但速度较慢。
• 软件: Python 3.10+ 及 ComfyUI 最新正式版。

前置依赖与许可证说明

本工具提供两种面部检测方案，请根据需求选择：

1. MediaPipe (推荐)

   • 许可证: Apache-2.0 / MIT (允许商用)。
   • 特点: CPU 运行速度快，Windows 下不支持 GPU 加速，小人脸检测能力弱于 Insightface（除非使用新增的 blazeface_back_camera 模型）。
   • 状态: 默认集成，无需额外安装复杂依赖。

2. Insightface (可选)

   • 许可证: 仅限非商业用途 (Non-Commercial)。
   • 特点: 检测精度高，支持 GPU 加速。
   • 注意: 如需商用请务必使用 MediaPipe 方案。

安装步骤

1. 安装节点插件

在 ComfyUI 的 custom_nodes 目录下克隆仓库：

cd ComfyUI/custom_nodes
git clone https://github.com/Kijai/ComfyUI-LivePortraitKJ.git

2. 安装 Python 依赖

进入插件目录并安装核心依赖。如果你计划使用 Insightface，也需在此步骤安装。

通用安装命令：

cd ComfyUI-LivePortraitKJ
pip install -r requirements.txt

若需使用 Insightface (非商用)： 如果上述命令未自动安装 insightface，请手动执行：

pip install insightface

注：Windows 便携版用户请在 ComfyUI 根目录执行：python_embeded/python.exe -m pip install insightface

3. 下载模型文件

插件会自动从 HuggingFace 下载所需模型至 ComfyUI/models/liveportrait。若自动下载失败，可手动下载以下资源：

• LivePortrait 主模型 (Safetensors 格式): 下载地址：https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main 存放路径：ComfyUI/models/liveportrait/

• Insightface 模型 (仅当使用 Insightface 时): 下载 buffalo_l.zip: https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip 解压至：ComfyUI/models/insightface/buffalo_l/

国内加速提示: 若访问 HuggingFace 或 GitHub 缓慢，建议使用国内镜像源或代理工具加速模型下载。

基本使用

1. 启动 ComfyUI

重启 ComfyUI 以加载新节点。首次运行可能因编译或模型初始化稍慢，后续运行将显著提升速度（延迟可低至 80-100ms）。

2. 构建工作流

在 ComfyUI 界面中，双击搜索并添加以下核心节点：

• Load LivePortrait Model: 加载主模型。
• Face Detector (MediaPipe 或 Insightface):
  • 推荐使用 MediaPipe 节点以避免许可问题。
  • 若检测小人脸效果不佳，可在 MediaPipe 节点选项中启用 blazeface_back_camera 模型（首次运行需预热）。
  • 新版已将 landmark runner 转换为 Torch 模型 (.pth)，无需 ONNX Runtime 即可 GPU 加速。
• LivePortrait Animate: 连接源图像（驱动图）和目标图像/视频。

3. 运行示例

• 实时摄像头驱动: 连接 Webcam 输入节点到 LivePortrait 流程，可实现近乎实时的面部表情迁移。
• 图片转视频 (Image2Vid): 上传一张静态人像作为目标，一段面部视频作为驱动，生成说话/表情的视频。
• 视频转视频 (Vid2Vid): 支持包含平滑算法的视频风格迁移，自动跳过无脸帧。

注意: 由于近期进行了重大重构，旧版工作流可能无法直接使用，请基于最新节点重新构建流程。所有 pickle 模型已转换为 safetensors 格式以确保安全与兼容。