ComfyUI_EchoMimic

您可以在ComfyUI中使用EchoMimic、EchoMimic V2和EchoMimic V3。
Echomimic：通过可编辑的地标条件生成逼真的音频驱动肖像动画
Echomimic_v2：迈向引人注目、简化且半身的人体动画
Echomimic_v3：13亿参数足以实现统一的多模态和多任务人体动画

---

新更新

• 支持v3闪存模型，现在您可以在12G显存下以8步推理768x768尺寸的视频，768x512则需要6.5G（需配备新的Transformer和音频模型），同时需要开启“block_offload”功能；
• 支持v3闪存模型，并加以优化，12G显存下8步即可推理768x768视频，6.5G显存下则可推理768x512视频，需开启块卸载功能；

之前

• 您可以将lowram设置为False来关闭mmgp的FP8量化，从而获得更高质量的输出。
• 增加LCM支持，若将步数设置为4（并搭配lightX2V LoRA），则会自动启用LCM；
• v3版本新增lightX2V LoRA的支持，步数可设置为10步（使用LoRA时自动开启Unip）；
• 修复了bug，将retina-face模型改为本地运行；
• V3正式上线，测试环境为12G VRAM，若出现OOM错误，请减少视频分块（partial_video_length）的数值，12G显存下可设置为65，16G显存下可尝试97，更高显存则可尝试113；
• V3已完成，现在可以试用。所需显存为8G及以上（使用mmgp、LOW LOW设置，且partial_video_length设为65或33）。

1. 安装

在./ComfyUI/custom_nodes目录下，执行以下命令：

git clone https://github.com/smthemex/ComfyUI_EchoMimic.git

---

2. 需求

pip install -r requirements.txt

注意事项

---

若使用V1版本：

pip install --no-deps facenet-pytorch 

若使用V3版本： # v3闪存模型无需使用

pip install retina-face==0.0.17 #需外网下载模型，暂未处理
pip install mmgp # 可选
pip install tensorflow==2.15.0   #高版本可能会报错，尚待确认   

• 若ffmpeg报错：

pip uninstall ffmpeg   
pip install ffmpeg-python  

• 其他缺少的库按需安装。。。
• 若模块缺失，则pip install相应模块。

3. 所需模型

---

3.1 V3版本
3.1.1 从Wan2.1-Fun-V1.1-1.3B-InP下载Wan2.1_VAE.pth和diffusion_pytorch_model.safetensors，适用于V3及V3闪存模型。
3.1.2 使用ComfyUI中的clipvision-h和umt5_xxl_fp8_e4m3fn_scaled.safetensors，适用于V3及V3闪存模型。
3.1.3 wav2vec2-base-960h，仅适用于V3。
3.1.4 BadToBest/EchoMimicV3的Transformer，仅适用于V3。
3.1.5 retinaface.h5，通常会在目录中自动下载，仅适用于V3。
3.1.6 可选的LoRA kijai，仅适用于V3。
3.1.7 BadToBest/EchoMimicV3/echomimicv3-flash-pro，仅适用于V3闪存模型。
3.1.8 chinese-wav2vec2-base，仅适用于V3闪存模型。

├── ComfyUI/models/echo_mimic/transformer 
|         ├── diffusion_pytorch_model.safetensors  # Wan2.1-Fun-V1.1-1.3B-InP的Transformer #3.13G 务必注意模型同名。  V3和V3闪存模型均适用。
|         ├── config.json
├── ComfyUI/models/echo_mimic/wav2vec2-base-960h   # 仅适用于V3 
|         ├──所有配置文件
|         ├──模型文件
├── ComfyUI/models/clip
|         ├── umt5_xxl_fp8_e4m3fn_scaled.safetensors   # 适用于V3和V3闪存模型
├── ComfyUI/models/clip_vision  # 适用于V3和V3闪存模型 
|         ├──clipvison-h # 1.26G
├── ComfyUI/models/echo_mimic/
|         ├──diffusion_pytorch_model.safetensors  # BadToBest/EchoMimicV3   仅适用于V3 
├── ComfyUI/models/echo_mimic/echomimicv3-flash-pro/
|         ├──diffusion_pytorch_model.safetensors  # BadToBest/EchoMimicV3  仅适用于V3闪存模型 
├── ComfyUI/models/echo_mimic/chinese-wav2vec2-base/    #仅适用于V3闪存模型 
|         ├──chinese-wav2vec2-base-fairseq-ckpt.pt 
|         ├──模型文件
|         ├──所有配置文件
├── ComfyUI/models/vae
|         ├── Wan2.1_VAE.pth    # 适用于V3和V3闪存模型 
├── ComfyUI/models/echo_mimic/.deepface/weights/    #注意.deepface前面有个点，这个是方便不能翻墙玩家  # 仅适用于V3 
|         ├──retinaface.h5
├── ComfyUI/models/loras/    
|         ├──lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors  #KJ # 仅适用于V3 

3.2 V1 & V2共享模型：
如果能直接连接Hugging Face，点击即可自动下载所需模型，无需手动下载。

• UNet 链接
• V1 & V2音频模型 链接
• VAE（stabilityai/sd-vae-ft-mse） 链接

├── ComfyUI/models/ echo_mimic
|         ├── UNet
|             ├── diffusion_pytorch_model.bin
|             ├── config.json
|         ├──音频处理器
|             ├── whisper_tiny.pt
├── ComfyUI/models/VAE
|             ├── diffusion_pytorch_model.safetensors 或重命名为sd-vae-ft-mse.safetensors

3.3 V1模型：

• V1地址 链接
• 音频驱动算法推理

├── ComfyUI/models/echo_mimic
|         ├── denoising_unet.pth
|         ├── face_locator.pth
|         ├── motion_module.pth
|         ├── reference_unet.pth
音频驱动加速版  
|         ├── denoising_unet_acc.pth
|         ├── motion_module_acc.pth

• 姿态驱动算法推理

├── ComfyUI/models/echo_mimic
|         ├── denoising_unet_pose.pth
|         ├── face_locator_pose.pth
|         ├── motion_module_pose.pth
|         ├── reference_unet_pose.pth
姿态驱动加速版  
|         ├── denoising_unet_pose_acc.pth
|         ├── motion_module_pose_acc.pth

3.4 V2版本：
使用以下模型，支持自动下载，也可手动添加：
模型地址：Hugging Face

├── ComfyUI/models/echo_mimic/v2
|         ├── denoising_unet.pth
|         ├── motion_module.pth
|         ├── pose_encoder.pth
|         ├── reference_unet.pth
若使用加速版  
|         ├── denoising_unet_acc.pth
|         ├── motion_module_acc.pth

YOLOm8 下载链接
Sapiens姿势模型 下载链接
Sapiens的姿势模型可量化为fp16格式，详细请参阅我的Sapiens插件 地址

├── ComfyUI/models/echo_mimic
|         ├── yolov8m.pt
|         ├── sapiens_1b_goliath_best_goliath_AP_639_torchscript.pt2 或者 sapiens_1b_goliath_best_goliath_AP_639_torchscript_fp16.pt2

4 示例

---

• V3 闪存版本

• V3 版本

• V2 版本

• V2 加载自定义视频驱动视频，V2 loads custom video driver videos

• Echomimic_v2 使用默认姿态 新版本 使用官方默认的pose文件

• V1 版本

• 音频驱动 音频驱动

• 示例的 VH 节点：ComfyUI-VideoHelperSuite

---

5 功能说明

---

• v1 版本的生成模式
  a. 单纯音频驱动视频生成模式，infer_mode可选常规的“audio_drived” 和加速版"audio_drived_acc" 模型；
  b. pose驱动生成模式，常规选项为pose_normal_sapiens/pose_normal_dwpose（等同） 加速版本为"pose_acc"模型；
  ----motion_sync：pose驱动时，如果打开且video_file有视频文件时，生成pkl文件，并生成参考视频的视频；pkl文件在input\tensorrt_lite 目录下，再次使用需要重启comfyUI。
  ----motion_sync：如果关闭且pose_dir不为none的时候，读取选定的pose_dir目录名的pkl文件，生成pose视频；如果pose_dir为空的时候，生成基于默认assets\test_pose_demo_pose的视频

• v2 版本的生成模式
  a. infer_mode选择audio_drive,pose_dir 选择列表里的几个默认pose，则使用默认的npy pose文件;
  b. infer_mode选择audio_drive,pose_dir 选择已有的npy文件夹（位于...ComfyUI/input/tensorrt_lite目录下);
  c. infer_mode选择pose_normal_dwpose 或pose_normal_sapiens,video_images连接视频入口，确认...ComfyUI/models/echo_mimic 下有yolov8m.pt 和sapiens_1b_goliath_best_goliath_AP_639_torchscript.pt2 模型,根据输入视频生成npy文件（可以下次用）和视频

• v3 版本生成模式
  a. 基于retina-face库生成
  b. 如果retina-face调用失败，则以默认的女性face作为mask

特别的选项：

• save_video：如果不想使用VH节点时，可以开启，默认关闭；
• draw_mouse：你可以试试；
• length：帧数，时长等于length/fps；
• acc模型 ，6步就可以，但是质量略有下降；
• lowvram :低显存用户可以开启 lowvram users can enable it
• 内置内置图片等比例裁切。
• facecrop_ratio的放大系数为1/facecrop_ratio，如果设置为0.5，面部会得到2倍的放大，建议只在参考图片或者驱动视频中的人脸占比很小的时候，才将facecrop_ratio调整为较小的值.为1 或者0 时不裁切
• cfg数值设置为1，仅在turbo模式有效，其他会报错。V2推荐2.5 V3推荐3.5
• use_mmgp 仅V3版本有效
• partial_video_length 仅V3版本有效，数值越低显存占用越低；
• teacache 仅V3版本有效；

---

6 引用

EchoMimici

@misc{chen2024echomimic,
  title={EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable Landmark Conditioning},
  author={Zhiyuan Chen, Jiajiong Cao, Zhiquan Chen, Yuming Li, Chenguang Ma},
  year={2024},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

EchoMimici-V2

@misc{meng2024echomimic,
  title={EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation},
  author={Rang Meng, Xingyu Zhang, Yuming Li, Chenguang Ma},
  year={2024},
  eprint={2411.10061},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

EchoMimici-V3

@misc{meng2025echomimicv3,
  title={EchoMimicV3: 1.3B Parameters are All You Need for Unified Multi-Modal and Multi-Task Human Animation},
  author={Rang Meng, Yan Wang, Weipeng Wu, Ruobing Zheng, Yuming Li, Chenguang Ma},
  year={2025},
  eprint={2507.03905},
  archivePrefix={arXiv}
}

LightX2V

@misc{lightx2v,
 author = {LightX2V Contributors},
 title = {LightX2V: Light Video Generation Inference Framework},
 year = {2025},
 publisher = {GitHub},
 journal = {GitHub repository},
 howpublished = {\url{https://github.com/ModelTC/lightx2v}},
}

sapiens

@article{khirodkar2024sapiens,
  title={Sapiens: Foundation for Human Vision Models},
  author={Khirodkar, Rawal and Bagautdinov, Timur and Martinez, Julieta and Zhaoen, Su and James, Austin and Selednik, Peter and Anderson, Stuart and Saito, Shunsuke},
  journal={arXiv preprint arXiv:2408.12569},
  year={2024}
}

ComfyUI_EchoMimic 快速上手指南

ComfyUI_EchoMimic 是一个强大的 ComfyUI 自定义节点，支持 EchoMimic V1/V2/V3 系列模型，可实现音频驱动或姿态驱动的人像/半身动画生成。V3 版本基于 Wan2.1 架构，支持多模态统一任务，并在显存优化上表现出色。

1. 环境准备

系统要求

• 操作系统: Windows / Linux
• Python: 建议 3.10+ (与 ComfyUI 环境一致)
• 显卡显存 (VRAM):
  • V3 Flash 模式: 最低 6.5GB (768x512), 推荐 12GB (768x768)
  • V3 标准模式: 推荐 8GB 以上 (需开启 lowvram 或调整分块长度)
  • V1/V2: 推荐 8GB 以上
• 依赖库: FFmpeg (用于视频处理)

前置依赖安装

在 ComfyUI 环境中执行以下命令安装基础依赖。若遇到 ffmpeg 报错，请优先重装 ffmpeg-python：

pip install -r requirements.txt
pip uninstall ffmpeg
pip install ffmpeg-python

版本特定依赖：

• 若使用 V1 版本:

  pip install --no-deps facenet-pytorch
  

• 若使用 V3 版本 (Flash 模型无需安装 retina-face):

  pip install retina-face==0.0.17
  pip install mmgp  # 可选，用于显存优化
  pip install tensorflow==2.15.0
  

2. 安装步骤

进入 ComfyUI 的 custom_nodes 目录，克隆仓库：

cd ./ComfyUI/custom_nodes
git clone https://github.com/smthemex/ComfyUI_EchoMimic.git

重启 ComfyUI 以加载节点。

3. 模型下载与配置

根据你要使用的版本，将模型下载到指定目录。国内用户若无法直连 HuggingFace，建议使用镜像站或手动下载后放入对应文件夹。

3.1 V3 版本模型 (推荐)

V3 需要较多模型组件，请严格按照以下结构存放：

模型组件	来源参考	存放路径 (ComfyUI/models/...)	备注
Transformer	Wan2.1-Fun-V1.1-1.3B-InP	echo_mimic/transformer/diffusion_pytorch_model.safetensors	V3 & Flash 共用
VAE	Wan2.1-Fun-V1.1-1.3B-InP	vae/Wan2.1_VAE.pth	V3 & Flash 共用
Clip Vision	Comfy-Org/Wan_2.1	clip_vision/clipvison-h	V3 & Flash 共用
Text Encoder	Comfy-Org/Wan_2.1	clip/umt5_xxl_fp8_e4m3fn_scaled.safetensors	V3 & Flash 共用
Audio Model	facebook/wav2vec2-base-960h	echo_mimic/wav2vec2-base-960h/	仅 V3 标准版
Transformer (V3)	BadToBest/EchoMimicV3	echo_mimic/diffusion_pytorch_model.safetensors	仅 V3 标准版
Transformer (Flash)	BadToBest/EchoMimicV3	echo_mimic/echomimicv3-flash-pro/diffusion_pytorch_model.safetensors	仅 V3 Flash 版
Audio (Flash)	TencentGameMate/chinese-wav2vec2	echo_mimic/chinese-wav2vec2-base/	仅 V3 Flash 版
Face Detect	deepface_models	echo_mimic/.deepface/weights/retinaface.h5	仅 V3 (通常自动下载)
LoRA (可选)	Kijai/Lightx2v	loras/lightx2v_*.safetensors	加速推理用

注意: V3 Flash 模式推理速度快且显存占用低，推荐优先尝试。使用时需在工作流中开启 block_offload 选项。

3.2 V1 & V2 共用模型

• UNet: lambdalabs/sd-image-variations-diffusers -> echo_mimic/unet/
• Audio Processor: BadToBest/EchoMimic (whisper_tiny.pt) -> echo_mimic/audio_processor/
• VAE: stabilityai/sd-vae-ft-mse -> vae/

3.3 V2 特有模型

• 主模型: BadToBest/EchoMimicV2 -> echo_mimic/v2/
• Pose 检测:
  • YOLOv8: Ultralytics/YOLOv8 -> echo_mimic/yolov8m.pt
  • Sapiens: facebook/sapiens-pose-1b-torchscript -> echo_mimic/sapiens_*.pt2

4. 基本使用

启动 ComfyUI，加载对应的示例工作流（位于插件目录的 example_workflows 中），或新建工作流添加 EchoMimic 相关节点。

核心参数说明

• infer_mode:
  • audio_drived: 音频驱动（需提供音频文件）。
  • pose_normal_dwpose / pose_normal_sapiens: 姿态驱动（需提供参考视频或图片）。
  • pose_acc: 加速版姿态驱动。
• step (步数):
  • 标准模式：建议 20-30 步。
  • LCM/LightX2V 模式：设为 4 或 10 步（需配合对应 LoRA）。
  • V3 Flash：8 步即可。
• length: 生成视频的帧数（时长 = length / fps）。
• lowvram: 显存不足时开启（V3 必备选项之一）。
• partial_video_length: (仅 V3) 显存紧张时减小此数值（如 12G 显存设为 65，16G 可试 97）。
• facecrop_ratio: 面部裁剪放大系数。设为 0.5 表示面部放大 2 倍；设为 1 或 0 不裁剪。

简易操作流程 (以 V3 Audio Driven 为例)

1. 加载节点: 添加 EchoMimicV3Loader 和 EchoMimicV3Sampler 节点。
2. 输入素材:
   • 连接参考图片 (Reference Image)。
   • 连接音频文件 (Audio File)。
3. 参数设置:
   • 选择 flash 模型类型（若显存有限）。
   • 设置 steps = 8。
   • 开启 block_offload 和 lowvram (视显存情况)。
   • 设置 cfg = 3.5。
4. 运行: 点击 Queue Prompt 生成视频。

简易操作流程 (以 V2 Pose Driven 为例)

1. 加载节点: 添加 V2 相关加载器与采样器。
2. 输入素材:
   • 连接参考图片。
   • 连接驱动视频 (Driver Video) 或直接使用内置默认 Pose。
3. 参数设置:
   • infer_mode 选择 pose_normal_sapiens。
   • 确保已下载 YOLOv8 和 Sapiens 模型。
4. 运行: 生成基于驱动视频动作的新视频。

提示: 首次运行可能会自动下载部分缺失的小模型，请保持网络连接。若使用 save_video 选项，可直接保存输出，否则需连接 VideoHelperSuite (VHS) 节点进行保存。