简体中文 | English

EchoMimicV3: 13亿参数足以实现统一的多模态和多任务人体动画

¹核心贡献者  ²通讯作者

🌟 EchoMimic系列

• EchoMimicV1：通过可编辑的关键点条件控制，实现逼真的音频驱动肖像动画。GitHub
• EchoMimicV2：迈向震撼、简化且半身的人体动画。GitHub
• EchoMimicV3：13亿参数足以实现统一的多模态和多任务人体动画。GitHub

📢 更新

• [2026.01.22] 🔥 我们在Huggingface上更新了EchoMimicV3-Flash版本。
  • 🚀 8步高质量生成。
  • 🧩 无需面部遮罩。
  • 💾 需要12G显存。
  • ✅ 最高支持768×768分辨率。
• [2025.11.09] 🔥 EchoMimicV3已被AAAI 2026接收。
• [2025.08.21] 🔥 EchoMimicV3的Gradio演示已在ModelScope上线。
• [2025.08.12] 🔥🚀 仅需12G显存即可生成视频。请使用此GradioUI。请查看来自@gluttony-10的教程。感谢您的贡献。
• [2025.08.12] 🔥 EchoMimicV3可在16G显存下使用ComfyUI运行。感谢@smthemex的贡献。
• [2025.08.09] 🔥 我们在ModelScope上发布了我们的模型。
• [2025.08.08] 🔥 我们在GitHub上发布了代码echomimic_v3，并在Huggingface上发布了模型[BadToBest/EchoMimicV3]。
• [2025.07.08] 🔥 我们的论文已在arXiv上公开。

🎨 画廊

中文驱动音频

更多演示视频，请参阅项目页面

快速入门

环境搭建

• 测试系统环境：CentOS 7.2/Ubuntu 22.04，CUDA ≥ 12.1
• 测试GPU：A100(80G) / RTX4090D (24G) / V100(16G)
• 测试Python版本：3.10 / 3.11

🛠️Windows安装

请使用一键安装包（提取码：glut）快速开始量化版本。

🛠️Linux安装

1. 创建conda环境

conda create -n echomimic_v3 python=3.10
conda activate echomimic_v3

2. 其他依赖

pip install -r requirements.txt

🧱模型准备

模型	下载链接	备注
Wan2.1-Fun-V1.1-1.3B-InP	🤗 Huggingface	基础模型
wav2vec2-base	🤗 Huggingface	预览用音频编码器
chinese-wav2vec2-base	🤗 Huggingface	闪电版音频编码器
EchoMimicV3-preview	🤗 Huggingface	预览权重
EchoMimicV3-preview	🤗 ModelScope	预览权重
EchoMimicV3-Flash	🤗 Huggingface	闪电版权重

-- EchoMimicV3-flash-pro的权重组织如下。

./flash/
├── Wan2.1-Fun-V1.1-1.3B-InP
├── chinese-wav2vec2-base
└── transformer
    └── diffusion_pytorch_model.safetensors

-- EchoMimicV3-preview的权重组织如下。

./preview/
├── Wan2.1-Fun-V1.1-1.3B-InP
├── wav2vec2-base-960h
└── transformer
    └── diffusion_pytorch_model.safetensors

🔑 EchoMimicV3-flash-pro快速推理

bash run_flash.sh

🔑 EchoMimicV3-preview快速推理

python infer_preview.py

对于量化后的EchoMimicV3-preview GradioUI版本：

python app_mm.py

图片、音频、掩码和提示词均在datasets/echomimicv3_demos中提供

小贴士

• 音频CFG：音频CFG audio_guidance_scale 在1.8~2之间效果最佳。提高音频CFG值可以改善唇形同步，而降低音频CFG值则能提升视觉质量。
• 文本CFG：文本CFG guidance_scale 在3~6之间效果最佳。提高文本CFG值有助于更好地遵循提示词，而降低文本CFG值则能提升视觉质量。
• 茶缓存：teacache_threshold 的最佳范围是0~0.1。
• 采样步数：说话头部使用5步，说话全身使用15~25步。
• ​长视频生成：若要生成超过138帧的视频，可使用长视频CFG。
• 可尝试将partial_video_length设置为81、65或更小，以减少显存占用。

📒 引用

若您认为我们的工作对您的研究有帮助，请考虑引用以下论文：

@article{meng2024echomimicv2,
  title={EchoMimicV2: 向着引人注目、简化且半身的人体动画迈进},
  author={孟朗、张星宇、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2411.10061},
  year={2024}
}
@article{meng2025echomimicv3,
  title={Echomimicv3: 1.3B参数足以实现统一的多模态与多任务人体动画},
  author={孟朗、王燕、吴伟鹏、郑若冰、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2507.03905},
  year={2025}
}
@article{meng2026echotorrent,
  title={EchoTorrent: 向着快速、持续且流式的多模态视频生成迈进},
  author={孟朗、吴伟鹏、尹英杰、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2602.13669},
  year={2026}
}

参考文献

• Wan2.1: https://github.com/Wan-Video/Wan2.1/
• VideoX-Fun: https://github.com/aigc-apps/VideoX-Fun/

📜 许可证

本仓库中的模型采用Apache 2.0许可证授权。我们不主张对您生成的内容拥有任何权利，赋予您自由使用这些内容的权利，同时确保您的使用符合本许可证的规定。您需对模型的使用承担全部责任，不得分享任何违反适用法律、伤害个人或群体、传播旨在造成伤害的个人信息、散布虚假信息或针对弱势群体的内容。

🌟 星标历史

EchoMimicV3 快速上手指南

EchoMimicV3 是一个仅需 1.3B 参数即可实现统一多模态、多任务人物动画生成的开源模型。本指南将帮助开发者快速在本地部署并运行该模型。

1. 环境准备

系统要求

• 操作系统: CentOS 7.2 / Ubuntu 22.04 (Windows 用户建议使用一键安装包)
• CUDA 版本: >= 12.1
• Python 版本: 3.10 或 3.11
• 显存要求:
  • 基础运行：16G VRAM (如 V100, RTX4090D)
  • Flash 优化版/量化版：最低 12G VRAM
• 推荐显卡: A100 (80G), RTX4090D (24G), V100 (16G)

前置依赖

确保已安装 conda 和 git。

2. 安装步骤

Linux 环境安装

第一步：创建 Conda 环境

conda create -n echomimic_v3 python=3.10
conda activate echomimic_v3

第二步：安装项目依赖

pip install -r requirements.txt

提示: 国内用户若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源。

第三步：准备模型权重

请从 ModelScope (魔搭) 或 HuggingFace 下载所需模型。推荐国内用户使用 ModelScope 加速下载。

所需模型列表：

模型名称	用途	下载链接 (ModelScope)
Wan2.1-Fun-V1.1-1.3B-InP	基座模型	点击下载
chinese-wav2vec2-base	音频编码器 (Flash 版专用)	点击下载
wav2vec2-base-960h	音频编码器 (Preview 版专用)	HuggingFace
EchoMimicV3-preview	Preview 版本权重	点击下载
EchoMimicV3-Flash	Flash 优化版权重	点击下载

目录结构整理： 下载完成后，请按以下结构组织文件（以 Flash 版为例）：

./flash/
├── Wan2.1-Fun-V1.1-1.3B-InP
├── chinese-wav2vec2-base
└── transformer
    └── diffusion_pytorch_model.safetensors

(Preview 版同理，将音频模型替换为 wav2vec2-base-960h)

Windows 环境安装 (推荐)

Windows 用户可直接使用一键安装包快速体验量化版本：

• 下载地址: 百度网盘链接 (提取码: glut)

3. 基本使用

确保已将测试用的图片、音频、掩码和提示词放置在 datasets/echomimicv3_demos 目录下。

方案 A：运行 Flash 优化版 (推荐，速度快，显存要求低)

执行以下脚本进行快速推理：

bash run_flash.sh

方案 B：运行 Preview 预览版

使用 Python 脚本进行推理：

python infer_preview.py

方案 C：启动 Gradio Web UI (交互式界面)

如果你希望使用图形界面进行操作（支持量化运行，降低显存占用）：

python app_mm.py

启动后在浏览器访问显示的本地地址即可上传素材生成视频。

4. 关键参数调优建议

在运行脚本或 UI 时，可根据需求调整以下参数以获得最佳效果：

• 音频引导系数 (audio_guidance_scale): 推荐范围 1.8 ~ 2.0。
  • 调高：口型同步更准确。
  • 调低：画面视觉质量更好。
• 文本引导系数 (guidance_scale): 推荐范围 3 ~ 6。
  • 调高：更严格遵循提示词。
  • 调低：画面更自然。
• 采样步数 (steps):
  • 说话头像：5 步即可。
  • 半身/全身动作：推荐 15 ~ 25 步。
• 显存优化: 如遇显存不足，可将 partial_video_length 设置为 81、65 或更小。