EchoMimicV2：迈向引人注目、简化且半身的人体动画

¹核心贡献者  ²通讯作者

🚀 EchoMimic系列

• EchoMimicV1：通过可编辑的地标条件生成逼真的音频驱动肖像动画。GitHub
• EchoMimicV2：迈向引人注目、简化且半身的人体动画。GitHub
• EchoMimicV3：13亿参数足以实现统一的多模态和多任务人体动画。GitHub

📣 更新

• [2025.08.09] 🔥🔥 我们更新了EchoMimicV3并发布了代码。
• [2025.02.27] 🔥 EchoMimicV2已被CVPR 2025接收。
• [2025.01.16] 🔥 请查看讨论，了解如何开始使用EchoMimicV2。
• [2025.01.16] 🚀🔥 用于加速EchoMimicV2的GradioUI现已可用。
• [2025.01.03] 🚀🔥 只需一分钟即可生成视频。加速的EchoMimicV2已发布。在A100 GPU上，推理速度可提升9倍（从约7分钟/120帧缩短至约50秒/120帧）。
• [2024.12.16] 🔥 RefImg-Pose对齐演示现已可用，其中包括对参考图像进行对齐、从驱动视频中提取姿态以及生成视频。
• [2024.11.27] 🔥 安装教程现已可用。感谢AiMotionStudio的贡献。
• [2024.11.22] 🔥 GradioUI现已可用。感谢@gluttony-10的贡献。
• [2024.11.22] 🔥 ComfyUI现已可用。感谢@smthemex的贡献。
• [2024.11.21] 🔥 我们发布了EMTD数据集列表及处理脚本。
• [2024.11.21] 🔥 我们发布了我们的EchoMimicV2代码和模型。
• [2024.11.15] 🔥 我们的论文已在arXiv上公开。

🌅 画廊

简介

英语驱动音频

中文驱动音频

⚒️ 自动安装

下载代码

  git clone https://github.com/antgroup/echomimic_v2
  cd echomimic_v2

自动设置

• CUDA >= 11.7，Python == 3.10

   sh linux_setup.sh

⚒️ 手动安装

下载代码

  git clone https://github.com/antgroup/echomimic_v2
  cd echomimic_v2

Python 环境设置

• 测试系统环境：Centos 7.2/Ubuntu 22.04，Cuda >= 11.7
• 测试 GPU：A100(80G) / RTX4090D (24G) / V100(16G)
• 测试 Python 版本：3.8 / 3.10 / 3.11

创建 conda 环境（推荐）：

  conda create -n echomimic python=3.10
  conda activate echomimic

使用 pip 安装包：

  pip install pip -U
  pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
  pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
  pip install -r requirements.txt
  pip install --no-deps facenet_pytorch==2.6.0

下载 ffmpeg-static

下载并解压 ffmpeg-static，然后

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

下载预训练权重

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

pretrained_weights 的目录结构如下：

./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── pose_encoder.pth
├── sd-vae-ft-mse
│   └── ...
└── audio_processor
    └── tiny.pt

其中，denoising_unet.pth / reference_unet.pth / motion_module.pth / pose_encoder.pth 是 EchoMimic 的主要检查点。该仓库中的其他模型也可以从其原始仓库下载，感谢他们的杰出工作：

• sd-vae-ft-mse
• audio_processor(whisper)

演示推理

运行 Gradio：

python app.py

运行 Python 推理脚本：

python infer.py --config='./configs/prompts/infer.yaml'

运行加速版本的 Python 推理脚本。请务必查看加速推理的配置：

python infer_acc.py --config='./configs/prompts/infer_acc.yaml'

EMTD 数据集

下载数据集：

python ./EMTD_dataset/download.py

切分数据集：

bash ./EMTD_dataset/slice.sh

处理数据集：

python ./EMTD_dataset/preprocess.py

请务必查看 讨论区，了解如何开始推理。

📝 发布计划

状态	阶段	预计完成时间
✅	EchoMimicV2 的推理源代码在 GitHub 上公开发布	2024年11月21日
✅	在 HuggingFace 上发布英语和中文普通话的预训练模型	2024年11月21日
✅	在 ModelScope 上发布英语和中文普通话的预训练模型	2024年11月21日
✅	EMTD 数据集列表及处理脚本	2024年11月21日
✅	带有姿态和参考图像对齐的 Jupyter 演示	2024年12月16日
✅	加速模型	2025年1月3日
🚀	在 ModelScope 上发布在线演示	待定
🚀	在 HuggingFace 上发布在线演示	待定

⚖️ 免责声明

本项目仅用于学术研究，我们明确声明不对用户生成的内容承担任何责任。用户在使用生成模型时应对其行为自行负责。项目贡献者与用户的任何行为均无法律关联或责任。务必以负责任的态度使用生成模型，遵守道德和法律规范。

🙏🏻 致谢

我们衷心感谢 MimicMotion 和 Moore-AnimateAnyone 项目的贡献者们，感谢他们开放的研究与探索精神。

同时，我们也感谢 CyberHost 和 Vlogger 在音频驱动人体动画领域的杰出工作。

如果我们遗漏了任何开源项目或相关文章，我们将立即补充致谢。

📒 引用

如果您觉得我们的工作对您的研究有帮助，请考虑引用以下论文：

@article{meng2024echomimicv2,
  title={EchoMimicV2：迈向震撼、简化且半身的人体动画},
  author={孟rang、张兴宇、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2411.10061},
  year={2024}
}
@article{meng2025echomimicv3,
  title={Echomimicv3：13亿参数足以实现统一的多模态多任务人体动画},
  author={孟rang、王燕、吴伟鹏、郑若冰、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2507.03905},
  year={2025}
}
@article{meng2026echotorrent,
  title={EchoTorrent：迈向快速、持续且流式的多模态视频生成},
  author={孟rang、吴伟鹏、尹英杰、李宇明、马晨光},
  journal={arXiv预印本 arXiv:2602.13669},
  year={2026}
}

🌟 点赞历史

EchoMimicV2 快速上手指南

EchoMimicV2 是一款由蚂蚁集团开源的半身人物动画生成工具，支持通过参考图片和驱动音频（或视频姿态）生成逼真的人物说话视频。本指南将帮助你快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 22.04 或 CentOS 7.2)
• GPU: NVIDIA 显卡，显存建议 16GB 以上 (测试通过型号：A100 80G, RTX4090D 24G, V100 16G)
• CUDA 版本: >= 11.7 (推荐 12.4 以匹配预编译包)
• Python 版本: 3.8 / 3.10 / 3.11 (推荐 3.10)
• 其他依赖: git, git-lfs, ffmpeg

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/antgroup/echomimic_v2
cd echomimic_v2

2.2 创建虚拟环境

推荐使用 Conda 管理环境：

conda create -n echomimic python=3.10
conda activate echomimic

2.3 安装依赖包

请严格按照以下顺序安装 PyTorch 及相关组件（基于 CUDA 12.4）：

pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0

注意：如果下载速度慢，可将 --index-url 替换为国内镜像源（如清华源），但需确保 PyTorch 版本与 CUDA 版本严格匹配。若遇到兼容性问题，建议优先使用官方源。

2.4 配置 FFmpeg

下载静态编译版的 FFmpeg 并配置环境变量：

1. 下载并解压 ffmpeg-4.4-amd64-static.tar.xz。
2. 设置环境变量（请将路径替换为你的实际解压路径）：

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

2.5 下载预训练模型

使用 git-lfs 从 HuggingFace 下载模型权重：

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

下载完成后，pretrained_weights 目录应包含以下核心文件：

• denoising_unet.pth
• reference_unet.pth
• motion_module.pth
• pose_encoder.pth
• sd-vae-ft-mse (文件夹)
• audio_processor/tiny.pt

国内加速提示：如果 HuggingFace 连接困难，可使用 ModelScope 镜像下载：

git clone https://modelscope.cn/models/BadToBest/EchoMimicV2 pretrained_weights

3. 基本使用

安装完成后，你可以通过两种方式运行模型：Web 界面或命令行脚本。

方式一：启动 Web 界面 (推荐)

启动 Gradio 界面，便于上传图片和音频进行可视化操作：

python app.py

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:7860），按照界面提示上传参考图和驱动音频即可生成视频。

方式二：命令行推理

标准推理

使用默认配置文件进行推理：

python infer.py --config='./configs/prompts/infer.yaml'

加速推理 (推荐)

新版提供了加速脚本，推理速度提升约 9 倍（在 A100 上从 7 分钟缩短至 50 秒/120 帧）：

python infer_acc.py --config='./configs/prompts/infer_acc.yaml'

提示：在使用命令行前，请编辑对应的 .yaml 配置文件，修改 ref_image_path (参考图路径) 和 driving_audio_path (驱动音频路径) 为你本地的实际文件路径。