EMO

情感肖像鲜活：弱条件下基于音频到视频扩散模型生成富有表现力的肖像视频

田林睿、王琪、张邦、薄立峰，

阿里巴巴集团智能计算实验室

于2024年欧洲计算机视觉大会（ECCV）

引用

@misc{tian2024emo,
      title={EMO: 情感肖像鲜活 - 在弱条件下利用音频到视频扩散模型生成富有表现力的肖像视频}, 
      author={田林睿、王琪、张邦、薄立峰},
      year={2024},
      eprint={2402.17485},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

EMO 快速上手指南

EMO (Emote Portrait Alive) 是由阿里巴巴智能计算研究院推出的音频驱动肖像视频生成模型。它能够在弱条件约束下，仅凭单张静态人像照片和一段音频，生成表情丰富、动作自然的说话视频。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• GPU: NVIDIA 显卡，显存建议 16GB 及以上（支持 Ampere 架构或更新版本效果更佳）
• CUDA: 11.8 或更高版本
• Python: 3.8 - 3.10
• 前置依赖: Git, FFmpeg, Conda (推荐)

注意：由于扩散模型对显存要求较高，请确保关闭其他占用显存的进程。

安装步骤

1. 克隆项目代码

git clone https://github.com/HumanAIGC/EMO.git
cd EMO

2. 创建并激活虚拟环境

推荐使用 Conda 管理依赖，以避免环境冲突。

conda create -n emo python=3.9
conda activate emo

3. 安装 PyTorch 及相关依赖

根据您的 CUDA 版本安装对应的 PyTorch。以下为 CUDA 11.8 的安装命令（国内用户可使用清华源加速）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 或使用清华镜像源
# pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装项目依赖

pip install -r requirements.txt

5. 下载预训练模型

您需要从官方 HuggingFace 仓库或 ModelScope（魔搭社区）下载预训练权重。国内开发者推荐优先使用 ModelScope 以获得更快的下载速度。

方式 A：使用 ModelScope (推荐)

pip install modelscope
python scripts/download_models_modelscope.py

方式 B：手动下载 若自动脚本失败，可访问 ModelScope EMO 页面 或 HuggingFace 手动下载 pretrained_weights 文件夹，并将其放置于项目根目录下。

基本使用

准备好一张人像图片（如 input_image.jpg）和一段音频文件（如 input_audio.wav），运行以下推理命令即可生成视频。

python infer.py \
    --config configs/inference.yaml \
    --image_path examples/input_image.jpg \
    --audio_path examples/input_audio.wav \
    --output_dir ./results

参数说明：

• --config: 推理配置文件路径。
• --image_path: 输入的人像图片路径（支持 jpg, png 格式）。
• --audio_path: 输入的音频文件路径（支持 wav, mp3 格式）。
• --output_dir: 生成视频的保存目录。

生成完成后，视频文件将保存在 ./results 目录中。