X-Portrait: 基于层次化运动注意力的表现力肖像动画

You Xie, Hongyi Xu, Guoxian Song, Chao Wang, Yichun Shi, Linjie Luo
  字节跳动

本仓库包含 SIGGRAPH 2024 论文 X-Portrait 的视频生成代码。

安装

注意：需要 Python 3.9 和 Cuda 11.8 环境。

bash env_install.sh

模型

请从此处下载预训练模型，并保存至 "checkpoint/" 目录下。

测试

bash scripts/test_xportrait.sh

参数：
model_config：对应模型的配置文件
output_dir：生成视频的输出路径
source_image：源图像路径
driving_video：驱动视频路径
best_frame：指定驱动视频中头部姿态与源图像最匹配的帧索引（注意：best_frame 索引的精度可能会影响最终质量）
out_frames：生成帧数
num_mix：推理过程中应用 prompt travelling（提示词巡游）时的重叠帧数
ddim_steps：推理步数（例如：ddim 为 30 步）

性能提升

效率：我们的模型兼容 LCM LoRA (https://huggingface.co/latent-consistency/lcm-lora-sdv1-5)，这有助于减少推理步数。
表现力：如果通过参数 "--initial_facevid2vid_results" 提供其他人脸重现（face reenactment）方法（例如 face vid2vid）的结果，可以提升生成结果的表现力。

🎓 引用

如果您发现此代码库对您的研究有用，请使用以下引用条目。

@inproceedings{xie2024x,
  title={X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention},
  author={Xie, You and Xu, Hongyi and Song, Guoxian and Wang, Chao and Shi, Yichun and Luo, Linjie},
  journal={arXiv preprint arXiv:2403.15931},
  year={2024}
}

X-Portrait 快速上手指南

本指南将帮助您快速部署并运行 SIGGRAPH 2024 论文项目 X-Portrait，实现富有表现力的人像动画生成。

1. 环境准备

在开始安装前，请确保您的系统满足以下核心依赖要求：

• Python: 3.9
• CUDA: 11.8

2. 安装步骤

第一步：配置环境

项目提供了一键安装脚本，请在项目根目录下运行：

bash env_install.sh

第二步：下载模型权重

请点击下方链接下载预训练模型，下载完成后请将模型文件存放于项目根目录下的 checkpoint/ 文件夹中。

• 下载链接：Google Drive

3. 基本使用

运行推理脚本

使用以下命令启动人像动画生成：

bash scripts/test_xportrait.sh

核心参数说明

为了获得最佳效果，请在脚本中调整以下关键参数：

• source_image：源图像路径（即需要被驱动的静态人像）。
• driving_video：驱动视频路径（提供动作参考的视频）。
• output_dir：生成视频的输出路径。
• best_frame：驱动视频中头部姿态与源图像最匹配的帧索引（注意：该参数的精度直接影响最终生成质量）。
• ddim_steps：推理步数（例如设置为 30）。

性能优化建议

• 推理加速：模型兼容 LCM LoRA，集成后可显著减少推理步数。
• 表现力增强：若提供其他面部重演方法（如 face vid2vid）的结果作为 --initial_facevid2vid_results 参数输入，可提升生成效果的表现力。