中文阅读

FantasyPortrait：利用表情增强的扩散Transformer提升多角色人像动画效果

🔥 最新消息！！

• 2025年8月14日：我们的工作已合并至ComfyUI-Wan！感谢kijai的更新👏！
• 2025年8月12日：我们发布了推理代码、模型权重和数据集。

演示

如需查看更多精彩结果，请访问我们的网站。

快速入门

🛠️安装

克隆仓库：

git clone https://github.com/Fantasy-AMAP/fantasy-portrait.git
cd fantasy-portrait

安装依赖：

apt-get install ffmpeg
# 确保torch >= 2.0.0
pip install -r requirements.txt
# 注意：必须安装flash attention
pip install flash_attn

📦Multi-Expr数据集

我们公开了首个多角色人脸表情视频数据集Multi-Expr数据集，请通过ModelScope或Huggingface下载。

🧱模型下载

模型	下载链接	备注
Wan2.1-I2V-14B-720P	🤗 Huggingface 🤖 ModelScope	基础模型
FantasyPortrait	🤗 Huggingface 🤖 ModelScope	我们的表情条件权重

使用huggingface-cli下载模型：

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-I2V-14B-720P --local-dir ./models/Wan2.1-I2V-14B-720P
huggingface-cli download acvlab/FantasyPortrait --local-dir ./models

使用modelscope-cli下载模型：

pip install modelscope
modelscope download Wan-AI/Wan2.1-I2V-14B-720P --local_dir ./models/Wan2.1-I2V-14B-720P
modelscope download amap_cvlab/FantasyPortrait  --local_dir ./models

🔑 单人肖像推理

bash infer_single.sh

🔑 多人肖像推理

如果您使用输入图像并驱动包含多人的视频，可以按如下方式运行：

bash infer_multi.sh

如果您使用包含多人的输入图像，并搭配不同的多个人物驱动视频，可以按如下方式运行：

bash infer_multi_diff.sh

📦速度与显存占用

我们在此提供一张详细表格。该模型已在单张A100上进行测试。

torch_dtype	num_persistent_param_in_dit	速度	所需显存
torch.bfloat16	无（无限）	15.5s/次	40G
torch.bfloat16	7*10**9（7B）	32.8s/次	20G
torch.bfloat16	0	42.6s/次	5G

🧩 社区作品

我们❤️开源社区的贡献！如果您的作品对FantasyPortrait有所改进，请告知我们。 或者您也可以直接发送邮件至frank.jf@alibaba-inc.com。我们很乐意引用您的项目，以方便大家参考。

🔗引用

如果您觉得本仓库有用，请考虑点个星⭐并注明出处

@article{wang2025fantasyportrait,
  title={FantasyPortrait：利用表情增强的扩散Transformer提升多角色人像动画效果},
  author={王强、王孟超、江帆、范雅琪、齐永刚、徐牧},
  journal={arXiv预印本 arXiv:2507.12956},
  year={2025}
}

致谢

感谢Wan2.1、PD-FGC和DiffSynth-Studio开源其模型和代码，为本项目提供了宝贵的参考和支持。他们对开源社区的贡献令人由衷钦佩。

星标历史

FantasyPortrait 快速上手指南

环境准备

• 系统要求：Linux 系统（推荐 Ubuntu 20.04+）
• 前置依赖：
  • 安装 ffmpeg：sudo apt-get install ffmpeg
  • Python 3.8+ 和 PyTorch ≥ 2.0.0
  • 安装 flash_attn（推荐使用国内镜像加速）：

    pip install flash_attn
    

安装步骤

1. 克隆仓库：

   git clone https://github.com/Fantasy-AMAP/fantasy-portrait.git
   cd fantasy-portrait
   

2. 安装依赖（使用清华镜像加速）：

   sudo apt-get install ffmpeg
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   pip install flash_attn
   

基本使用

运行最简单的单人肖像动画生成示例：

bash infer_single.sh

执行后将自动生成动画视频。模型默认使用预设输入，无需额外配置即可快速体验效果。