Xuangeng Chu¹  Tatsuya Harada^1,2
1东京大学， ²理化学研究所人工智能中心

🤩 NeurIPS 2024 🤩

GAGAvatar能够从单张图像重建可控的3D头部虚拟形象。
GAGAvatar实现了基于3DGS的一次性头部重建以及⚡️实时⚡️的表情重演。
🔥 更多结果请访问我们的项目页面。🔥

安装

克隆项目

git clone --recurse-submodules git@github.com:xg-chu/GAGAvatar.git
cd GAGAvatar

构建环境

conda env create -f environment.yml
conda activate GAGAvatar

安装3DGS渲染器

git clone --recurse-submodules git@github.com:xg-chu/diff-gaussian-rasterization.git
pip install ./diff-gaussian-rasterization
rm -rf ./diff-gaussian-rasterization

准备资源

使用以下命令准备资源：

bash ./build_resources.sh

同时为GAGAvatar_track准备资源：

cd core/libs/GAGAvatar_track
bash ./build_resources.sh

快速入门指南

由另一张图片驱动：

# 这将在线跟踪图片，速度较慢。
python inference.py -d ./demos/examples/2.jpg -i ./demos/examples/1.jpg

由已跟踪的视频驱动：

python inference.py -d ./demos/drivers/obama -i ./demos/examples/1.jpg

由已跟踪的image_lmdb驱动：

python inference.py -d ./demos/drivers/vfhq_demo -i ./demos/examples/1.jpg

要测试推理速度，请参考inference.py中的speed_test()函数。

要在线测试您自己的图片，请参考inference.py中的第52至55行。

要测试您自己的驱动序列（视频/图片），请参考GAGAvatar_track及演示序列，以构建您自己的驱动序列。

训练指南

img_lmdb:
    '015252_99' : 图像负载

optim.pkl:
- dict_keys(['000000_0', …])
    - "000000_0": dict_keys(['bbox', 'shapecode', 'expcode', 'posecode', 'eyecode', 'transform_matrix'])

dataset.json: {
    "train": ["000000_0", "000000_5", ..., '001384_654'],
    "val":   ["015209_0", ..., "015218_7"], 
    "test":  ["015203_0", ..., "015252_139"]
}

python train.py --config gaga --dataset vfhq

引用

如果您在研究中发现我们的工作很有用，请考虑引用：

@inproceedings{
    chu2024gagavatar,
    title={通用且可动画化的高斯头部虚拟形象},
    author={Xuangeng Chu和Tatsuya Harada},
    booktitle={第三十八届神经信息处理系统年度会议},
    year={2024},
    url={https://openreview.net/forum?id=gVM2AZ5xA6}
}

致谢

我们的部分工作基于FLAME、StyleMatte、EMICA和VGGHead构建。 GAGAvatar标志由Caihong Ning设计。 我们还要感谢以下项目分享他们的优秀成果。

• GPAvatar: https://github.com/xg-chu/GPAvatar
• FLAME: https://flame.is.tue.mpg.de
• StyleMatte: https://github.com/chroneus/stylematte
• EMICA: https://github.com/radekd91/inferno
• VGGHead: https://github.com/KupynOrest/head_detector

GAGAvatar 快速上手指南

GAGAvatar 是一个基于 NeurIPS 2024 研究成果的开源项目，能够从单张图像重建可控的 3D 头部化身（Avatar），并实现实时的驱动 reenactment。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 8GB 以上）
• 依赖管理: 已安装 Conda (Miniconda 或 Anaconda)
• Git: 已安装 Git 以克隆子模块

安装步骤

1. 克隆项目

使用以下命令克隆仓库并初始化子模块：

git clone --recurse-submodules git@github.com:xg-chu/GAGAvatar.git
cd GAGAvatar

2. 创建 Conda 环境

利用项目提供的配置文件创建并激活环境：

conda env create -f environment.yml
conda activate GAGAvatar

提示：如果下载依赖较慢，可配置国内镜像源（如清华源）： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

3. 安装 3DGS 渲染器

本项目修改了原版 3DGS 以支持 32 维特征，需单独编译安装：

git clone --recurse-submodules git@github.com:xg-chu/diff-gaussian-rasterization.git
pip install ./diff-gaussian-rasterization
rm -rf ./diff-gaussian-rasterization

4. 准备资源文件

运行脚本下载必要的预训练模型和资源：

bash ./build_resources.sh

同时为追踪模块准备资源：

cd core/libs/GAGAvatar_track
bash ./build_resources.sh
cd ../../..

基本使用

安装完成后，您可以直接使用单张图片作为源身份，通过不同的驱动源（图片、视频或数据集）生成动画。

场景一：单图驱动单图

使用一张图片驱动另一张图片（在线追踪模式，速度较慢）：

python inference.py -d ./demos/examples/2.jpg -i ./demos/examples/1.jpg

• -i: 输入源图像（身份来源）
• -d: 驱动图像（动作来源）

场景二：视频驱动

使用已追踪好的视频序列驱动源图像（推荐，速度快）：

python inference.py -d ./demos/drivers/obama -i ./demos/examples/1.jpg

场景三：LMDB 数据集驱动

使用预处理的 LMDB 格式数据驱动：

python inference.py -d ./demos/drivers/vfhq_demo -i ./demos/examples/1.jpg

注意：输出结果默认保存在项目根目录或指定输出文件夹中。如需测试推理速度或自定义输入，请参考 inference.py 源码中的 speed_test() 函数及相关注释。