MICA - 人类面部度量重建研究

沃伊切赫·齐埃隆卡, 蒂莫·博尔卡尔特, 尤斯图斯·蒂斯

德国图宾根马克斯·普朗克智能系统研究所

视频  论文  项目网站  人脸追踪器  数据集  补充材料  电子邮件

安装说明

克隆仓库后，请使用附带的conda环境文件environment.yml，通过以下命令安装环境： conda env create -f environment.yml。此外，还需要FLAME2020模型。请访问网站注册账号并下载该模型，然后将其放置于/data/pretrained/FLAME2020/文件夹中。

您也可以直接运行install.sh脚本：

git clone https://github.com/Zielon/MICA.git
cd MICA
./install.sh

系统会提示您提供FLAME账户的{flame_user}和{flame_password}，以便访问文件服务器。

预训练模型

如果您决定不使用安装脚本，预训练模型可从链接获取。下载后，请将其放置于/data/pretrained/mica.tar位置。此外，您还需提供inisghtface的模型：

1. antelopev2
2. buffalo_l

然后解压并放置于~/.insightface/models/。install.sh脚本会为您完成这一操作。

使用方法

要使用MICA，只需运行demo.py文件即可。它将处理demo/input/文件夹中的所有图像，并为每个被试生成输出文件，包括.ply网格、渲染图像以及.npy格式的FLAME参数。

数据集与训练

MICA数据集由八个较小的数据集组成，涵盖约2300名被试，采用共同的FLAME拓扑结构。更多关于如何获取和使用该数据集的信息，请参阅链接。训练MICA时需要使用全部八个数据集的图像。仓库中提供了生成Arcface输入图像的脚本，以及用于训练的所有图像列表。更多信息请见这里。

如果您从头开始训练以初始化Arcface模型，请下载Glint360K，并在配置文件中指定其路径为cfg.model.arcface_pretrained_model。

测试

测试使用了两个数据集：Stirling和NoW。在模型文件夹中，您可以找到相应的脚本以运行测试流程，生成网格。要计算NoW挑战赛误差，可使用以下仓库。

引用

如果您在研究中使用本项目，请引用MICA：

@proceedings{zielonka22mica,
  author = {齐埃隆卡，沃伊切赫；博尔卡尔特，蒂莫；蒂斯，尤斯图斯},
  title = {迈向人类面部的度量重建},
  journal = {欧洲计算机视觉大会},
  year = {2022}
}

MICA 快速上手指南

环境准备

• 系统要求：Linux 或 macOS（推荐 Ubuntu 20.04+）
• 前置依赖：
  • Python 3.8+
  • Conda（推荐 Miniconda）
  • NVIDIA GPU（推荐显存 ≥8GB）
  • FLAME2020 模型（需注册 FLAME 官网 获取）

安装步骤

1. 克隆仓库并进入目录：

git clone https://github.com/Zielon/MICA.git
cd MICA

2. 使用 install.sh 自动安装（推荐）：

./install.sh

安装过程中需输入你的 FLAME 账号 {flame_user} 和 {flame_password}。
脚本会自动下载并配置 MICA 预训练模型与 InsightFace 模型（antelopev2、buffalo_l）。

3. 若手动安装：
   • 创建环境：

     conda env create -f environment.yml
     

   • 下载 FLAME2020 模型，放入 /data/pretrained/FLAME2020/
   • 下载预训练模型并放置：

     # MICA 模型（Google Drive）
     https://drive.google.com/file/d/1bYsI_spptzyuFmfLYqYkcJA6GZWZViNt/view?usp=sharing
     # 放至：/data/pretrained/mica.tar
     

   • 下载 InsightFace 模型并解压至 ~/.insightface/models/：
     • antelopev2
     • buffalo_l

基本使用

运行演示脚本，自动处理 demo/input/ 中的所有图像，输出网格、渲染图和 FLAME 参数：

python demo.py

输出文件将保存在 demo/output/ 目录下，包含：

• .ply 3D 人脸网格
• 渲染后的 .png 图像
• .npy FLAME 参数文件

所有模型和数据默认路径已配置，无需额外修改即可运行。