ICON：基于法线的隐式穿衣人体重建

Yuliang Xiu · Jinlong Yang · Dimitrios Tzionas · Michael J. Black

CVPR 2022

新闻 :triangular_flag_on_post:

• [2022/12/15] ICON已成为过去，ECON才是未来！
• [2022/09/12] 将KeypointNeRF应用于ICON，在evaluation中取得了量化结果
• [2022/07/30] 和 均已上线
• [2022/07/26] 发布了新的衣物细化模块，请尝试使用-loop_cloth
• [2022/06/13] 苏黎世联邦理工学院3DV课程的学生为garment-extraction创建了一个插件
• [2022/05/16] BEV由Yu Sun支持作为可选的人体姿态估计方法，详情请参见commit #060e265
• [2022/05/15] 训练代码已发布，请查看Training Instruction
• [2022/04/26] HybrIK (SMPL)由Jiefeng Li支持作为可选的人体姿态估计方法，详情请参见commit #3663704
• [2022/03/05] PIXIE (SMPL-X), PARE (SMPL), PyMAF (SMPL)均被支持为可选的人体姿态估计方法

目录

1. 谁需要ICON
2. 使用说明
3. 演示运行
4. 引用

谁需要ICON？

• 如果您希望使用自己的数据在PIFu / PaMIR / ICON上进行训练和评估，请查阅dataset.md准备数据集，training.md进行训练，以及evaluation.md进行基准评估。

• 给定一张原始RGB图像，您可以得到：

  • 图像（png）：
    • 分割出的人体RGB图像
    • 身体和衣物的法线图
    • 法线与RGB的像素级对齐叠加
  • 网格（obj）：
    • 由_PyMAF、PIXIE、PARE、HybrIK、BEV_生成的SMPL-(X)人体模型
    • 3D穿衣人体重建
    • 3D服装（需要2D掩码）
  • 视频（mp4）：
    • 自旋的穿衣人体

ICON的中间结果
ICON的SMPL姿态细化
图像 -- 叠加的法线预测 -- ICON -- 细化后的ICON
从ICON中通过2D掩码提取的3D服装

使用说明

• 请参阅docs/installation.md以安装所有必要的软件包并设置模型
• 请参阅docs/dataset.md以从THuman2.0合成训练/验证/测试数据集
• 请参阅docs/training.md以使用THuman2.0训练您自己的模型
• 请参阅docs/evaluation.md以在CAPE测试集上评估训练好的模型
• 插件：时尚图像中的服装提取，由苏黎世联邦理工学院学生作为3DV课程项目支持。

演示运行

cd ICON

# model_type:
#   "pifu"            重新实现的PIFu
#   "pamir"           重新实现的PaMIR
#   "icon-filter"     带全局编码器的ICON（连续的局部褶皱）
#   "icon-nofilter"   不带全局编码器的ICON（校正全局姿态）
#   "icon-keypoint"   带相对空间编码的ICON（来自KeypointNeRF的见解）

python -m apps.infer -cfg ./configs/icon-filter.yaml -gpu 0 -in_dir ./examples -out_dir ./results -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie

更多定性结果

与其他最先进方法的对比
在具有极端姿态的野外图像上预测的法线

引用

@inproceedings{xiu2022icon,
  title     = {{ICON}: {I}mplicit {C}lothed humans {O}btained from {N}ormals},
  author    = {Xiu, Yuliang and Yang, Jinlong and Tzionas, Dimitrios and Black, Michael J.},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2022},
  pages     = {13296-13306}
}

致谢

我们感谢 Yao Feng、Soubhik Sanyal、Qianli Ma、Xu Chen、Hongwei Yi、Chun-Hao Paul Huang 和 Weiyang Liu 提供的反馈和讨论；感谢 Tsvetelina Alexiadis 在 AMT 感知研究方面的帮助；感谢 Taylor McConnell 的配音；感谢 Benjamin Pellkofer 负责网页设计；以及感谢 Yuanlu Xu 在与 ARCH 和 ARCH++ 对比方面提供的帮助。

特别感谢 Vassilis Choutas 分享了 bvh-distance-queries 的代码。

以下是一些我们受益匪浅的重要资源：

• MonoPortDataset 用于数据处理。
• PaMIR、PIFu、PIFuHD 和 MonoPort 用于基准测试。
• SCANimate 和 AIST++ 用于动画制作。
• rembg 用于人体分割。
• PyTorch-NICP 用于基于法线的非刚性精修。
• smplx、PARE、PyMAF、PIXIE、BEV 和 HybrIK 用于人体姿态和形状估计。
• CAPE 和 THuman 用于数据集。
• PyTorch3D 用于微分渲染。

定性示例中使用的一些图片来自 pinterest.com。

本项目获得了欧盟“地平线2020”研究与创新计划下玛丽·斯克沃多夫斯卡-居里资助协议第860768号（CLIPE项目）的支持。

贡献者

向所有杰出的贡献者致敬！ICON 依靠开源得以蓬勃发展。秉承这一精神，我们欢迎社区的各种贡献。

贡献者头像随机排列。

---

许可证

本代码和模型仅可用于 LICENSE 文件中定义的非商业性科学研究目的。下载并使用该代码和模型即表示您同意 LICENSE 中的条款。

披露

MJB 曾收到来自 Adobe、Intel、Nvidia、Meta/Facebook 和 Amazon 的研究捐赠资金。MJB 在 Amazon、Datagen Technologies 和 Meshcapade GmbH 拥有经济利益。尽管 MJB 在本项目期间曾是 Amazon 的兼职员工，但其研究工作完全在马克斯·普朗克学会进行，并由该学会全额资助。

联系方式

如有更多问题，请联系 icon@tue.mpg.de。

如需商业授权，请联系 ps-licensing@tue.mpg.de。

ICON 快速上手指南

ICON (Implicit Clothed humans Obtained from Normals) 是一个基于单张 RGB 图像重建三维穿衣人体网格的开源项目。本指南将帮助你快速在本地部署并运行演示。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• GPU: NVIDIA 显卡 (支持 CUDA)，显存建议 8GB 以上
• Python: 3.8 或更高版本
• 前置依赖:
  • PyTorch (需匹配你的 CUDA 版本)
  • PyTorch Lightning
  • Git, CMake, Build-essential

国内加速建议： 在安装 Python 依赖时，推荐使用清华或阿里镜像源以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

第一步：克隆项目

git clone https://github.com/YuliangXiu/ICON.git
cd ICON

第二步：创建虚拟环境并安装依赖

建议使用 Conda 管理环境（如未安装，请先安装 Miniconda）：

# 创建名为 icon 的环境，指定 Python 3.8
conda create -n icon python=3.8 -y
conda activate icon

# 安装 PyTorch (请根据实际 CUDA 版本调整，此处以 CUDA 11.3 为例)
# 国内用户可使用清华源加速
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 PyTorch Lightning
pip install pytorch-lightning -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装项目其他依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：下载预训练模型与数据

项目需要下载预训练权重和部分基础数据。请运行官方提供的脚本（需科学上网或自行寻找镜像）：

# 下载模型和数据 (脚本内部包含 wget 命令)
bash scripts/download_models.sh
bash scripts/download_data.sh

注意：如果下载速度慢，可手动打开 scripts/download_models.sh 查看链接，使用迅雷或国内代理下载后放入对应目录。

第四步：安装额外依赖 (如需)

如果涉及网格处理或特定渲染功能，可能需要编译部分 C++ 扩展：

pip install git+https://github.com/facebookresearch/pytorch3d.git@stable -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

安装完成后，你可以直接使用示例图片进行推理测试。以下命令将读取 ./examples 目录下的图片，生成 3D 模型 (.obj) 和旋转视频 (.mp4)。

运行演示命令：

cd ICON

python -m apps.infer -cfg ./configs/icon-filter.yaml -gpu 0 -in_dir ./examples -out_dir ./results -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie

参数说明：

• -cfg: 配置文件，icon-filter 适用于保留衣物褶皱细节，icon-nofilter 适用于修正全局姿态。
• -in_dir: 输入图片目录（支持单张或多张 RGB 图像）。
• -out_dir: 输出结果目录。
• -export_video: 生成人体自旋转视频。
• -hps_type: 人体姿态估计模型类型，可选 pixie, pare, pymaf, hybrik, bev 等（默认推荐 pixie）。
• -loop_smpl / -loop_cloth: 迭代优化次数，数值越高细节越好但耗时越长。

输出结果： 运行结束后，请在 ./results 目录下查看：

• xxx_normal.png: 预测的法线图
• xxx_icon.obj: 重建的 3D 穿衣人体网格
• xxx_icon.mp4: 3D 模型旋转展示视频