PIFu：用于高分辨率着装人体数字化的像素对齐隐式函数

新闻：

• [2020/05/04] 增加了用于生成训练数据的EGL渲染选项。现在你可以使用无头机器创建自己的训练数据！
• [2020/04/13] 提供了带有Google Colab的演示（包括可视化）。特别感谢@nanopoteto！！！
• [2020/02/26] 许可证更新为MIT许可证！尽情享用吧！

本仓库包含“PIFu：用于高分辨率着装人体数字化的像素对齐隐式函数”（arxiv.org/abs/1905.05172）的PyTorch实现。

项目页面

如果你在研究中觉得这段代码很有用，请考虑引用该论文。

@InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}

该代码库提供了：

• 测试代码
• 训练代码
• 数据生成代码

需求

• Python 3
• PyTorch 经测试版本为1.4.0
• json
• PIL
• skimage
• tqdm
• numpy
• cv2

用于训练和数据生成：

• trimesh 与 pyembree
• pyexr
• PyOpenGL
• freeglut（对于Ubuntu用户，使用sudo apt-get install freeglut3-dev）
• （可选）与EGL相关的软件包，用于在无头机器上进行渲染。（对于Ubuntu用户，使用apt install libgl1-mesa-dri libegl1-mesa libgbm1）

警告：我发现过时的NVIDIA驱动程序可能会导致EGL出现错误。如果你想尝试EGL版本，请将你的NVIDIA驱动程序更新到最新版本！！

Windows演示安装说明

• 安装Miniconda
• 将conda添加到PATH中
• 安装Git Bash
• 启动Git\bin\bash.exe
• eval "$(conda shell.bash hook)"然后conda activate my_env，因为有这个问题
• 自动env create -f environment.yml（参见这里）
• 或者手动设置环境
  • conda create —name pifu python，其中pifu是你环境的名字
  • conda activate
  • conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
  • conda install pillow
  • conda install scikit-image
  • conda install tqdm
  • conda install -c menpo opencv
• 下载wget.exe
• 将其放置在Git\mingw64\bin
• sh ./scripts/download_trained_model.sh
• 从你的图像中移除背景（例如使用remove.bg）
• 创建黑白掩膜.png
• 替换sample_images/中的原始文件
• 尝试运行 - sh ./scripts/test.sh
• 下载Meshlab，因为有这个问题
• 在Meshlab中打开.obj文件

演示

警告：发布的模型主要是在弱透视投影和0度俯仰角下，以直立姿势扫描的数据上训练的。对于与训练数据偏差较大的图像，重建质量可能会下降。

1. 运行以下脚本以从以下链接下载预训练模型，并将其复制到./PIFu/checkpoints/目录下。

sh ./scripts/download_trained_model.sh

2. 运行以下脚本。该脚本会在./PIFu/eval_results/目录下生成一个带纹理的.obj文件。为了获得更好的效果，你可能需要使用./apps/crop_img.py来大致对齐输入图像及其对应的掩膜与训练数据。对于背景去除，你可以使用任何现成的工具，如removebg。

sh ./scripts/test.sh

Google Colab上的演示

如果你没有运行PIFu的环境，我们提供Google Colab版本供你试用，让你可以在云端免费运行PIFu。请使用以下笔记本尝试我们的Colab演示：

数据生成（仅限Linux）

由于商业扫描数据的限制，我们无法公开完整的训练数据，但我们提供了使用RenderPeople中免费模型的渲染代码。本教程使用rp_dennis_posed_004模型。请从此链接下载模型，并将内容解压到名为rp_dennis_posed_004_OBJ的文件夹中。同样的步骤也可以应用于其他RenderPeople的数据。

警告：如果没有pyembree，以下代码会变得极其缓慢。请确保已安装pyembree。

1. 运行以下脚本以计算预计算辐射传输（PRT）的球谐系数。简而言之，PRT用于准确地模拟光照传输，包括环境遮挡，同时不牺牲在线渲染速度，从而显著提高照片级真实感，相比使用表面法线的普通球谐光照渲染有了很大提升。这一过程需要为每个.obj文件单独执行一次。

python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}

2. 运行以下脚本。在指定的数据路径下，代码会创建名为GEO、RENDER、MASK、PARAM、UV_RENDER、UV_MASK、UV_NORMAL和UV_POS的文件夹。请注意，你可能需要在{path_to_training_data}/val.txt中列出要排除在训练之外的验证对象（本教程只有一个对象，因此保持为空）。如果你想使用配备NVIDIA GPU的无头服务器进行渲染，可以添加-e参数以启用EGL渲染。

python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]

训练（仅限 Linux）

警告：如果没有 pyembree，以下代码会变得极其缓慢。请确保已安装 pyembree。

1. 运行以下脚本以训练形状模块。中间结果和检查点分别保存在 ./results 和 ./checkpoints 目录下。您可以添加 --batch_size 和 --num_sample_input 标志，根据可用的 GPU 内存调整批处理大小和采样点数量。

python -m apps.train_shape --dataroot {训练数据路径} --random_flip --random_scale --random_trans

2. 运行以下脚本以训练颜色模块。

python -m apps.train_color --dataroot {训练数据路径} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans

相关研究

单目实时体积化表演捕捉（ECCV 2020）
Li Ruilong*, Xiu Yuliang*, Shunsuke Saito, Huang Zeng, Olszewski Kyle, Li Hao

首个通过加速重建与渲染实现的实时 PIFu！！

PIFuHD：用于高分辨率三维人体数字化的多层级像素对齐隐式函数（CVPR 2020）
Saito Shunsuke, Simon Tomas, Saragih Jason, Joo Hanbyul

我们进一步利用多层级方法提升了重建质量！

ARCH：可动画化的着装人体重建（CVPR 2020）
Huang Zeng, Xu Yuanlu, Lassner Christoph, Li Hao, Tung Tony

在规范空间中学习 PIFu，用于生成可动画化的虚拟形象！

秒级鲁棒三维自画像（CVPR 2020）
Li Zhe, Yu Tao, Pan Chuanyu, Zheng Zerong, Liu Yebin

他们将 PIFu 扩展到 RGBD，并引入了“PIFusion”，利用 PIFu 的重建结果进行非刚性融合。

无需三维监督的学习隐式曲面推断（NeurIPS 2019）
Liu Shichen, Saito Shunsuke, Chen Weikai, Li Hao

我们回答了一个问题：“如果没有三维真值，我们该如何学习隐式函数？”

SiCloPe：基于轮廓的着装人物（CVPR 2019，最佳论文入围）
Natsume Ryota*, Saito Shunsuke*, Huang Zeng, Chen Weikai, Ma Chongyang, Li Hao, Morishima Shigeo

我们首次尝试仅从一张图像重建带有纹理的三维着装人体！

来自极稀疏多视角表演捕捉的深度体积视频（ECCV 2018）
Huang Zeng, Li Tianye, Chen Weikai, Zhao Yajie, Xing Jun, LeGendre Chloe, Luo Linjie, Ma Chongyang, Li Hao

针对稀疏视图的人体表演捕捉中的隐式表面学习！

---

如需商业合作，请联系：

Hao Li：hao@hao-li.com ccto：saitos@usc.edu Baker！！

PIFu 快速上手指南

PIFu (Pixel-Aligned Implicit Function) 是一个基于单张图像生成高分辨率穿衣人体 3D 模型的开源工具。本指南将帮助开发者快速完成环境配置并运行演示。

1. 环境准备

系统要求

• 操作系统: 推荐 Linux (Ubuntu)。Windows 用户需通过 Git Bash 和 Conda 进行复杂配置（详见原文），建议优先使用 Linux 或 Google Colab。
• Python: 3.x
• GPU: NVIDIA 显卡（用于加速推理和训练），需安装最新驱动以支持 EGL 渲染（如需无头模式）。

前置依赖

确保系统已安装以下基础库（以 Ubuntu 为例）：

sudo apt-get update
sudo apt-get install freeglut3-dev libgl1-mesa-dri libegl1-mesa libgbm1

Python 依赖

建议使用 conda 创建独立环境以避免冲突。

conda create -n pifu python=3.7
conda activate pifu

安装核心深度学习框架及依赖库：

# 安装 PyTorch (根据CUDA版本调整，此处以官方源为例，国内可使用清华/阿里镜像)
pip install torch==1.4.0 torchvision==0.5.0 -f https://download.pytorch.org/whl/torch_stable.html

# 安装其他依赖
pip install json Pillow scikit-image tqdm numpy opencv-python trimesh pyembree pyexr PyOpenGL

注意: pyembree 对数据生成和训练速度至关重要，未安装会导致极慢。若 pip 安装失败，可尝试 conda install -c conda-forge pyembree。

2. 安装步骤

克隆项目

git clone https://github.com/shunsukesaito/PIFu.git
cd PIFu

下载预训练模型

运行官方脚本下载训练好的权重文件，并将其放置于 ./PIFu/checkpoints/ 目录下。

sh ./scripts/download_trained_model.sh

国内加速提示: 如果脚本下载缓慢或失败，可手动访问 Google Drive 链接 (需自行查找对应文件) 或使用第三方下载工具获取 .pth 文件后手动放入 checkpoints 文件夹。

准备输入数据

PIFu 需要两张图片作为输入：

1. 原图: 去除背景的人物图片（推荐使用 remove.bg 等工具处理）。
2. 掩码图: 对应的黑白二值化 Mask 图片（人物为白色，背景为黑色）。

将处理好的图片替换到 sample_images/ 目录中，或修改测试脚本中的路径指向你的图片。

3. 基本使用

运行推理演示

执行以下脚本，系统将读取输入图像并生成带纹理的 3D 模型 (.obj 格式)。

sh ./scripts/test.sh

• 输出位置: 生成的模型文件位于 ./PIFu/eval_results/ 目录下。
• 查看结果: 使用 MeshLab 或 Blender 打开生成的 .obj 文件查看 3D 效果。

进阶提示

• 图像对齐: 为了获得更好的重建效果，建议使用 ./apps/crop_img.py 对输入图片和掩码进行粗略对齐，使其姿态接近训练数据（通常为正面站立，俯仰角 0 度）。
• 云端体验: 若本地环境配置困难，可直接使用 Google Colab 版本在线运行：

注意事项

• 发布的模型主要在正面站立、弱透视投影的数据上训练。如果输入图片姿态偏离较大（如大幅侧身、俯视/仰视），重建质量可能会下降。
• 训练和数据生成代码仅支持 Linux 环境。