:mega: 更新

[02/2023] 发布了针对SHHQ、UBCFashion和AIST的推理代码。

[02/2023] 发布了使用我们处理后的数据集对DeepFashion进行训练的代码。

[02/2023] 发布了针对DeepFashion的512x256生成推理代码，包括Colab和Hugging Face演示。

[01/2023] EVA3D被ICLR 2023接收（Spotlight）：partying_face:！

:love_you_gesture: 引用

如果您认为我们的工作对您的研究有帮助，请考虑引用以下论文：

@inproceedings{
    hong2023evad,
    title={{EVA}3D: Compositional 3D Human Generation from 2D Image Collections},
    author={Fangzhou Hong and Zhaoxi Chen and Yushi LAN and Liang Pan and Ziwei Liu},
    booktitle={International Conference on Learning Representations},
    year={2023},
    url={https://openreview.net/forum?id=g7U9jD_2CUr}
}

:desktop_computer: 系统要求

本项目需要NVIDIA GPU。我们已在NVIDIA RTX2080Ti、NVIDIA V100、NVIDIA A100、NVIDIA T4上测试过推理代码。训练代码则在NVIDIA V100和NVIDIA A100上进行了测试。建议使用Anaconda管理Python环境。

conda create --name eva3d python=3.8
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
conda install pytorch3d -c pytorch3d
pip install -r requirements.txt

:running_woman: 推理

下载模型

推理需要预训练模型和SMPL模型。

以下脚本用于下载预训练模型。

python download_models.py

请在这里注册并下载SMPL模型。将下载的模型放入smpl_models文件夹中。只需中性姿态的模型即可。文件夹结构应如下所示：

./
├── ...
└── smpl_models/
    ├── smpl/
        └── SMPL_NEUTRAL.pkl

命令

我们提供了一个脚本，用于推理在DeepFashion、SHHQ、UBCFashion和AIST上训练的模型。

bash scripts/demo_deepfashion_512x256.sh
bash scripts/demo_shhq_512x256.sh
bash scripts/demo_ubcfashion_512x256.sh
bash scripts/demo_aist_256x256.sh

:train: 训练

DeepFashion

下载SMPL模型及处理后的数据集

python download_models.py
python download_datasets.py

命令

bash scripts/train_deepfashion_512x256.sh

中间结果将每100次迭代保存在checkpoint/train_deepfashion_512x256/volume_renderer/samples目录下。第一行展示了来自EMA生成器的推理图像，第二行则展示了一张训练生成器的推理样本以及一张来自训练数据集的样本。

如需推理训练好的模型，请参阅“推理”部分。

更多数据集的支持即将推出……

:newspaper_roll: 许可证

根据S-Lab许可证进行分发。更多信息请参见LICENSE文件。

:raised_hands: 致谢

本研究得到了NTU NAP、MOE AcRF Tier 2 (T2EP20221-0033)的支持，以及RIE2020产业对接基金——产业合作项目（IAF-ICP）资助计划的支持，同时还获得了产业合作伙伴的现金和实物捐赠。

该项目基于StyleSDF共享的源代码构建而成。

EVA3D 快速上手指南

EVA3D 是一个高质量的无条件 3D 人体生成模型，仅需 2D 图像集合即可进行训练。本项目支持从单张或多张 2D 图片生成具有几何细节和纹理的 3D 人体模型，并支持新姿态生成和潜在空间插值。

环境准备

系统要求

• 操作系统: Linux (推荐)
• GPU: NVIDIA GPU (已测试型号：RTX 2080 Ti, V100, A100, T4)
• CUDA: 10.1 及以上版本
• Python: 3.8

前置依赖

建议使用 Anaconda 管理 Python 环境。由于部分依赖（如 pytorch3d）在国内下载较慢，建议配置国内镜像源加速。

安装步骤

1. 创建并激活 Conda 环境

   conda create --name eva3d python=3.8
   conda activate eva3d
   

2. 安装 PyTorch 及相关工具链 注：以下命令基于官方源，若需加速可替换为清华或中科大镜像源。

   conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
   conda install -c fvcore -c iopath -c conda-forge fvcore iopath
   

3. 安装 PyTorch3D

   conda install pytorch3d -c pytorch3d
   

   提示：若 pytorch3d 官方源下载失败，可尝试在 GitHub Release 页面查找对应版本的 .whl 文件手动安装，或使用国内高校镜像源。

4. 安装其他 Python 依赖

   pip install -r requirements.txt
   

   建议临时更换 pip 源以加速下载：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

5. 下载预训练模型与 SMPL 模型

   运行脚本下载项目预训练权重：

   python download_models.py
   

   重要：需手动注册并下载 SMPL 模型。

   • 访问地址：SMPL 官网
   • 下载后仅需要 neutral 版本。
   • 将文件放置于 smpl_models 目录下，确保目录结构如下：

     ./
     └── smpl_models/
         └── smpl/
             └── SMPL_NEUTRAL.pkl
     

基本使用

以下示例展示如何运行预训练模型进行推理（以 DeepFashion 数据集模型为例，生成分辨率为 512x256 的 3D 人体）。

运行推理脚本

在项目根目录下执行以下命令：

bash scripts/demo_deepfashion_512x256.sh

若需测试其他数据集（如 SHHQ, UBCFashion, AIST），可运行对应的脚本：

bash scripts/demo_shhq_512x256.sh
bash scripts/demo_ubcfashion_512x256.sh
bash scripts/demo_aist_256x256.sh

运行完成后，生成的 RGB 图像和几何（Geo）可视化结果将保存在输出目录中。

在线体验

如果本地环境配置困难，可直接使用以下在线演示：

• Google Colab: EVA3D Demo Notebook
• Hugging Face Spaces: EVA3D Demo