从野外图像中无监督学习可能对称的可变形3D物体

演示 | 项目页面 | 视频 | 论文

Shangzhe Wu、Christian Rupprecht、Andrea Vedaldi，牛津大学视觉几何组。发表于CVPR 2020（最佳论文奖）。

我们提出了一种方法，可以从原始的单视角图像中学习弱对称的可变形3D物体类别，而无需3D真值、多视角图像、2D/3D关键点、先验形状模型或其他任何监督信息。

环境搭建（使用Anaconda）

1. 安装依赖：

conda env create -f environment.yml

或者手动安装：

conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. 安装PyTorch：

conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

注意：代码已在CentOS 7上使用PyTorch 1.2.0和CUDA 9.2进行了测试。训练和测试需要GPU版本，因为neural_renderer包仅提供GPU实现。不过，即使没有GPU，您仍然可以运行演示。

3. 安装neural_renderer：

该包是训练和测试所必需的，但对于演示来说是可选的。它需要一个GPU设备以及支持GPU的PyTorch。

pip install neural_renderer_pytorch

注意：如果您的GCC版本低于5.0，可能会安装失败。如果您不想升级GCC，另一种解决方案是使用conda提供的GCC，并从源代码编译该包。例如：

conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. （仅限演示）安装facenet-pytorch：

该包对于演示来说是可选的，它可以实现自动人脸检测。

pip install facenet-pytorch

数据集

1. CelebA人脸数据集。请从其官网下载原始图像（img_celeba.7z），并在data/目录下运行celeba_crop.py以裁剪图像。
2. 使用Basel Face Model生成的合成人脸数据集。可以使用data/目录下的脚本download_synface.sh下载。
3. 猫脸数据集由Cat Head Dataset和Oxford-IIIT Pet Dataset（许可证）组成。可以使用data/目录下的脚本download_cat.sh下载。
4. 基于ShapeNet汽车生成的合成汽车数据集。这些图像是从顶部随机视角渲染的，汽车主要呈垂直方向。可以使用data/目录下的脚本download_syncar.sh下载。

请注意，如果您使用这些数据集，请务必引用相应的论文。

预训练模型

使用pretrained/目录下的脚本下载预训练模型，例如：

cd pretrained && sh download_pretrained_celeba.sh

演示

python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

选项：

• --gpu：启用GPU
• --detect_human_face：启用自动人脸检测和裁剪功能，使用facenet-pytorch中提供的MTCNN。此功能仅适用于人脸图像。对于其他对象，您需要手动裁剪图像。
• --render_video：使用neural_renderer渲染3D动画（需要GPU）

训练与测试

检查experiments/目录下的配置文件并运行实验，例如：

python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

引用

@InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}

unsup3d 快速上手指南

unsup3d 是一个用于从单张野生图像中无监督学习弱对称可变形 3D 物体类别的工具。该项目荣获 CVPR 2020 最佳论文奖，无需 3D 真值、多视图或关键点标注即可训练。

环境准备

• 操作系统: 推荐 Linux (代码在 CentOS 7 上测试通过)。
• 硬件要求:
  • 训练与测试: 必须使用支持 CUDA 的 GPU。
  • 演示 (Demo): 可在无 GPU 环境下运行基础功能，但渲染 3D 动画需要 GPU。
• 软件依赖:
  • Anaconda (推荐)
  • Python 环境
  • GCC 版本建议 >= 5.0 (若版本过低需特殊处理，见安装步骤)

安装步骤

1. 创建 Conda 环境并安装基础依赖

推荐使用 environment.yml 一键安装，或手动安装核心库。

conda env create -f environment.yml

或者手动安装：

conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. 安装 PyTorch

注意：原代码基于 PyTorch 1.2.0 和 CUDA 9.2 测试。请确保版本匹配以避免兼容性问题。

conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

国内加速提示: 若下载缓慢，可使用清华源替换 -c pytorch 部分，例如添加 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/。

3. 安装 neural_renderer (核心组件)

该组件用于渲染，必须依赖 GPU 版本的 PyTorch。

方式 A：直接 pip 安装 (需 GCC >= 5)

pip install neural_renderer_pytorch

方式 B：源码编译 (适用于 GCC < 5 的情况) 如果直接安装失败，请使用 Conda 提供的高版本 GCC 进行源码编译：

conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (可选) 安装人脸检测组件

仅当您需要运行自动人脸检测演示时安装。

pip install facenet-pytorch

基本使用

1. 准备预训练模型

下载针对 CelebA 数据集的预训练模型：

cd pretrained && sh download_pretrained_celeba.sh

2. 运行演示 (Demo)

以下命令将对指定目录下的人脸图像进行 3D 重建演示：

python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

常用参数说明：

• --gpu: 启用 GPU 加速。
• --detect_human_face: 启用自动人脸检测与裁剪（需安装 facenet-pytorch，仅适用于人脸图像）。
• --render_video: 生成 3D 旋转动画视频（必须启用 GPU 且已安装 neural_renderer）。

3. 训练与测试

修改 experiments/ 目录下的配置文件后，使用以下命令启动训练：

python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4