3D-R²N²: 三维递归重建神经网络

本仓库包含论文 Choy 等人，3D-R2N2：单视图与多视图三维物体重建的统一方法，ECCV 2016 的源代码。给定一个或多个物体视图，该网络会生成物体的体素化（体素是像素的三维等价物）三维重建结果。

引用本工作

如果您在研究中使用了本工作，请考虑引用：

@inproceedings{choy20163d,
  title={3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction},
  author={Choy, Christopher B and Xu, Danfei and Gwak, JunYoung and Chen, Kevin and Savarese, Silvio},
  booktitle = {Proceedings of the European Conference on Computer Vision ({ECCV})},
  year={2016}
}

最新消息

• [2020-01-25] 使用密集占用网格进行三维重建需要大量的内存和计算资源。我们提出了一种用于稀疏张量的新自动微分库，能够以高分辨率重建物体。请参阅 3D 稀疏模式重建页面，了解如何使用稀疏张量进行三维重建。

项目主页

项目主页位于 http://cvgl.stanford.edu/3d-r2n2/。

概述

左：在 eBay 和 Amazon 上找到的图像；右：3D-R2N2 的概览

传统上，单视图重建和多视图重建是两个独立的问题，通常采用不同的方法来解决。在本工作中，我们首次提出了一种统一的框架，利用 3D 递归重建神经网络（3D-R2N2）同时处理单视图和多视图重建任务。

3D 卷积 LSTM	3D 卷积 GRU	每个单元的输入（红色单元 + 特征）（紫色）

由于网络经过训练对输入顺序具有不变性，因此我们可以按任意顺序输入图像。使网络具备顺序不变性的关键组件是我们在本工作中首次提出的 3D 卷积 LSTM。该网络会选择性地更新可见部分，并保持自我遮挡的部分不变。

我们为实验使用了两种不同类型的网络：浅层网络（顶部）和深层残差网络（底部）。

结果

请访问结果 可视化页面，以交互方式查看三维重建结果。

数据集

我们使用了 ShapeNet 模型生成渲染图像和体素化模型，这些数据可在下方获取（您可以按照下面的安装说明将其解压到默认目录）。

• ShapeNet 渲染图像 http://cvgl.stanford.edu/data2/ShapeNetRendering.tgz
• ShapeNet 体素化模型 http://cvgl.stanford.edu/data2/ShapeNetVox32.tgz
• 训练好的 ResidualGRUNet 权重 http://cvgl.stanford.edu/data2/ResidualGRUNet.npy

安装

本包需要 Python 3。您可以在仓库内按照以下步骤安装虚拟环境，或者直接安装 Anaconda 以使用 Python 3。

• 克隆仓库

git clone https://github.com/chrischoy/3D-R2N2.git

• 设置 Anaconda 虚拟环境并安装依赖项（Anaconda 使用指南）

cd 3D-R2N2
conda create -n py3-theano python=3.6
source activate py3-theano
conda install pygpu
pip install -r requirements.txt

• 将 theanorc 文件复制到 $HOME 目录

cp .theanorc ~/.theanorc

运行 demo.py

• 安装 MeshLab（如果您已有其他网格查看器，可跳过此步骤）。若跳过此步骤，演示代码将无法可视化最终预测结果。

sudo apt-get install meshlab

• 运行演示代码并将最终的三维重建保存为名为 prediction.obj 的网格文件

python demo.py prediction.obj

演示代码使用同一把椅子的 3 张图像，生成如下重建结果。

图像 1	图像 2	图像 3	重建结果

• 完成后请停用您的环境

deactivate

训练网络

• 在运行实验之前，请先激活虚拟环境。

source py3/bin/activate

• 下载数据集并将其放置在名为 ShapeNet 的文件夹中

mkdir ShapeNet/
wget http://cvgl.stanford.edu/data2/ShapeNetRendering.tgz
wget http://cvgl.stanford.edu/data2/ShapeNetVox32.tgz
tar -xzf ShapeNetRendering.tgz -C ShapeNet/
tar -xzf ShapeNetVox32.tgz -C ShapeNet/

• 使用训练脚本训练和测试网络

./experiments/script/res_gru_net.sh

注意：如果您是首次运行 Theano，由于涉及多种编译操作，初始编译可能需要较长时间。后续运行时不会出现此问题。

使用 cuDNN

要使用 cuDNN 库，您需要从 NVIDIA 官网 下载 cuDNN。然后将文件解压到任意目录，并将该目录添加到环境变量中，如下所示。请将 /path/to/cuDNN/ 替换为您解压 cuDNN 的实际路径。

export LD_LIBRARY_PATH=/path/to/cuDNN/lib64:$LD_LIBRARY_PATH
export CPATH=/path/to/cuDNN/include:$CPATH
export LIBRARY_PATH=/path/to/cuDNN/lib64:$LD_LIBRARY_PATH

更多详情请参阅 http://deeplearning.net/software/theano/library/sandbox/cuda/dnn.html。

后续论文

Gwak 等人，《基于对抗约束的弱监督 3D 重建》（https://arxiv.org/abs/1705.10904），[项目网站](http://cvgl.stanford.edu/mcrecon/)

通过使用深度神经网络，有监督的 3D 重建取得了显著进展。然而，这种性能的提升需要大规模的 2D/3D 数据标注。在本文中，我们探索了一种低成本的 2D 监督方法，以替代昂贵的 3D CAD 标注。具体而言，我们利用前景掩码作为弱监督信号，通过一个光线追踪池化层实现透视投影和反向传播。此外，由于从掩码进行 3D 重建是一个不适定问题，我们提出将 3D 重建约束在与掩码观测匹配的未标注真实 3D 形状流形上。我们证明，求解这一约束优化问题的对数障碍法类似于 GAN 的目标函数，从而可以利用现有的 GAN 训练工具。我们在多个数据集上评估并分析了流形约束重建方法，适用于单视图和多视图的合成图像及真实图像的 3D 重建。

许可证

MIT 许可证

3D-R2N2 快速上手指南

3D-R2N2 (3D Recurrent Reconstruction Neural Network) 是一个统一的深度学习框架，用于从单张或多张二维图像重建三维物体（体素化模型）。该项目基于 ECCV 2016 论文，核心创新在于提出了 3D 卷积 LSTM 结构，能够按任意顺序处理输入图像并逐步完善三维重建。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu，演示代码依赖 apt-get 安装 MeshLab)
• Python 版本: Python 3.6 (项目基于 Theano，对版本较敏感)
• 硬件要求: NVIDIA GPU (可选但强烈推荐，需安装 CUDA 和 cuDNN 以加速训练和推理)
• 前置依赖:
  • Git
  • Anaconda 或 Miniconda (用于管理虚拟环境)
  • MeshLab (用于可视化生成的 .obj 网格文件)

注意：本项目主要依赖 Theano 和 pygpu。由于 Theano 已停止维护，建议在独立的虚拟环境中运行以避免依赖冲突。国内用户若遇到 conda 下载慢的问题，可配置清华或中科大镜像源。

安装步骤

1. 克隆代码库

git clone https://github.com/chrischoy/3D-R2N2.git
cd 3D-R2N2

2. 创建并激活虚拟环境

使用 Conda 创建名为 py3-theano 的环境并安装基础依赖：

conda create -n py3-theano python=3.6
source activate py3-theano
conda install pygpu
pip install -r requirements.txt

3. 配置 Theano

将项目提供的配置文件复制到用户主目录：

cp .theanorc ~/.theanorc

4. 安装可视化工具 (Linux)

如果不安装 MeshLab，演示脚本将无法显示最终的三维重建结果：

sudo apt-get install meshlab

5. (可选) 配置 cuDNN 加速

如果您拥有 NVIDIA GPU 并希望启用 cuDNN 加速，请下载对应版本的 cuDNN 并设置环境变量：

# 请将 /path/to/cuDNN/ 替换为您实际解压 cuDNN 的路径
export LD_LIBRARY_PATH=/path/to/cuDNN/lib64:$LD_LIBRARY_PATH
export CPATH=/path/to/cuDNN/include:$CPATH
export LIBRARY_PATH=/path/to/cuDNN/lib64:$LD_LIBRARY_PATH

基本使用

运行演示示例 (Demo)

项目提供了一个简单的演示脚本，它使用三张同一物体的不同视角图片生成三维重建模型。

运行以下命令，程序将下载预训练权重，处理示例图片，并输出名为 prediction.obj 的网格文件：

python demo.py prediction.obj

运行完成后，您可以使用 MeshLab 打开 prediction.obj 查看重建效果。

训练网络 (进阶)

如果您希望从头训练模型，需要先下载数据集。

1. 激活环境：

   source activate py3-theano
   

   (注：若之前已激活可跳过此步)

2. 下载数据集： 创建目录并下载 ShapeNet 渲染图和体素模型：

   mkdir ShapeNet/
   wget http://cvgl.stanford.edu/data2/ShapeNetRendering.tgz
   wget http://cvgl.stanford.edu/data2/ShapeNetVox32.tgz
   tar -xzf ShapeNetRendering.tgz -C ShapeNet/
   tar -xzf ShapeNetVox32.tgz -C ShapeNet/
   

   提示：国内用户若 wget 速度较慢，可尝试使用迅雷等工具下载后手动放入 ShapeNet 目录。

3. 开始训练： 运行提供的实验脚本（首次运行因需编译 Theano 代码，耗时可能较长）：

   ./experiments/script/res_gru_net.sh
   

退出环境

使用完毕后，退出虚拟环境：

deactivate