Make-It-3D：基于扩散先验的单张图像高保真 3D 重建（ICCV 2023）

项目页面 | 论文

唐俊澍, 王腾飞, 张博, 张婷, 易然, 马丽庄，以及 陈栋。

摘要

在本工作中，我们研究了仅从一张图像创建高保真 3D 内容的问题。这一任务本质上极具挑战性：它既需要估计潜在的 3D 几何结构，又需要同时“幻化”出未见的纹理。为应对这一挑战，我们利用一个训练有素的 2D 扩散模型所蕴含的先验知识，将其作为 3D 创建过程中的 3D 感知监督信号。我们的方法 Make-It-3D 采用两阶段优化流程：第一阶段通过结合参考图像正面视图的约束以及新颖视角下的扩散先验，优化神经辐射场；第二阶段则将粗略模型转换为带纹理的点云，并借助参考图像的高质量纹理和扩散先验进一步提升真实感。大量实验表明，我们的方法显著优于现有工作，能够生成忠实的重建结果和令人印象深刻的视觉质量。该方法首次实现了对通用物体从单张图像进行高质量 3D 重建，并支持文本到 3D 生成、纹理编辑等多种应用场景。

最新消息！

• :loudspeaker: Make-It-3D 的 Jittor 版本已在 Make-it-3D-Jittor 上线。欢迎试用！！

待办事项

• 发布粗略阶段训练代码
• 发布全部训练代码（粗略 + 精炼阶段)
• 发布论文中所有结果的 测试 alpha 数据

360° 几何演示

SAM + Make-It-3D

安装

使用 pip 安装：

    pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
    pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
    pip install git+https://github.com/openai/CLIP.git
    pip install git+https://github.com/huggingface/diffusers.git
    pip install git+https://github.com/huggingface/huggingface_hub.git
    pip install git+https://github.com/facebookresearch/pytorch3d.git
    pip install git+https://github.com/S-aiueo32/contextual_loss_pytorch.git

其他依赖项：

    pip install -r requirements.txt 
    pip install ./raymarching

训练所需条件

• DPT。我们使用现成的单目深度估计器 DPT 来预测参考图像的深度。

  git clone https://github.com/isl-org/DPT.git
  mkdir dpt_weights
  

  下载预训练模型 dpt_hybrid，并将其放入 dpt_weights 目录中。
• SAM。我们使用 Segment-anything 模型来获取前景对象的掩码。
• BLIP2。我们使用 BLIP2 生成描述性文字。您也可以通过 --text "{TEXT}" 自定义条件文本，这将大大缩短时间。
• Stable Diffusion。我们使用预训练的 2D Stable Diffusion 2.0 模型作为扩散先验。开始时，您可能需要一个 Hugging Face token 来访问该模型，或者使用 huggingface-cli login 命令。

训练

粗略阶段

我们采用渐进式训练策略来生成完整的 360° 3D 几何结构。运行以下命令，并修改工作空间名称 NAME 和参考图像路径 IMGPATH。首先我们在正面相机视角下优化场景。

    python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --iters 2000 

然后我们将相机视角样本扩展到整个 360°。如果您需要“背面视图”的提示条件，可以使用 --need_back 命令。

    python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 0 360 --albedo_iters 3500 --iters 5000 --final

如果遇到“几何结构过长”的问题，您可以尝试增加参考视场角并调整相关设置。例如：

    python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --iters 2000 --fov 60 --fovy_range 50 70 --blob_radius 0.2

精炼阶段

在粗略阶段训练完成后，现在您可以轻松使用 --refine 命令进行精炼阶段训练。我们会在正面相机视角下优化场景。

    python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --refine

您可以通过 --refine_iters 命令调整训练迭代次数。

    python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --refine_iters 3000 --refine

注意: 我们在精炼阶段额外使用了“上下文损失”，发现它有助于增强纹理细节。您可能需要在训练前安装 contextual_loss_pytorch。

    pip install git+https://github.com/S-aiueo32/contextual_loss_pytorch.git

重要提示

从单张通用场景图像中幻化出3D几何并生成新视角是一项极具挑战性的任务。尽管我们的方法在处理大多数以单一物体居中的图像时表现出强大的3D重建能力，但在复杂场景下仍可能难以准确重建完整的几何结构。如果您遇到任何问题，请随时与我们联系。

引用信息

如果您认为本代码对您的研究有所帮助，请引用以下文献：

@InProceedings{Tang_2023_ICCV,
    author    = {Tang, Junshu and Wang, Tengfei and Zhang, Bo and Zhang, Ting and Yi, Ran and Ma, Lizhuang and Chen, Dong},
    title     = {Make-It-3D: 基于扩散先验的单张图像高保真3D生成},
    booktitle = {IEEE/CVF国际计算机视觉会议（ICCV）论文集},
    month     = {十月},
    year      = {2023},
    pages     = {22819-22829}
}

致谢

本代码大量借鉴了Stable-Dreamfusion。

Make-It-3D 快速上手指南

Make-It-3D 是一个基于扩散模型先验，能够从单张图像生成高保真 3D 内容的开源工具。本指南将帮助您快速搭建环境并运行示例。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU: NVIDIA 显卡，显存建议 16GB 以上（支持 CUDA 11.3）
• Python: 3.8 或更高版本
• 编译器: 已安装 gcc 和 g++ (用于编译 raymarching 等扩展)
• Hugging Face Token: 访问 Stable Diffusion 模型需要登录 Hugging Face。

前置依赖模型

运行前需手动下载以下预训练模型并放置到指定目录：

1. DPT (深度估计): 下载 dpt_hybrid 放入 dpt_weights 文件夹。
2. SAM (分割模型): 代码会自动处理或参考 Segment Anything 官方仓库配置。
3. BLIP2 (描述生成): 用于自动生成提示词，也可手动指定。

2. 安装步骤

请按顺序执行以下命令来安装核心依赖。

第一步：安装 PyTorch 及基础库

pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

第二步：安装核心扩展与依赖

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
pip install git+https://github.com/openai/CLIP.git
pip install git+https://github.com/huggingface/diffusers.git
pip install git+https://github.com/huggingface/huggingface_hub.git
pip install git+https://github.com/facebookresearch/pytorch3d.git
pip install git+https://github.com/S-aiueo32/contextual_loss_pytorch.git

第三步：安装其他依赖与本地图形渲染模块

# 安装 requirements.txt 中的其余依赖
pip install -r requirements.txt 

# 编译并安装 raymarching 模块 (确保在当前项目根目录下)
pip install ./raymarching

第四步：准备辅助模型

# 克隆 DPT 深度估计模型仓库
git clone https://github.com/isl-org/DPT.git
mkdir dpt_weights
# 请将下载好的 dpt_hybrid-midas-501f0c75.pt 文件手动放入 dpt_weights 目录

注意：首次运行时，程序会自动尝试从 Hugging Face 下载 Stable Diffusion 模型。如果下载失败，请先运行 huggingface-cli login 输入您的 Token，或配置国内镜像源。

3. 基本使用

Make-It-3D 的训练分为两个阶段：粗糙阶段 (Coarse Stage) 和 细化阶段 (Refine Stage)。

阶段一：粗糙几何生成 (Coarse Stage)

此阶段优化神经辐射场 (NeRF)，生成基础的 360° 几何结构。

1. 初始化正面视图优化： 替换 ${NAME} 为您的工作空间名称，${IMGPATH} 为输入图片的路径。

   python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --iters 2000 
   

2. 扩展至 360° 全景： 继续优化以覆盖所有视角。

   python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 0 360 --albedo_iters 3500 --iters 5000 --final
   

   注：若遇到长条形物体几何重建问题，可添加 --fov 60 --fovy_range 50 70 --blob_radius 0.2 参数调整。

阶段二：纹理细化 (Refine Stage)

此阶段将粗糙模型转换为带纹理的点云，并利用上下文损失 (Contextual Loss) 提升纹理清晰度。

python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --refine

如需自定义细化迭代次数（默认为特定值，可根据需求调整）：

python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --phi_range 135 225 --refine_iters 3000 --refine

可选：自定义提示词

默认情况下工具会使用 BLIP2 自动生成图片描述。为了加快启动速度或控制生成风格，您可以直接指定文本提示：

python main.py --workspace ${NAME} --ref_path "${IMGPATH}" --text "a cute bunny cake" ... (其他参数)

训练完成后，结果将保存在 --workspace 指定的文件夹中，包含生成的 3D 模型及渲染视频。