多产梦者

官方实现 [ProlificDreamer：基于变分分数蒸馏的高保真度与多样化文本到3D生成]，发表于 NeurIPS 2023（亮点论文）。

安装

该代码库基于 stable-dreamfusion 构建。安装步骤如下：

pip install -r requirements.txt

训练

ProlificDreamer 包含三个阶段，用于实现高保真度的文本到3D生成。

# --------- 第一阶段（NeRF，VSD 引导） --------- #
# 此阶段约需 27GB 显存，渲染分辨率为 512x512
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 25000 --lambda_entropy 10 --scale 7.5 --n_particles 1 --h 512  --w 512 --workspace exp-nerf-stage1/
# 如果发现结果模糊，可以增大 --lambda_entropy 参数值。例如：
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 25000 --lambda_entropy 100 --scale 7.5 --n_particles 1 --h 512  --w 512 --workspace exp-nerf-stage1/
# 使用多个粒子进行生成。请注意，多粒子生成仅在第一阶段支持。
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 100000 --lambda_entropy 10 --scale 7.5 --n_particles 4 --h 512  --w 512 --t5_iters 20000 --workspace exp-nerf-stage1/

# --------- 第二阶段（几何精炼） --------- #
# 此阶段所需显存小于 20GB
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 15000 --scale 100 --dmtet --mesh_idx 0  --init_ckpt /path/to/stage1/ckpt --normal True --sds True --density_thresh 0.1 --lambda_normal 5000 --workspace exp-dmtet-stage2/
# 若生成结果中存在大量浮动面片，可适当提高 --density_thresh 的值。请注意，--density_thresh 的值在第二、第三阶段必须保持一致。
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 15000 --scale 100 --dmtet --mesh_idx 0  --init_ckpt /path/to/stage1/ckpt --normal True --sds True --density_thresh 0.4 --lambda_normal 5000 --workspace exp-dmtet-stage2/

# --------- 第三阶段（纹理化，VSD 引导） --------- #
# 使用 512x512 分辨率的光栅化进行纹理化
CUDA_VISIBLE_DEVICES=0 python main.py --text "一个菠萝。" --iters 30000 --scale 7.5 --dmtet --mesh_idx 0  --init_ckpt /path/to/stage2/ckpt --density_thresh 0.1 --finetune True --workspace exp-dmtet-stage3/

我们还提供了一个脚本，可自动运行这三个阶段。

bash run.sh gpu_id text_prompt

例如：

bash run.sh 0 "一个菠萝。"

局限性： (1) 我们的工作使用了原始的 Stable Diffusion 模型，未引入任何3D数据，因此生成结果中普遍存在多面性问题。若采用经过多视角图像微调的文本到图像扩散模型，则可有效缓解这一问题。 (2) 若生成效果不理想，请尝试更换不同的随机种子。当生成质量较好但存在多面性问题时，此方法尤为有效。

待办事项

• 发布我们的代码。
• 将 MVDream 与 VSD 结合，以缓解多面性问题。

相关链接

• ProlificDreamer 已集成至 Threestudio 库 ❤️。
• DreamCraft3D
• Fantasia3D
• Magic3D
• DreamFusion
• SJC
• Latent-NeRF

BibTeX

若您认为我们的工作对您的项目有所帮助，请考虑引用以下论文：

@inproceedings{wang2023prolificdreamer,
  title={ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation},
  author={Zhengyi Wang and Cheng Lu and Yikai Wang and Fan Bao and Chongxuan Li and Hang Su and Jun Zhu},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2023}
}

ProlificDreamer 快速上手指南

ProlificDreamer 是一个基于变分分数蒸馏（VSD）的高保真、多样化文本生成 3D 模型开源项目，发表于 NeurIPS 2023。本指南将帮助你快速在本地部署并运行该工具。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 需要 NVIDIA GPU
  • 阶段 1 (NeRF): 约需 27GB 显存 (渲染分辨率 512x512)
  • 阶段 2 & 3: 约需 <20GB 显存
• 软件依赖:
  • Python 3.x
  • CUDA Toolkit (版本需与 PyTorch 匹配)
  • Git

注意: 该项目基于 stable-dreamfusion 构建，请确保你的驱动和 CUDA 环境已正确配置以支持深度学习训练。

安装步骤

克隆代码库后，使用 pip 安装所需依赖。国内用户建议使用清华或阿里镜像源加速安装。

# 克隆仓库 (如果尚未克隆)
git clone https://github.com/ashawkey/prolificdreamer.git
cd prolificdreamer

# 安装依赖 (推荐使用国内镜像源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

ProlificDreamer 的生成过程分为三个阶段：阶段 1 (NeRF 初始化)、阶段 2 (几何细化) 和 阶段 3 (纹理优化)。

方式一：一键自动运行（推荐）

项目提供了脚本自动依次执行上述三个阶段，最适合快速上手。

# 用法：bash run.sh [GPU ID] "[文本提示词]"
# 示例：在 GPU 0 上生成一个菠萝
bash run.sh 0 "A pineapple."

方式二：分阶段手动运行

如果你需要自定义参数或调试特定阶段，可以按以下步骤手动执行。请将 /path/to/stageX/ckpt 替换为上一阶段实际生成的检查点路径。

阶段 1：NeRF 初始化 (VSD 引导)

此阶段消耗显存较大，生成基础 NeRF 表示。

CUDA_VISIBLE_DEVICES=0 python main.py --text "A pineapple." --iters 25000 --lambda_entropy 10 --scale 7.5 --n_particles 1 --h 512  --w 512 --workspace exp-nerf-stage1/

提示：如果结果模糊，可尝试增加 --lambda_entropy (例如设为 100)。

阶段 2：几何细化

基于阶段 1 的结果提取并优化网格几何。

CUDA_VISIBLE_DEVICES=0 python main.py --text "A pineapple." --iters 15000 --scale 100 --dmtet --mesh_idx 0  --init_ckpt exp-nerf-stage1/checkpoints/xxx.ckpt --normal True --sds True --density_thresh 0.1 --lambda_normal 5000 --workspace exp-dmtet-stage2/

提示：如果结果包含过多漂浮物，可增加 --density_thresh (例如设为 0.4)，且该值需在阶段 2 和 3 保持一致。

阶段 3：纹理优化 (VSD 引导)

对网格进行高分辨率纹理渲染和微调。

CUDA_VISIBLE_DEVICES=0 python main.py --text "A pineapple." --iters 30000 --scale 7.5 --dmtet --mesh_idx 0  --init_ckpt exp-dmtet-stage2/checkpoints/xxx.ckpt --density_thresh 0.1 --finetune True --workspace exp-dmtet-stage3/

生成完成后，结果将保存在对应的 workspace 目录中。