MVDiffusion：基于对应感知扩散模型的全息多视角图像生成，（NeurIPS2023，亮点论文）

项目主页 | 论文 | 演示

引用

如果您在研究中使用了我们的工作，请按以下方式引用：

@article{tang2023MVDiffusion,
  title={MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion},
  author={Tang, Shitao and Zhang, Fuayng and Chen, Jiacheng and Wang, Peng and Yasutaka, Furukawa},
  journal={arXiv preprint 2307.01097},
  year={2023}
}

更新：MVDiffusion 现已能够将单视角图像外延生成 360 度全景视图。论文已更新。

安装

通过运行以下命令安装必要的包：

pip install -r requirements.txt

模型库

我们提供了以下基准结果和模型：

• 全景模型
• 全景外延模型
• 深度条件生成模型
• 深度预训练模型

请将这些文件放置在 'MVDiffusion/weights' 目录下。

演示

运行以下命令测试演示：

• 文本条件生成

python demo.py --text "这间厨房是乡村风格与现代设计的迷人融合，中央设有一座由回收木材制成的大岛台，台面为大理石材质，水槽四周环绕着橱柜。岛台左侧矗立着一台不锈钢冰箱，右侧则是一排涂成柔和色调的木质嵌入式橱柜。"

• 双重条件生成

python demo.py --text_path assets/prompts.txt --image_path assets/outpaint_example.png

数据

• 全景生成：请从 matterport3D 下载天空盒数据及标签链接。

├── data
    ├── mp3d_skybox
      ├── train.npy
      ├── test.npy
      ├── 5q7pvUzZiYa
        ├──blip3
        ├──matterport_skybox_images
      ├── 1LXtFkjw3qL
      ├── ....

• 多视角深度条件生成：请从 scannet 下载数据、训练标签以及测试标签。

├── data
    ├── scannet
      ├── train
        ├── scene0435_01
          ├── color
          ├── depth
          ├── intrinsic
          ├── pose
          ├── prompt
          ├── key_frame_0.6.txt
          ├── valid_frames.npy
      ├── test

测试

执行以下脚本进行测试：

• sh test_pano.sh: 在 Matterport3D 测试集中生成 8 张多视角全景图像。
• sh test_pano_outpaint.sh: 在 Matterport3D 测试集中生成 8 张基于单张图像条件的多视角外延图像。
• sh test_depth_fix_frames.sh: 在 ScanNet 测试集中生成 12 张深度条件图像。
• sh test_depth_fix_interval.sh: 在 ScanNet 测试集中生成一系列深度条件图像（每 20 帧一张）。
• sh test_depth_two_stage.sh: 在 ScanNet 测试集中生成一系列深度条件图像（关键帧），并插值中间帧。

运行 sh test_depth_fix_interval.sh 或 sh test_depth_two_stage.sh 后，您可以使用 TSDF 融合来获取带纹理的网格模型。

训练

执行以下脚本进行训练：

• sh train_pano.sh: 训练全景图像生成模型。
• sh train_pano_outpaint.sh: 训练全景图像外延模型。
• sh train_depth.sh: 训练深度条件生成模型。

自定义数据

全景生成：

1. 使用提供的工具 Equirec2Perspec，将全景图转换为 6 张天空盒图像。您将得到左、右、前、后、上、下六张图像。
2. 将全景图进一步转换为 8 张透视图像，每张图像捕捉 45 度水平视角。其中四张图像将与天空盒图像重叠，分别是左、右、前、后视图。
3. 获取透视图像后，可使用 BLIP2 为其生成提示词。

多视角深度到图像生成：

1. 使用 Scannet 格式：通常应遵循 Scannet 数据集的结构和格式。
2. 使用 BLIP2 为每张透视图像生成提示词。

许可证

本项目采用 MIT 许可证条款授权。

联系方式

如有任何问题，请随时联系 shitaot@sfu.ca。

MVDiffusion 快速上手指南

MVDiffusion 是一个基于扩散模型的多视图图像生成工具，支持从文本生成全景图、单图扩展为 360 度全景，以及基于深度图生成多视角图像。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 建议使用支持 CUDA 的 NVIDIA 显卡（显存建议 16GB+ 以运行全景生成任务）
• 依赖管理: pip

安装步骤

1. 克隆项目代码（假设已获取源码目录）：

   cd MVDiffusion
   

2. 安装 Python 依赖包：

   pip install -r requirements.txt
   

   提示：国内用户可使用清华源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型： 根据需求从 Model Zoo 下载对应的 .ckpt 文件（如 pano.ckpt, depth_gen.ckpt 等），并将其放入项目根目录下的 MVDiffusion/weights 文件夹中。若该文件夹不存在，请手动创建。

基本使用

1. 文本生成全景图 (Text-conditioned Generation)

运行以下命令，根据文本描述生成 8 张不同视角的全景图像：

python demo.py --text "This kitchen is a charming blend of rustic and modern, featuring a large reclaimed wood island with marble countertop, a sink surrounded by cabinets. To the left of the island, a stainless-steel refrigerator stands tall. To the right of the sink, built-in wooden cabinets painted in a muted."

2. 单图扩展全景 (Dual-conditioned Outpainting)

如果你有一张参考图片并希望将其扩展为 360 度全景，可以使用双条件生成模式：

python demo.py --text_path assets/prompts.txt --image_path assets/outpaint_example.png

注：需确保 assets/prompts.txt 中包含对应的文本提示，且 assets/outpaint_example.png 为输入图像。

3. 基于深度图生成 (Depth-conditioned Generation)

若需利用深度信息控制生成过程，请确保已下载深度相关模型及 ScanNet 格式数据，并运行相应的测试脚本（如 sh test_depth_fix_frames.sh）。

生成结果将保存在默认输出目录中，后续可结合 TSDF fusion 工具重建带纹理的 3D 网格。