大型多视角高斯模型

这是 LGM：用于高分辨率3D内容创作的大型多视角高斯模型 的官方实现。

项目页面 | Arxiv | 权重 |

https://github.com/3DTopia/LGM/assets/25863658/cf64e489-29f3-4935-adba-e393a24c26e8

新闻

[2024.4.3] 感谢 @yxymessi 和 @florinshen，我们修复了一个 旋转归一化中的严重错误 这里。我们使用正确的归一化对模型进行了额外的30轮微调，并上传了新的检查点。

复现演示：

• 高斯点云：演示 | 代码
• 网格：演示 | 代码

感谢 @camenduru！

安装

# 需要安装xformers！详情请参阅 https://github.com/facebookresearch/xformers。
# 例如，我们使用 torch 2.1.0 + cuda 11.8
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118
pip install -U xformers --index-url https://download.pytorch.org/whl/cu118

# 修改后的高斯泼溅（+深度、alpha渲染）
git clone --recursive https://github.com/ashawkey/diff-gaussian-rasterization
pip install ./diff-gaussian-rasterization

# 用于网格提取
pip install git+https://github.com/NVlabs/nvdiffrast

# 其他依赖
pip install -r requirements.txt

预训练权重

我们的预训练权重可以从 huggingface 下载。

例如，下载用于推理的fp16模型：

mkdir pretrained && cd pretrained
wget https://huggingface.co/ashawkey/LGM/resolve/main/model_fp16_fixrot.safetensors
cd ..

对于 MVDream 和 ImageDream，我们使用一个 diffusers 实现。它们的权重将会自动下载。

推理

推理大约需要10GB显存（加载所有imagedream、mvdream以及我们的LGM）。

### 用于文本/图像转3D的gradio应用
python app.py big --resume pretrained/model_fp16.safetensors

### 测试
# --workspace：保存输出（*.ply 和 *.mp4）的文件夹
# --test_path：包含图片的文件夹路径，或单张图片
python infer.py big --resume pretrained/model_fp16.safetensors --workspace workspace_test --test_path data_test 

### 本地GUI可视化保存的ply文件
python gui.py big --output_size 800 --test_path workspace_test/saved.ply

### 网格转换
python convert.py big --test_path workspace_test/saved.ply

更多选项，请查看 options。

训练

注意： 由于我们在训练中使用的数据集基于AWS，因此无法直接在新环境中用于训练。我们提供了必要的训练代码框架，请检查并修改 dataset 的实现！

我们还提供了用于训练LGM的 ~8万件 Objaverse 子集，位于 objaverse_filter 中。

# 调试训练
accelerate launch --config_file acc_configs/gpu1.yaml main.py big --workspace workspace_debug

# 训练（多节点训练请使用slurm）
accelerate launch --config_file acc_configs/gpu8.yaml main.py big --workspace workspace

致谢

本工作建立在许多令人惊叹的研究成果和开源项目之上，非常感谢所有作者的分享！

• gaussian-splatting 和 diff-gaussian-rasterization
• nvdiffrast
• dearpygui
• tyro

引用

@article{tang2024lgm,
  title={LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation},
  author={Tang, Jiaxiang and Chen, Zhaoxi and Chen, Xiaokang and Wang, Tengfei and Zeng, Gang and Liu, Ziwei},
  journal={arXiv preprint arXiv:2402.05054},
  year={2024}
}

LGM 快速上手指南

LGM (Large Multi-View Gaussian Model) 是一个用于高分辨率 3D 内容生成的开源模型，支持从文本或单张图像快速生成 3D 高斯溅射（Gaussian Splatting）表示。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU: NVIDIA 显卡，显存建议 10GB 以上（推理时需同时加载 MVDream, ImageDream 和 LGM 模型）。
• CUDA: 推荐 CUDA 11.8 或更高版本。
• Python: 3.8+
• 前置依赖:
  • xformers: 必须安装，用于加速注意力机制。
  • git: 用于克隆子模块。

注意：本项目强依赖 xformers，请务必根据您的 PyTorch 和 CUDA 版本选择对应的安装方式。

安装步骤

以下命令基于 PyTorch 2.1.0 + CUDA 11.8 环境。如果您使用其他版本，请参考 PyTorch 官网 调整安装命令。

1. 安装 PyTorch 和 xformers

# 安装指定版本的 torch (示例为 cu118)
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

# 安装 xformers (需与 torch 版本匹配)
pip install -U xformers --index-url https://download.pytorch.org/whl/cu118

(国内用户若下载缓慢，可尝试使用清华源或阿里源替换 --index-url)

2. 安装自定义高斯溅射渲染器

该项目需要一个支持深度和 Alpha 渲染的修改版 diff-gaussian-rasterization。

git clone --recursive https://github.com/ashawkey/diff-gaussian-rasterization
pip install ./diff-gaussian-rasterization

3. 安装网格提取依赖

如需将高斯模型转换为网格（Mesh），需安装 nvdiffrast。

pip install git+https://github.com/NVlabs/nvdiffrast

4. 安装其他依赖

pip install -r requirements.txt

5. 下载预训练权重

从 Hugging Face 下载修复了旋转归一化问题的 FP16 模型：

mkdir pretrained && cd pretrained
wget https://huggingface.co/ashawkey/LGM/resolve/main/model_fp16_fixrot.safetensors
cd ..

(注：MVDream 和 ImageDream 的权重会在首次运行时自动下载)

基本使用

启动 Web 界面 (推荐)

最简单的方式是启动 Gradio 界面，支持文本生成 3D 或图片生成 3D。

python app.py big --resume pretrained/model_fp16_fixrot.safetensors

运行后在浏览器打开显示的本地地址即可操作。

命令行推理

如果您希望通过命令行直接生成，可以使用 infer.py。

示例：从文件夹中的图片生成 3D

# --workspace: 输出目录
# --test_path: 输入图片路径（单张图片或包含图片的文件夹）
python infer.py big --resume pretrained/model_fp16_fixrot.safetensors --workspace workspace_test --test_path data_test

生成结果（.ply 文件和预览视频 .mp4）将保存在 workspace_test 目录中。

查看结果

使用内置 GUI 查看生成的 .ply 文件：

python gui.py big --output_size 800 --test_path workspace_test/saved.ply

转换为网格 (可选)

将高斯溅射文件转换为通用的 3D 网格格式：

python convert.py big --test_path workspace_test/saved.ply