[CVPR 2024] GaussianEditor: 基于高斯溅射的快速可控3D编辑

Yiwen Chen^*1,2, Zilong Chen^*3, Chi Zhang², Feng Wang³, Xiaofeng Yang²,
Yikai Wang³, Zhongang Cai⁴ Lei Yang⁴ Huaping Liu³ Guosheng Lin^**1,2
*同等贡献。 ^**通讯作者。
¹S-Lab, 南洋理工大学,
²南洋理工大学计算机科学与工程学院,
³清华大学计算机科学与技术系, ⁴商汤科技研究院,

演示视频

仅需2-7分钟即可实现快速可控的3D编辑。

https://github.com/buaacyw/GaussianEditor/assets/52091468/10740174-3208-4408-b519-23f58604339e

https://github.com/buaacyw/GaussianEditor/assets/52091468/44797174-0242-4c82-a383-2d7b3d4fd693

https://github.com/buaacyw/GaussianEditor/assets/52091468/18dd3ef2-4066-428a-918d-c4fe673d0af8

发布更新

• [12/5] Docker支持。感谢 jhuangBU 的贡献。对于Windows用户，可以尝试这个指南和这个指南。
• [11/29] 发布分割置信度缩放器。现在你可以调整语义追踪掩码的阈值。
• [11/27] 🔥 发布GaussianEditor: 基于高斯溅射的快速可控3D编辑以及GaussianEditing WebUI测试版。

目录

• 演示视频
• 发布更新
• 目录
• 安装
• WebUI使用指南
• 如何获得更好的效果
• 命令行
• 待办事项
• 常见问题

安装

我们的环境已在Ubuntu 22、CUDA 11.8（3090、A5000和A6000显卡）上测试通过。

1. 克隆仓库并创建conda环境

git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (选项一) 通过conda安装
conda env create -f environment.yaml

# (选项二) 你也可以通过pip安装
# CUDA版本 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA版本 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (选项三) 如果以上两个选项都失败，请尝试：
# 对于CUDA 11.8
bash install.sh

2. (可选) 安装我们分叉的viser [WebUI需要]

mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (可选) 下载Wonder3D检查点 [用于添加功能]

sh download_wonder3d.sh

WebUI使用指南

请注意，我们的WebUI目前处于测试版。WebUI由Viser驱动，即使在远程服务器上受限的情况下你也可以使用我们的WebUI。详细信息请参阅WebUI使用指南。

如何获得更好的效果

3D编辑的需求非常多样化。例如，如果你只想更改纹理和材质，或者大幅修改几何体，很明显一套通用的超参数并不能满足所有场景。因此，我们无法提供一个在所有情况下都有效的默认超参数设置。因此，如果你的结果不符合预期，请参阅我们的超参数调优文档。在其中，我们详细介绍了每个超参数的功能，并针对遇到特定问题时应该调整哪些参数提供了建议。

命令行

我们还提供了GaussianEditor的命令行版本。与WebUI一样，你需要指定预训练高斯（Gaussians）和COLMAP输出的路径，具体见此处。 请查看script文件夹中的脚本。只需将data.source更改为你COLMAP输出的目录，将system.gs_source更改为你预训练的高斯，然后运行我们的演示脚本即可。

待办事项

感谢你的耐心等待，仓库仍在持续完善中。

• 超参数调优教程。
• WebUI分步教程。
• 实现WebUI测试版和GaussianEditor。

常见问题

• 编辑（Edit）效果不佳。 我们使用InstructPix2Pix生成编辑后的2D图像作为编辑指导。不幸的是，InstructPix2Pix仅支持有限的提示词，如果你不确定文本提示词是否有效，请先尝试这里。
• 添加（Add）效果不佳。 我们使用ControlNet-Inpainting先生成2D图像修复，然后将其转换到3D。同样地，它对不好的提示词也不起作用。请尝试扩大你的修复掩膜并尝试更多随机种子。
• 分割（Segmentation）效果不佳。 尝试调整分割阈值，这会改变分割的置信度分数。
• DPT权重缺失。 请阅读这个问题

##致谢

我们的代码基于这些优秀的开源项目：

• Gaussian Splatting
• Wonder3D
• Threestudio
• Viser
• InstructNerf2Nerf
• InstructPix2Pix
• Controlnet

GaussianEditor 快速上手指南

GaussianEditor 是基于 3D Gaussian Splatting 的快速可控 3D 编辑工具，支持在 2-7 分钟内完成场景编辑。

环境要求

• 系统：Ubuntu 22
• GPU：NVIDIA 3090 / A5000 / A6000
• CUDA：11.7 或 11.8
• 显存：建议 24GB 以上

安装步骤

1. 克隆仓库

git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

2. 创建环境（选择一种方式）

方式一：使用 conda（推荐）

conda env create -f environment.yaml

方式二：使用 pip

# CUDA 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

方式三：自动安装脚本

bash install.sh

3. （可选）安装 WebUI 依赖

mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

4. （可选）下载 Wonder3D 模型（用于 Add 功能）

sh download_wonder3d.sh

基本使用

使用 WebUI（推荐）

启动 WebUI 服务：

python -m gaussianeditor.webui

启动后访问显示的本地地址（支持远程服务器），即可通过浏览器进行可视化编辑。

使用命令行

编辑 script 目录下的示例脚本，将 data.source 改为你的 COLMAP 输出目录，system.gs_source 改为预训练的 Gaussian 模型路径，然后运行：

python scripts/your_script.py

注意事项

• 首次使用建议通过 WebUI 熟悉功能
• 若编辑效果不理想，可参考 hyperparameter.md 调整参数
• Edit 功能依赖 InstructPix2Pix，Add 功能依赖 Wonder3D 和 ControlNet