GauStudio 是一个模块化框架，支持并加速 3D 高斯点渲染（3DGS）及其多样化应用领域的研究与开发。

论文 | 文档（即将发布）

以下是优化后的文本，结构和流程更清晰：

数据集

百度网盘下载 | Hugging Face 下载（即将发布）

为全面评估 3DGS 方法在多种光照条件、材质和几何结构下的鲁棒性，我们整理了以下数据集：

1. 5 个 COLMAP 格式合成数据集

我们整合了 5 个合成数据集：nerf_synthetic, refnerf_synthetic, nero_synthetic, nsvf_synthetic, 和 BlendedMVS，共计 143 个复杂的真实场景。为确保兼容性，我们使用 COLMAP 基于原始位姿进行特征匹配和三角化，统一将所有数据转换为 COLMAP 格式。

2. 高质量法线标注与 LoFTR 初始化的现实场景

• COLMAP 格式 MuSHRoom：为解决获取室内场景数据（如 ScanNet++）的困难，我们基于公开的 MuSHRoom 数据集处理并生成 COLMAP 兼容数据。请注意在原始许可下使用此数据。

• 更完整的水塔与寺庙：为解决 Tanks and Temples 测试集缺乏地面真实位姿的问题，我们将 MVSNet 提供的位姿信息转换为 COLMAP 格式数据。这支持算法在更广泛的室内外场景中进行评估。排行榜提交脚本将在后续版本中发布。

• 法线标注与 LoFTR 初始化 为解决稀疏视角和镜面高光区域等建模挑战，我们基于私有模型标注了高质量且时间一致的法线数据，为室内外和无界场景的 3DGS 重建提供了新途径。标注代码将很快发布。此外，我们提供基于 LoFTR 的初始点云以支持更好的初始化。

安装

在安装软件前，请注意以下步骤已在 Ubuntu 20.04 上测试通过。如果在 Windows 上安装过程中遇到问题，我们愿意协助解决。

依赖项

• 配备至少 6GB VRAM 的 NVIDIA 显卡
• 安装 CUDA
• Python >= 3.8

可选步骤：创建 Conda 环境

建议在安装前创建 Conda 环境。您可以使用以下命令创建 Conda 环境：

# 创建新 Conda 环境
conda create -n gaustudio python=3.8
# 激活 Conda 环境
conda activate gaustudio

步骤 1：安装 PyTorch

您需要安装 PyTorch。软件已测试通过 torch1.12.1+cu113 和 torch2.0.1+cu118，其他版本也应正常工作。您可以使用 Conda 安装 PyTorch：

# 安装 PyTorch 1.12.1+cu113 示例命令
conda install pytorch=1.12.1 torchvision=0.13.1 cudatoolkit=11.3 -c pytorch

# 安装 PyTorch 2.0.1+cu118 示例命令
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

步骤 2：安装依赖项

运行以下命令安装必要依赖项：

pip install -r requirements.txt

步骤 3：安装定制化 Rasterizer 和 Gaustudio

cd submodules/gaustudio-diff-gaussian-rasterization
python setup.py install
cd ../../
python setup.py develop

可选步骤：安装 PyTorch3D

如果您需要网格渲染和进一步的网格优化，可以按照 链接 安装 PyTorch3D：

快速入门

3DGS 的网格提取

准备输入数据

我们目前支持由大多数高斯点渲染方法（如 3DGS、mip-splatting、GaussianPro）生成的输出目录，其最小结构如下：

- output_dir
    - cameras.json (必需)
    - point_cloud 
        - iteration_xxxx
            - point_cloud.ply (必需)

我们正在准备一些 演示数据（即将发布） 用于快速启动测试。

运行网格提取

要从输入数据中提取网格，运行以下命令：

gs-extract-mesh -m ./data/1750250955326095360_data/result -o ./output/1750250955326095360_data

将 ./data/1750250955326095360_data/result 替换为您的输入输出目录路径。 将 ./output/1750250955326095360_data 替换为输出网格的期望路径。

将纹理绑定到网格

输出数据格式与 mvs-texturing 相同。按照以下步骤为网格添加纹理：

• 在您的系统上编译 mvs-texturing 仓库。
• 将 build/bin 目录添加到您的 PATH 环境变量。
• 导航到包含网格的输出目录。
• 运行以下命令：

texrecon ./images ./fused_mesh.ply ./textured_mesh --outlier_removal=gauss_clamping --data_term=area --no_intermediate_results

发布计划

GauStudio 将在未来支持更多基于 3DGS 的方法，如果您也对 GauStudio 感兴趣并希望改进它，欢迎提交 PR!

• 发布网格提取和渲染工具包
• 发布通用 nerf 和 neus 数据集加载器及预处理代码。
• 发布半密集、MVSplat 基础和 DepthAnything 基础的高斯初始化
• 发布完整训练流程
• 发布高斯天空建模和天空遮罩生成脚本
• 发布 VastGaussian 重实现
• 发布 Mip-Splatting、Scaffold-GS 和 Triplane-GS 训练
• 发布 'gs-viewer' 用于在线可视化和 'gs-compress' 用于 3DGS 后处理
• 发布 SparseGS 和 FSGS 训练
• 发布 Sugar 和 GaussianPro 训练

BibTeX

如果您发现本库对您的研究有帮助，请考虑引用：

@article{ye2024gaustudio,
  title={GauStudio: 一种模块化框架用于3D高斯点云渲染及更广泛的应用},
  author={Ye, Chongjie and Nie, Yinyu and Chang, Jiahao and Chen, Yuantao and Zhi, Yihao and Han, Xiaoguang},
  journal={arXiv preprint arXiv:2403.19632},
  year={2024}
}

许可证

本代码在MIT许可证下发布，除光栅化器部分外。我们欢迎商业合作以推动3DGS的应用并解决未解决的问题。如感兴趣，欢迎联系Chongjie（chongjieye@link.cuhk.edu.cn）

GauStudio 快速上手指南

环境准备

• 系统要求：Ubuntu 20.04（其他系统需自行适配）
• 硬件要求：NVIDIA显卡（至少6GB VRAM）
• 依赖项：
  • CUDA 已安装
  • Python 3.8+
  • COLMAP（用于数据预处理）

安装步骤

1. 创建conda环境（推荐）

   conda create -n gaustudio python=3.8
   conda activate gaustudio
   

2. 安装PyTorch

   # 使用国内镜像源（推荐）
   conda install pytorch=1.12.1 torchvision=0.13.1 cudatoolkit=11.3 -c pytorch
   # 或使用pip安装（需网络支持）
   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
   

3. 安装依赖

   pip install -r requirements.txt
   

4. 安装自定义模块

   cd submodules/gaustudio-diff-gaussian-rasterization
   python setup.py install
   cd ../../
   python setup.py develop
   

5. 可选安装PyTorch3D
   https://github.com/facebookresearch/pytorch3d/blob/main/INSTALL.md

基本使用

1. 提取网格（Mesh Extraction）

输入数据结构（需包含cameras.json和point_cloud目录）：

output_dir/
    cameras.json
    point_cloud/
        iteration_xxxx/
            point_cloud.ply

运行命令：

gs-extract-mesh -m ./data/1750250955326095360_data/result -o ./output/1750250955326095360_data

替换路径为实际输入输出目录

2. 绑定纹理（Texture Binding）

步骤：

1. 编译mvs-texturing
2. 将编译后的build/bin目录添加到PATH
3. 运行命令：

texrecon ./images ./fused_mesh.ply ./textured_mesh --outlier_removal=gauss_clamping --data_term=area --no_intermediate_results