3D-LLM：将3D世界注入大型语言模型（NeurIPS 2023 Spotlight）

洪怡宁, 甄浩宇, 陈培豪, 郑书鸿, 杜一伦, 陈振芳, 甘闯

3D-LLM是首个能够以3D表示作为输入的大型语言模型。它既可以处理对象数据（如objaverse），也可以处理场景数据（如scannet和hm3d）。

安装

安装 salesforce-lavis

$ conda create -n lavis python=3.8
$ conda activate lavis

$ git clone https://github.com/salesforce/LAVIS.git SalesForce-LAVIS
$ cd SalesForce-LAVIS
$ pip install -e .

$ pip install positional_encodings

检查点

预训练检查点

预训练检查点已发布（请使用v2版本！）

微调检查点

针对ScanQA、SQA3d和3DMV_VQA的微调检查点已发布。 这些结果比预印本论文中的效果更好。我们很快会将最终版论文更新到arxiv上。

快速入门：推理

从这里下载objaverse子集特征。同时下载预训练检查点。更多详细信息，请参阅3DLLM_BLIP2-base/DEMO.md。

$ cd 3DLLM_BLIP2-base
$ conda activate lavis

python inference.py # 用于对象
python inference.py --mode room # 用于场景

待办事项：实现Hugging Face自动加载检查点。

微调

需要修改的微调配置yaml文件位于此目录。

1. 下载预训练检查点。在yaml文件中修改“resume_checkpoint_path”路径。
2. 下载问题，并在yaml文件中修改“annotations”路径。
3. 下载scannet特征或3dmv-vqa特征。在lavis/datasets/datasets/threedvqa_datasets.py中修改训练和验证数据的路径。

$ cd 3DLLM_BLIP2-base

$ conda activate lavis

python -m torch.distributed.run --nproc_per_node=8 train.py --cfg-path lavis/projects/blip2/train/<finetune_yaml_file>

您也可以从这里加载微调检查点。

5.计算分数

cd calculate_scores
python calculate_score_<task>.py --folder <your result dir> --epoch <your epoch>

请同时在脚本中修改特征和问题路径。

待办事项：实现Hugging Face自动加载检查点。

数据

所有数据将逐步在Google Drive和Hugging Face上发布（所有文件先在Google Drive上发布，随后再上传至Hugging Face。请参考Google Drive了解文件结构）。

预训练数据

我们仍在整理接地与导航部分的数据。其他所有预训练数据均已发布。

对象数据

 对象数据的语言标注已此处发布。

 如需下载Objaverse数据，请访问Objaverse官网。

 要获取Objaverse数据的3D特征和点云，请参考基于ChatCaptioner的3D语言数据生成中的步骤1和步骤3。

 一小部分objaverse特征已此处发布。

 待办事项：我们可能会发布完整的Objaverse 3D特征集。

场景数据

  语言数据在此处发布。

  3D特征和点云（约250G）已此处发布。然而，如果您想自行探索生成这些特征的方法，请参考三步3D特征提取部分。请使用v2版本，以确保与检查点一致，并获得更好的性能。

 聊天：73103条，任务：84531个

微调数据

用于微调ScanQA和SQA3D的Scannet的3D特征和点云已在此处发布。3DMV-VQA的3D特征和点云则在此处发布（3DMV-VQA数据将进一步更新，以使结构更加清晰）。

所有问题均可在此处找到。

3D语言数据生成

基于 ChatCaptioner 的三步 3D 特征提取（Objaverse）

第一步：从场景的不同视角渲染图像

请按照 3DLanguage_data/ChatCaptioner_based/objaverse_render/README.md 中的说明进行安装。

以下代码将渲染一个 Objaverse 场景的图像（例如 f6e9ec5953854dff94176c36b877c519）。渲染后的图像将保存在 3DLanguage_data/ChatCaptioner_based/objaverse_render/output 目录下。 （有关该命令的更多详细信息，请参阅 3DLanguage_data/ChatCaptioner_based/objaverse_render/README.md）

$ cd ./3DLanguage_data/ChatCaptioner_based/objaverse_render

$ {blender路径} -b -P render.py -noaudio --disable-crash-handler -- --uid f6e9ec5953854dff94176c36b877c519

第二步：为该 Objaverse 场景生成描述

安装：

请按照 ChatCaptioner 的说明安装环境。

以下代码将读取一个 Objaverse 场景的渲染图像（例如 f6e9ec5953854dff94176c36b877c519），并在 3DLanguage_data/ChatCaptioner_based/output 目录下生成场景描述。

$ cd ./3DLanguage_data/ChatCaptioner_based

$ python chatcaption.py --specific_scene f6e9ec5953854dff94176c36b877c519

第三步：从渲染图像中构建 3D 特征

请按照 3DLanguage_data/ChatCaptioner_based/gen_features/README.md 中的说明，从渲染图像中提取 3D 特征。

$ cd ./3DLanguage_data/ChatCaptioner_based/gen_features

基于 Box-Demonstration-Instruction 的方法

待完成

基于 Revision 的方法

待完成

三步 3D 特征提取（场景）

本节用于为场景数据构建 3D 特征。如果您已经下载了我们发布的场景数据，请跳过本节。

第一步

安装：

如果使用 Mask2Former 提取掩码，请按照其说明安装环境，并将 预训练权重 下载到当前目录。

如果使用 SAM 提取掩码，请按照 Segment Anything 的说明安装环境，并将 预训练权重 下载到当前目录。

使用 Mask2Former 提取掩码：

$ cd ./three_steps_3d_feature/first_step

$ python maskformer_mask.py --scene_dir_path 包含RGB图像的数据目录 --save_dir_path 您希望保存掩码的目录

使用 Segment Anything 提取掩码：

$ cd ./three_steps_3d_feature/first_step

$ python sam_mask.py --scene_dir_path 包含RGB图像的数据目录 --save_dir_path 您希望保存掩码的目录

完成第一步后，您应该会得到一个包含场景多视角图像掩码的目录（由 --save_dir_path 指定）。

第二步

注意：BLIP 特征适用于 LAVIS（BLIP2），CLIP 特征适用于 open-flamingo。

安装：与下面的 3D-LLM_BLIP2-based 部分相同，安装 salesforce-lavis。

有四种选择：(1) 使用 Mask2Former 掩码提取 CLIP 特征；(2) 使用 SAM 掩码提取 CLIP 特征；(3) 使用 Mask2Former 掩码提取 BLIP 特征；(4) 使用 SAM 掩码提取 BLIP 特征。

使用 Mask2Former 掩码提取 2D CLIP 特征：

$ cd ./three_steps_3d_feature/second_step/

$ python clip_maskformer.py --scene_dir_path 包含RGB图像的数据目录 --mask_dir_path 第一步生成的掩码目录 --save_dir_path 您希望保存特征的目录

其他选项的脚本格式类似。

完成第二步后，您应该会得到一个包含场景多视角图像 2D 特征的目录（由 --save_dir_path 指定）。

第三步

直接重建

安装：

请安装 Habitat 环境。

从多视角 2D 特征重建 3D 特征：

$ cd ./three_steps_3d_feature/third_step/

$ python sam_mask.py --data_dir_path 包含RGB图像的数据目录 --depth_dir_path 包含深度图像的数据目录 --feat_dir_path 第二步生成的特征目录

完成第三步后，您应该会为每个房间在对应的 RGB 数据目录中获得两个文件（pcd_pos.pt 和 pcd_feat.pt）。pcd_pos.pt 包含 3D 点云的点位置（形状：N * 3）。pcd_feat.pt 包含 3D 点云的点特征（形状：N * n_dim）。N 是点云中采样的点数（默认为 300,000），n_dim 是特征维度（CLIP 特征为 1024，BLIP 特征为 1408）。

GradSLAM（特征融合）

请参考 Concept Fusion。

我们还将发布我们复现的 Concept Fusion 版本，用于我们的特征生成（我们在他们正式发布之前就已复现了该论文）。

神经场

请参考 3D-CLR 仓库。

预训练

$ cd 3DLLM_BLIP2-base

$ conda activate lavis
# 使用 facebook/opt-2.7b:
$ 待完成
# 使用 flant5
$ python -m torch.distributed.run --nproc_per_node=8 train.py --cfg-path lavis/projects/blip2/train/pretrain.yaml

3D-LLM_flamingo-based

待完成。

引用

如果您觉得我们的工作有用，请考虑引用：

@article{3dllm,
 author = {Hong, Yining and Zhen, Haoyu and Chen, Peihao and Zheng, Shuhong and Du, Yilun and Chen, Zhenfang and Gan, Chuang},
 title = {3D-LLM: 将 3D 世界注入大型语言模型},
 journal = {NeurIPS},
 year = {2023},
} 

致谢

https://github.com/salesforce/LAVIS

https://github.com/facebookresearch/Mask2Former

https://github.com/facebookresearch/segment-anything

https://github.com/mlfoundations/open_flamingo

https://github.com/concept-fusion/concept-fusion

https://github.com/evelinehong/3D-CLR-Official

3D-LLM 快速上手指南

3D-LLM 是首个能够直接接受 3D 表示作为输入的大型语言模型，支持处理物体（如 Objaverse）和场景（如 ScanNet, HM3D）数据。

1. 环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.8
• 硬件要求: 需要 NVIDIA GPU 以支持模型推理和训练
• 前置依赖:
  • Conda (用于环境管理)
  • Git
  • CUDA Toolkit (需与 PyTorch 版本匹配)

注意：本项目基于 salesforce-lavis 构建，请确保网络通畅以下载相关依赖。国内用户若遇到下载缓慢，可配置 pip 使用清华或阿里镜像源。

2. 安装步骤

2.1 创建并激活 Conda 环境

conda create -n lavis python=3.8
conda activate lavis

2.2 安装 LAVIS 框架

克隆 Salesforce LAVIS 仓库并进行可编辑安装：

git clone https://github.com/salesforce/LAVIS.git SalesForce-LAVIS
cd SalesForce-LAVIS
pip install -e .

2.3 安装额外依赖

安装位置编码库：

pip install positional_encodings

2.4 获取预训练权重

下载预训练检查点（请务必使用 v2 版本以获得最佳效果）：

• 预训练权重: Google Drive 下载链接
• 微调权重 (ScanQA, SQA3d, 3DMV_VQA): Google Drive 下载链接

下载完成后，请将权重文件放置在项目相应目录下（具体路径参考后续推理脚本或配置文件）。

2.5 准备测试数据 (可选)

如需快速测试物体推理，请下载 Objaverse 子集特征：

• Objaverse 特征子集: Google Drive 下载链接

3. 基本使用 (推理)

以下演示如何进行最简单的推理操作。请确保已激活 lavis 环境并进入项目基础目录。

3.1 启动推理

进入主目录并激活环境：

cd 3DLLM_BLIP2-base
conda activate lavis

场景 A：物体推理 (Object Inference)

针对单个 3D 物体进行问答或描述生成：

python inference.py

场景 B：场景推理 (Scene Inference)

针对 3D 室内场景（如房间）进行推理：

python inference.py --mode room

提示: 更多详细的参数配置和 Demo 说明，请参考项目内的 3DLLM_BLIP2-base/DEMO.md 文件。

---

注：如需进行微调（Finetuning），需修改对应的 yaml 配置文件中的检查点路径、标注文件路径及数据集特征路径，并使用多卡分布式训练命令启动。详细步骤请参阅原始文档的 "Finetuning" 章节。