使用NeRFs在3D中分割任何内容（SA3D）

项目页面 | Arxiv论文 | 数据（Google Drive）

使用NeRFs在3D中分割任何内容
Jiazhong Cen^1*, Zanwei Zhou^1*, Jiemin Fang^2,3†, Chen Yang¹, Wei Shen^1✉, Lingxi Xie², Dongsheng Jiang², Xiaopeng Zhang², Qi Tian^2
1上海交通大学人工智能研究院   ²华为公司   ³华中科技大学电子信息学院。
*表示共同第一作者
†表示项目负责人。

只需给定一个NeRF模型，输入来自单个视角的提示，即可获得你的3D模型。

我们提出了一种全新的3D任意对象分割框架，命名为SA3D。给定一个神经辐射场（NeRF）模型，SA3D允许用户仅通过在单个渲染视图中进行一次手动提示，即可获得任意目标物体的3D分割结果。整个获取目标3D模型的过程大约只需2分钟，且无需任何工程优化。我们的实验表明，SA3D在不同场景中均表现出色，凸显了SAM在3D场景感知中的潜力。

更新

• 2025年4月3日：我们很高兴发布一个新的基于3D高斯泼溅（3D-GS）的3D分割数据集（点击下载）。该数据集包含具有严重遮挡、反射表面以及多粒度分割等挑战性场景。我们诚挚欢迎社区探索和使用！
• 2024年4月16日：我们发布了SA3D的3D-GS版本（点此查看）。现在只需几秒钟即可完成3D分割！
• 2023年11月11日：我们发布了SA3D的nerfstudio版本（点此查看）！目前仅支持文本提示作为输入。
• 2023年6月29日：我们现在支持将MobileSAM作为分割网络。请按照MobileSAM中的安装说明操作，然后将mobile_sam.pt下载到./dependencies/sam_ckpt文件夹中。你可以使用--mobile_sam参数切换到MobileSAM。

整体流程

通过输入提示，SAM会从相应视图中切割出目标物体。得到的2D分割掩码会通过密度引导的逆向渲染投影到3D掩码网格上。随后，其他视角的2D掩码也会被渲染出来，虽然这些掩码大多不完整，但它们会被用作跨视角的自我提示，再次输入到SAM中。最终可以得到完整的掩码，并将其投影到掩码网格上。这一过程以迭代方式进行，直到学习到准确的3D掩码为止。SA3D能够有效适应各种辐射场，而无需额外的设计调整。

安装步骤

git clone https://github.com/Jumpat/SegmentAnythingin3D.git
cd SegmentAnythingin3D

conda create -n sa3d python=3.10
conda activate sa3d
pip install -r requirements.txt

SAM与Grounding-DINO：

# 安装SAM
mkdir dependencies; cd dependencies 
mkdir sam_ckpt; cd sam_ckpt
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
git clone git@github.com:facebookresearch/segment-anything.git 
cd segment-anything; pip install -e .

# 安装Grounding-DINO
git clone https://github.com/IDEA-Research/GroundingDINO.git
cd GroundingDINO/; pip install -e .
mkdir weights; cd weights
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

数据下载

我们现已发布以下数据集的配置：

• 面向前方：LLFF
• 面向内侧：mip-NeRF360、LERF

数据结构：

data
├── 360_v2             # 链接：https://jonbarron.info/mipnerf360/
│   └── [bicycle|bonsai|counter|garden|kitchen|room|stump]
│       ├── poses_bounds.npy
│       └── [images|images_2|images_4|images_8]
│
├── nerf_llff_data     # 链接：https://drive.google.com/drive/folders/14boI-o5hGO9srnWaaogTU5_ji7wkX2S7
│   └── [fern|flower|fortress|horns|leaves|orchids|room|trex]
│       ├── poses_bounds.npy
│       └── [images|images_2|images_4|images_8]
│
└── lerf_data               # 链接：https://drive.google.com/drive/folders/1vh0mSl7v29yaGsxleadcj-LCZOE_WEWB
    └── [book_store|bouquet|donuts|...]
        ├── transforms.json
        └── [images|images_2|images_4|images_8]

使用方法

• 训练 NeRF

  python run.py --config=configs/llff/fern.py --stop_at=20000 --render_video --i_weights=10000
  

• 在 GUI 中运行 SA3D

  python run_seg_gui.py --config=configs/llff/seg/seg_fern.py --segment \
  --sp_name=_gui --num_prompts=20 \
  --render_opt=train --save_ckpt
  

• 渲染并保存飞越视频

  python run_seg_gui.py --config=configs/llff/seg/seg_fern.py --segment \
  --sp_name=_gui --num_prompts=20 \
  --render_only --render_opt=video --dump_images \
  --seg_type seg_img seg_density
  

运行 SA3D 时的一些提示：

• 当目标物体极其不规则时，例如 LLFF 场景中的 Fern 和 Trex，请增加 --num_prompts 参数；
• 使用 --seg_poses 指定用于训练 3D 掩码的相机位姿序列，其默认值为 'train'，可选值为 'train' 或 'video'。

使用我们基于 Dash 的 GUI：

• 选择要使用的提示类型，目前支持：点提示 和 文本提示；

  • 点提示: 在下拉菜单中选择 Points；点击原始图像以添加点提示，随后 SAM 将生成候选掩码；点击 Clear Points 可清除之前的输入；

    https://github.com/Jumpat/SegmentAnythingin3D/assets/58475180/9ae39cb2-6a1f-40a7-b7df-6b149e75358f

  • 文本提示: 在下拉菜单中选择 Text；输入您的文本提示并点击 Generate 获取候选掩码；请注意，不合理的文本输入可能导致错误。

    https://github.com/Jumpat/SegmentAnythingin3D/assets/58475180/ba934e0c-dc8a-472a-958c-2b6c4d6ee644

• 选择您想要分割的目标掩码；

• 点击 Start Training 开始运行 SA3D；我们将可视化渲染出的掩码以及由我们的跨视角自提示策略产生的 SAM 预测结果；

  https://github.com/Jumpat/SegmentAnythingin3D/assets/58475180/c5cc947e-8966-4ec5-9531-434a7b27eed5

• 等待几分钟即可看到最终的渲染结果。

  https://github.com/Jumpat/SegmentAnythingin3D/assets/58475180/9578ea7a-0947-4105-a65c-1f8de12d0bb5

待办事项清单

• 优化 GUI，例如：可以从任意训练视图开始、增加更多训练超参数选项等；
• 在 GUI 中支持两阶段流程；目前该功能可能存在一些 bug。

一些可视化示例

SA3D 可以处理各种场景的 3D 分割任务。更多演示请访问我们的 项目页面。

正面视角	360° 全景	多对象场景

致谢

感谢以下项目及其贡献者提供的宝贵支持：

• Segment Anything
• DVGO
• Grounding DINO

引用

如果您觉得本项目对您的研究有所帮助，请考虑引用相关报告并给予 ⭐ 支持。

@inproceedings{cen2023segment,
      title={Segment Anything in 3D with NeRFs}, 
      author={Jiazhong Cen and Zanwei Zhou and Jiemin Fang and Chen Yang and Wei Shen and Lingxi Xie and Dongsheng Jiang and Xiaopeng Zhang and Qi Tian},
      booktitle    = {NeurIPS},
      year         = {2023},
}

@article{cen2025segment,
      title={Segment Anything in 3D with Radiance Fields}, 
      author={Jiazhong Cen and Jiemin Fang and Zanwei Zhou and Chen Yang and Lingxi Xie and Xiaopeng Zhang and Wei Shen and Qi Tian},
      journal    = {IJCV},
      year         = {2025},
}

SegmentAnythingin3D (SA3D) 快速上手指南

SA3D 是一个基于 NeRF（神经辐射场）的 3D 分割框架。用户只需在单个渲染视图中提供一次提示（点选或文本），即可在约 2 分钟内获得目标物体的完整 3D 分割模型。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python 版本: 3.10
• 硬件要求: 需要 NVIDIA GPU 支持 CUDA
• 前置依赖:
  • Conda (推荐用于环境管理)
  • Git
  • CUDA Toolkit (需与 PyTorch 版本匹配)

注意：本项目依赖 segment-anything 和 GroundingDINO，安装过程中需要编译部分 C++/CUDA 代码，请确保已安装 build-essential 和对应的 CUDA 开发包。

安装步骤

1. 克隆项目并创建环境

git clone https://github.com/Jumpat/SegmentAnythingin3D.git
cd SegmentAnythingin3D

conda create -n sa3d python=3.10
conda activate sa3d

# 建议配置国内镜像源加速下载
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt

2. 安装核心依赖 (SAM & Grounding-DINO)

请依次执行以下命令安装 Segment Anything (SAM) 和 Grounding-DINO 模型及权重：

# --- 安装 SAM ---
mkdir dependencies; cd dependencies 
mkdir sam_ckpt; cd sam_ckpt
# 下载 SAM 预训练权重
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
# 克隆并安装 segment-anything 库
git clone git@github.com:facebookresearch/segment-anything.git 
cd segment-anything; pip install -e .

# 返回上一级目录准备安装 Grounding-DINO
cd ../.. 

# --- 安装 Grounding-DINO ---
git clone https://github.com/IDEA-Research/GroundingDINO.git
cd GroundingDINO/; pip install -e .
mkdir weights; cd weights
# 下载 Grounding-DINO 预训练权重
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

(可选) 若需使用轻量级模型 MobileSAM，请参考原文 README 中的 MobileSAM 章节进行额外安装。

3. 准备数据

下载测试数据集（如 LLFF 或 mip-NeRF360），并按照以下结构放置于 data 目录下：

data
├── 360_v2                 # mip-NeRF360 数据集
│   └── [bicycle|bonsai|...]
│       ├── poses_bounds.npy
│       └── images
├── nerf_llff_data         # LLFF 数据集
│   └── [fern|flower|...]
│       ├── poses_bounds.npy
│       └── images
└── lerf_data              # LERF 数据集
    └── [book_store|...]
        ├── transforms.json
        └── images

基本使用

本指南演示如何训练一个 NeRF 场景，并通过图形界面 (GUI) 进行交互式 3D 分割。

第一步：训练 NeRF 模型

以 fern 场景为例，训练 NeRF 模型：

python run.py --config=configs/llff/fern.py --stop_at=20000 --render_video --i_weights=10000

第二步：启动分割 GUI 进行交互

运行以下命令启动基于 Dash 的图形界面。该界面支持点提示 (Point Prompt) 和 文本提示 (Text Prompt)。

python run_seg_gui.py --config=configs/llff/seg/seg_fern.py --segment \
--sp_name=_gui --num_prompts=20 \
--render_opt=train --save_ckpt

操作流程：

1. 浏览器会自动打开 GUI 界面（若未自动打开，请访问终端显示的本地地址，通常为 http://127.0.0.1:8050）。
2. 选择提示类型：
   • 点提示：在下拉菜单选择 Points，点击原图添加提示点，SAM 将生成候选掩码。
   • 文本提示：在下拉菜单选择 Text，输入描述性文字（如 "a red flower"），点击 Generate。
3. 选择目标掩码：在生成的候选列表中点击选择正确的分割区域。
4. 开始训练：点击 Start Training 按钮。系统将利用跨视图自提示策略迭代优化 3D 掩码。
5. 查看结果：等待几分钟后，界面将展示最终的 3D 分割渲染结果。

第三步：导出视频（可选）

若需生成并保存飞越视角的分割视频，可运行：

python run_seg_gui.py --config=configs/llff/seg/seg_fern.py --segment \
--sp_name=_gui --num_prompts=20 \
--render_only --render_opt=video --dump_images \
--seg_type seg_img seg_density

提示：对于形状极不规则的物体（如 LLFF 数据集中的 Fern 或 Trex），建议在命令中增加 --num_prompts 的参数值以提高分割精度。