EmbodiedSAM：实时在线分割任意3D物体

论文 | 项目主页 | 视频 | 中文解读

EmbodiedSAM：实时在线分割任意3D物体
Xiuwei Xu、Huangxing Chen、Linqing Zhao、Ziwei Wang、Jie Zhou、Jiwen Lu

在本工作中，我们提出了ESAM，这是一个高效的框架，利用视觉基础模型实现在线、实时、细粒度、通用且开放词汇的3D实例分割。

新闻

• [2025年4月3日]：支持自定义数据集！用户可按照这里在自己的数据上运行EmbodiedSAM。
• [2025年2月11日]：EmbodiedSAM被ICLR 2025选为口头报告！
• [2025年1月23日]：EmbodiedSAM以前2%的评分被ICLR 2025接收！
• [2024年8月22日]：代码和演示发布。

演示

现实场景：

卧室：

办公室：

演示文件稍大，请稍等片刻加载。欢迎访问主页，获取更完整的演示和详细介绍。

方法

方法流程图：

快速入门

关于环境搭建和数据集准备，请参考：

• 安装指南
• 数据集准备

关于训练与评估，请参考：

• 训练与评估

关于在提供的数据集或您自己的数据上进行可视化，请参考：

• 可视化演示

主要结果

我们提供了用于快速复现论文中报告结果的检查点。除了清华云之外，我们还将检查点和处理后的数据上传到了HuggingFace。点击这里了解更多详情。

ScanNet200数据集上的类无关3D实例分割结果：

方法	类型	VFM	AP	AP@50	AP@25	速度(ms)	下载
SAMPro3D	离线	SAM	18.0	32.8	56.1	--	--
SAI3D	离线	SemanticSAM	30.8	50.5	70.6	--	--
SAM3D	在线	SAM	20.6	35.7	55.5	1369+1518	--
ESAM	在线	SAM	42.2	63.7	79.6	1369+80	模型
ESAM-E	在线	FastSAM	43.4	65.4	80.9	20+80	模型

从ScanNet200到SceneNN和3RScan的数据集迁移结果：

方法	类型	ScanNet200-->SceneNN			ScanNet200-->3RScan
		AP	AP@50	AP@25	AP	AP@50	AP@25
SAMPro3D	离线	12.6	25.8	53.2	3.9	8.0	21.0
SAI3D	离线	18.6	34.7	65.7	5.4	11.8	27.4
SAM3D	在线	15.1	30.0	51.8	6.2	13.0	33.9
ESAM	在线	28.8	52.2	69.3	14.1	31.2	59.6
ESAM-E	在线	28.6	50.4	71.0	13.9	29.4	58.8

ScanNet数据集上的3D实例分割结果：

方法	类型	ScanNet			SceneNN			FPS	下载
		AP	AP@50	AP@25	AP	AP@50	AP@25
TD3D	离线	46.2	71.1	81.3	--	--	--	--	--
Oneformer3D	离线	59.3	78.8	86.7	--	--	--	--	--
INS-Conv	在线	--	57.4	--	--	--	--	--	--
TD3D-MA	在线	39.0	60.5	71.3	26.0	42.8	59.2	3.5	--
ESAM-E	在线	41.6	60.1	75.6	27.5	48.7	64.6	10	模型
ESAM-E+FF	在线	42.6	61.9	77.1	33.3	53.6	62.5	9.8	模型

ScanNet200数据集上的开放词汇3D实例分割结果：

方法	AP	AP@50	AP@25
SAI3D	9.6	14.7	19.0
ESAM	13.7	19.2	23.9

待办事项清单

• 发布代码和检查点。
• 发布演示代码，以便直接在流式 RGB-D 视频上运行 ESAM。

贡献者

以下两位同学贡献相当，排名顺序由随机抽签决定：

• Xiuwei Xu
• Huangxing Chen

两人均由 Jiwen Lu 指导。

致谢

我们衷心感谢 Oneformer3D 和 Online3D 提供的灵活代码库，以及 ScanNet、SceneNN 和 3RScan 提供的宝贵数据集。

引用

@article{xu2024esam, 
      title={EmbodiedSAM: 在线实时分割任意 3D 物体}, 
      author={Xiuwei Xu 和 Huangxing Chen 和 Linqing Zhao 和 Ziwei Wang 和 Jie Zhou 和 Jiwen Lu},
      journal={arXiv 预印本 arXiv:2408.11811},
      year={2024}
}

ESAM (EmbodiedSAM) 快速上手指南

ESAM 是一个高效的框架，利用视觉基础模型实现在线、实时、细粒度且支持开放词汇的 3D 实例分割。该项目已入选 ICLR 2025 Oral。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• GPU: NVIDIA GPU (建议显存 ≥ 16GB，支持 CUDA 11.x 或更高版本)
• Python: Python 3.8 - 3.10
• 前置依赖:
  • PyTorch (与您的 CUDA 版本匹配)
  • MMDetection3D / MMSegmentation (通常包含在 requirements 中)
  • Git, CMake, GCC

提示：本项目依赖较多，强烈建议使用 conda 创建独立的虚拟环境。

2. 安装步骤

2.1 克隆项目

git clone https://github.com/xuxw98/ESAM.git
cd ESAM

2.2 创建并激活环境

conda create -n esam python=3.9 -y
conda activate esam

2.3 安装依赖

根据官方文档指引，安装核心依赖库。如果遇到网络问题，可配置国内镜像源（如清华源）加速。

# 配置 pip 国内镜像（可选，推荐国内用户）
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 PyTorch (请根据实际 CUDA 版本选择，以下为示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目其他依赖
pip install -r requirements.txt

2.4 编译扩展模块 (如有)

如果项目包含自定义 CUDA 算子，通常需要编译：

python setup.py develop

(注：具体编译命令请以仓库根目录下的 setup.py 或 docs/installation.md 为准)

2.5 下载预训练模型

您可以从清华大学云盘或 HuggingFace 下载检查点。国内用户推荐使用清华云盘链接。

• ESAM (基于 SAM): 下载链接
• ESAM-E (基于 FastSAM, 速度更快): 下载链接

将下载的 .pth 文件放置在项目指定的 checkpoints 目录下。

3. 基本使用

3.1 数据集准备

在使用前，需按照 Dataset Preparation 指南准备数据（如 ScanNet200）。若仅需测试演示效果，可先跳过此步，直接使用提供的 Demo 脚本。

3.2 运行可视化 Demo (最简单示例)

场景 A：在自有数据/视频流上运行

项目已支持直接对 RGB-D 视频流或自定义数据进行推理。请参考 Demo 指南。

假设您有一个 RGB-D 视频序列或文件夹，运行命令如下（具体参数需根据实际脚本调整）：

# 示例：运行自定义数据 Demo
python demo/demo_custom.py \
    --config configs/esam_demo.py \
    --checkpoint checkpoints/esam_e.pth \
    --input data/my_custom_scene \
    --output results/my_custom_scene

场景 B：在标准数据集上评估

若要复现论文结果或在 ScanNet200 上进行评估：

python tools/test.py \
    configs/esam_scannet200.py \
    checkpoints/esam.pth \
    --eval segm

3.3 关键参数说明

• --config: 模型配置文件路径。
• --checkpoint: 预训练权重路径。
• --input: 输入数据路径（支持单帧、序列或视频）。
• --online: 启用在线模式（默认通常为 True，体现 ESAM 实时特性）。

注意：ESAM-E 版本速度极快（约 20ms + 80ms），适合对实时性要求高的应用场景；标准 ESAM 版本精度略高但速度稍慢。请根据硬件条件选择合适的模型。