SAM 3：基于概念的任意分割

Meta 超级智能实验室

Nicolas Carion*， Laura Gustafson*， Yuan-Ting Hu*， Shoubhik Debnath*， Ronghang Hu*， Didac Suris*， Chaitanya Ryali*， Kalyan Vasudev Alwala*， Haitham Khedr*，Andrew Huang， Jie Lei， Tengyu Ma， Baishan Guo， Arpit Kalla，Markus Marks， Joseph Greer， Meng Wang，Peize Sun， Roman Rädle， Triantafyllos Afouras， Effrosyni Mavroudi， Katherine Xu°， Tsung-Han Wu°， Yu Zhou°， Liliane Momeni°， Rishi Hazra°， Shuangrui Ding°， Sagar Vaze°， Francois Porcher°， Feng Li°， Siyuan Li°， Aishwarya Kamath°， Ho Kei Cheng°， Piotr Dollar†， Nikhila Ravi†， Kate Saenko†， Pengchuan Zhang†， Christoph Feichtenhofer†

* 核心贡献者，° 实习生，† 项目负责人，组内顺序随机

[论文] [项目] [演示] [博客] [BibTeX]

SAM 3 是一种统一的基础模型，用于对图像和视频进行可提示分割。它能够使用文本或视觉提示（如点、框和掩码）来检测、分割和跟踪目标。与前代模型 SAM 2 相比，SAM 3 引入了通过简短的文本短语或示例来详尽地分割由开放词汇概念指定的所有实例的能力。不同于以往的工作，SAM 3 可以处理规模大得多的开放词汇提示集。在我们新的 SA-CO 基准测试 上，SAM 3 达到了人类水平的 75%–80%，该基准包含 27 万个独特概念，数量是现有基准的 50 多倍。

这一突破得益于创新的数据引擎，该引擎自动标注了超过 400 万个独特概念，从而创建了迄今为止最大的高质量开放词汇分割数据集。此外，SAM 3 还引入了一种新的模型架构，其中包含一个存在性标记，可提高对密切相关的文本提示（例如“穿白色球衣的球员”与“穿红色球衣的球员”）的区分能力；同时采用解耦的检测—跟踪设计，以最小化任务间的干扰，并随着数据量的增加而高效扩展。

最新更新

2026年3月27日——SAM 3.1 Object Multiplex 发布。它引入了一种共享内存的联合多目标跟踪方法，速度显著提升且不牺牲精度。

• 一套改进后的模型检查点（称为 SAM 3.1）已在 Hugging Face 上发布。完整详情请参阅 RELEASE_SAM3p1.md。
  • 若要使用新的 SAM 3.1 检查点，您需要从本仓库获取最新版本的模型代码。如果您已安装本仓库的早期版本，请先使用 git pull 更新到最新代码，然后按照下方的 安装说明 重新安装本仓库。

安装

先决条件

• Python 3.12 或更高版本
• PyTorch 2.7 或更高版本
• 兼容 CUDA 的 GPU，且 CUDA 版本为 12.6 或更高

1. 创建一个新的 Conda 环境：

conda create -n sam3 python=3.12
conda deactivate
conda activate sam3

2. 安装支持 CUDA 的 PyTorch：

pip install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu128

3. 克隆仓库并安装软件包：

git clone https://github.com/facebookresearch/sam3.git
cd sam3
pip install -e .

4. 安装示例笔记本或开发所需的额外依赖：

# 运行示例笔记本时
pip install -e ".[notebooks]"

# 开发时
pip install -e ".[train,dev]"

5. 用于加速推理的可选依赖

pip install einops ninja && pip install flash-attn-3 --no-deps --index-url https://download.pytorch.org/whl/cu128
pip install git+https://github.com/ronghanghu/cc_torch.git

使用入门

⚠️ 在使用 SAM 3 之前，请先在 SAM 3 的 Hugging Face 仓库 上申请访问检查点的权限。获批后，您需要进行身份验证才能下载检查点。您可以按照以下步骤操作（例如，在生成访问令牌后运行 hf auth login）。

基本用法

import torch
#################################### 图像处理 ####################################
from PIL import Image
from sam3.model_builder import build_sam3_image_model
from sam3.model.sam3_image_processor import Sam3Processor
# 加载模型
model = build_sam3_image_model()
processor = Sam3Processor(model)
# 加载一张图片
image = Image.open("<YOUR_IMAGE_PATH.jpg>")
inference_state = processor.set_image(image)
# 使用文本提示调用模型
output = processor.set_text_prompt(state=inference_state, prompt="<YOUR_TEXT_PROMPT>")

# 获取掩码、边界框和置信度分数
masks、boxes、scores = output["masks"]、output["boxes"]、output["scores"]

#################################### 视频处理 ####################################

from sam3.model_builder import build_sam3_video_predictor

video_predictor = build_sam3_video_predictor()
video_path = "<YOUR_VIDEO_PATH>" # 一个 JPEG 文件夹或 MP4 视频文件

# 开始会话
response = video_predictor.handle_request(
    request=dict(
        type="start_session",
        resource_path=video_path,
    )
)
response = video_predictor.handle_request(
    request=dict(
        type="add_prompt",
        session_id=response["session_id"],
        frame_index=0, # 任意帧索引
        text="<YOUR_TEXT_PROMPT>",
    )
)
output = response["outputs"]

示例

examples 目录包含演示如何使用 SAM3 及其各种类型提示的笔记本：

• sam3_image_predictor_example.ipynb： 展示如何在图像上结合文本和视觉框提示来引导 SAM3。
• sam3_video_predictor_example.ipynb： 展示如何在视频中使用文本提示引导 SAM3，并通过点选进行进一步的交互式优化。
• sam3_image_batched_inference.ipynb： 展示如何在图像上使用 SAM3 进行批量推理。
• sam3_agent.ipynb：演示如何利用 SAM3 Agent 对图像上的复杂文本提示进行分割。
• saco_gold_silver_vis_example.ipynb： 展示 SA-Co 图像评估集中的几个示例。
• saco_veval_vis_example.ipynb： 展示 SA-Co 视频评估集中的几个示例。

此外，examples 目录中还有其他笔记本，展示了如何将 SAM3 用于图像和视频中的交互式实例分割（SAM 1/2 任务），或将其作为多模态大语言模型的工具，以及如何在 SA-Co 数据集上运行评估。

要运行 Jupyter 笔记本示例：

# 确保已安装笔记本所需的依赖
pip install -e ".[notebooks]"

# 启动 Jupyter Notebook
jupyter notebook examples/sam3_image_predictor_example.ipynb

模型

SAM3 由一个共享视觉编码器的检测器和跟踪器组成。它拥有 8.48 亿个参数。检测器是一种基于 DETR 的模型，可接受文本、几何形状和图像样例的条件输入。跟踪器则继承了 SAM2 的 Transformer 编码器-解码器架构，支持视频分割及交互式优化。

图像结果

视频结果

SA-Co 数据集

我们发布了两个图像基准测试：SA-Co/Gold 和 SA-Co/Silver，以及一个视频基准测试 SA-Co/VEval。这些数据集包含带有名词短语标注的图像（或视频）。每张图像/视频与对应的名词短语都附有实例掩码和与该短语匹配的每个对象的唯一 ID。对于没有匹配对象的短语（即负样本），则不提供掩码，如图中红色字体所示。有关如何下载和运行这些数据集评估的更多详细信息，请参阅链接中的 README 文件。

• HuggingFace 主机：SA-Co/Gold、SA-Co/Silver 和 SA-Co/VEval
• Roboflow 主机：SA-Co/Gold、SA-Co/Silver 和 SA-Co/VEval

开发

要设置开发环境：

pip install -e ".[dev,train]"

要格式化代码：

ufmt format .

贡献

请参阅 贡献指南 和 行为准则。

许可证

本项目采用 SAM 许可证授权——详情请参阅 LICENSE 文件。

致谢

我们衷心感谢以下人士对 SAM 3 项目的贡献：Alex He、Alexander Kirillov、Alyssa Newcomb、Ana Paula Kirschner Mofarrej、Andrea Madotto、Andrew Westbury、Ashley Gabriel、Azita Shokpour、Ben Samples、Bernie Huang、Carleigh Wood、Ching-Feng Yeh、Christian Puhrsch、Claudette Ward、Daniel Bolya、Daniel Li、Facundo Figueroa、Fazila Vhora、George Orlin、Hanzi Mao、Helen Klein、Hu Xu、Ida Cheng、Jake Kinney、Jiale Zhi、Jo Sampaio、Joel Schlosser、Justin Johnson、Kai Brown、Karen Bergan、Karla Martucci、Kenny Lehmann、Maddie Mintz、Mallika Malhotra、Matt Ward、Michelle Chan、Michelle Restrepo、Miranda Hartley、Muhammad Maaz、Nisha Deo、Peter Park、Phillip Thomas、Raghu Nayani、Rene Martinez Doehner、Robbie Adkins、Ross Girshik、Sasha Mitts、Shashank Jain、Spencer Whitehead、Ty Toledano、Valentin Gabeur、Vincent Cho、Vivian Lee、William Ngan、Xuehai He、Yael Yungster、Ziqi Pang、Ziyi Dou、Zoe Quake。

引用 SAM 3

如果您在研究中使用了 SAM 3 或 SA-Co 数据集，请使用以下 BibTeX 条目。

@misc{carion2025sam3segmentconcepts,
      title={SAM 3：用概念分割一切},
      author={Nicolas Carion、Laura Gustafson、Yuan-Ting Hu、Shoubhik Debnath、Ronghang Hu、Didac Suris、Chaitanya Ryali、Kalyan Vasudev Alwala、Haitham Khedr、Andrew Huang、Jie Lei、Tengyu Ma、Baishan Guo、Arpit Kalla、Markus Marks、Joseph Greer、Meng Wang、Peize Sun、Roman Rädle、Triantafyllos Afouras、Effrosyni Mavroudi、Katherine Xu、Tsung-Han Wu、Yu Zhou、Liliane Momeni、Rishi Hazra、Shuangrui Ding、Sagar Vaze、Francois Porcher、Feng Li、Siyuan Li、Aishwarya Kamath、Ho Kei Cheng、Piotr Dollár、Nikhila Ravi、Kate Saenko、Pengchuan Zhang、Christoph Feichtenhofer},
      year={2025},
      eprint={2511.16719},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.16719},
}

SAM 3 快速上手指南

SAM 3 (Segment Anything with Concepts) 是 Meta 推出的统一基础模型，支持通过文本或视觉提示（点、框、掩码）对图像和视频中的对象进行检测、分割和跟踪。相比前代，SAM 3 具备强大的开放词汇概念分割能力。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.12 或更高版本
• PyTorch: 2.7 或更高版本
• GPU: 支持 CUDA 的显卡，且安装 CUDA 12.6 或更高版本驱动
• 包管理工具: Conda (推荐)

安装步骤

1. 创建 Conda 环境

conda create -n sam3 python=3.12
conda deactivate
conda activate sam3

2. 安装 PyTorch (CUDA 版本)

根据官方要求安装特定版本的 PyTorch：

pip install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu128

国内加速建议：如果下载速度慢，可尝试使用清华源替代官方源（注意需确保版本兼容性）： pip install torch==2.10.0 torchvision --index-url https://pypi.tuna.tsinghua.edu.cn/simple (若清华源无对应 CUDA 版本 wheel，请回退至官方源)

3. 克隆仓库并安装 SAM 3

git clone https://github.com/facebookresearch/sam3.git
cd sam3
pip install -e .

4. 安装可选依赖（推荐）

为了运行示例 Notebook 或获得更快的推理速度，建议安装以下依赖：

# 安装 Notebook 运行依赖
pip install -e ".[notebooks]"

# 安装加速依赖 (Flash Attention 等)
pip install einops ninja && pip install flash-attn-3 --no-deps --index-url https://download.pytorch.org/whl/cu128
pip install git+https://github.com/ronghanghu/cc_torch.git

5. 获取模型权重

⚠️ 重要：在使用前，您必须前往 Hugging Face SAM 3 仓库 申请访问权限。 获得批准后，请在终端登录以下载权重：

hf auth login
# 输入您在 Hugging Face 生成的 Access Token

基本使用

以下是使用 SAM 3 进行图像和视频分割的最简代码示例。

图像分割示例

通过文本提示对图像进行分割：

import torch
from PIL import Image
from sam3.model_builder import build_sam3_image_model
from sam3.model.sam3_image_processor import Sam3Processor

# 加载模型
model = build_sam3_image_model()
processor = Sam3Processor(model)

# 加载图片
image = Image.open("<YOUR_IMAGE_PATH.jpg>")
inference_state = processor.set_image(image)

# 设置文本提示 (例如："a red player")
output = processor.set_text_prompt(state=inference_state, prompt="<YOUR_TEXT_PROMPT>")

# 获取结果
masks, boxes, scores = output["masks"], output["boxes"], output["scores"]

视频分割示例

通过文本提示对视频进行分割：

from sam3.model_builder import build_sam3_video_predictor

# 加载视频预测器
video_predictor = build_sam3_video_predictor()
video_path = "<YOUR_VIDEO_PATH>" # 可以是 JPEG 文件夹或 MP4 文件

# 开始会话
response = video_predictor.handle_request(
    request=dict(
        type="start_session",
        resource_path=video_path,
    )
)

# 添加文本提示 (在第 0 帧)
response = video_predictor.handle_request(
    request=dict(
        type="add_prompt",
        session_id=response["session_id"],
        frame_index=0, 
        text="<YOUR_TEXT_PROMPT>",
    )
)

# 获取输出
output = response["outputs"]

更多高级用法（如批量推理、多轮交互优化等）请参考项目 examples 目录下的 Jupyter Notebook 文件。