任意对象分割与追踪（SAM-Track）

在线演示： 技术报告：

教程：tutorial-v1.6（音频）、tutorial-v1.5（文本）、tutorial-v1.0（点击与涂抹）

Segment and Track Anything 是一个开源项目，专注于视频中任意对象的分割与追踪，支持自动和交互式两种方式。主要算法包括用于关键帧自动/交互式分割的 SAM（Segment Anything Models），以及用于高效多目标追踪与传播的 DeAOT（Decoupling features in Associating Objects with Transformers）（NeurIPS2022）。SAM-Track 流程能够通过 SAM 动态且自动地检测并分割新对象，而 DeAOT 则负责跟踪所有已识别的对象。

:loudspeaker:新功能

• [2024/4/23] 我们新增了音频定位功能，可追踪视频配乐中的发声物体。

• [2023/5/12] 我们撰写了 SAM-Track 的技术报告。

• [2023/5/7] 我们添加了 demo_instseg.ipynb，该脚本利用 Grounding-DINO 在视频的关键帧中检测新对象，可用于智慧城市和自动驾驶等领域。

• [2023/4/29] 我们为 AOT-L 增加了高级参数：long_term_memory_gap 和 max_len_long_term。

  • long_term_memory_gap 控制 AOT 模型向其长期记忆库添加新参考帧的频率。在掩码传播过程中，AOT 会将当前帧与长期记忆库中的参考帧进行匹配。
  • 合理设置间隔值有助于获得更好的性能。为避免在长视频中内存占用过大，我们还设置了长期记忆存储的最大长度 max_len_long_term，即当记忆帧数达到该值时，最旧的帧将被丢弃，并加入新的帧。

• [2023/4/26] 交互式 WebUI 1.5 版：我们在交互式 WebUI 1.0 版的基础上新增了多项功能。

  • 我们为 SAMTrack 新增了一种交互方式——文本提示。
  • 从现在起，用户可以交互式地添加多个需要追踪的对象。
  • 请参阅 教程 了解交互式 WebUI 1.5 版的使用方法。未来几天还将发布更多演示。

• [2023/4/26] 图像序列输入：WebUI 现在新增了图像序列输入功能，可用于测试视频分割数据集。请参阅 教程 了解如何使用图像序列输入功能。

• [2023/4/25] 在线演示：您可以在 Colab 中轻松使用 SAMTrack 进行视觉追踪任务。

• [2023/4/23] 交互式 WebUI：我们推出了全新的 WebUI，支持通过涂抹和点击实现交互式用户分割。欢迎体验并观看 教程！

  • [2023/4/24] 教程 V1.0：请查看我们的全新视频教程！
    • YouTube 链接：教程：交互式修改视频第一帧的单个对象掩码、教程：通过点击交互式添加对象、教程：通过涂抹交互式添加对象。
    • Bilibili 视频链接：教程：交互式修改视频第一帧的单个对象掩码、教程：通过点击交互式添加对象、教程：通过涂抹交互式添加对象。
  • 1.0 版本为开发者版本，如果您遇到任何问题，请随时联系我们 :bug:。

• [2023/4/17] SAMTrack：自动分割并追踪视频中的任何对象！

:fire:演示视频

本视频展示了 SAM-Track 在多种场景下的分割与追踪能力，例如街景、增强现实、细胞、动画、航拍等。

:calendar:待办事项

• Colab 笔记本：2023年4月25日完成。
• 1.0版本交互式WebUI：2023年4月23日完成。
  • 我们将开发一项功能，允许用户根据需求对初始视频帧的掩码进行交互式修改。Segment-and-Track-Anything 的交互式分割能力在 Demo8 和 Demo9 中得到了展示。
  • Bilibili 视频链接：Demo8，Demo9。
• 1.5版本交互式WebUI：2023年4月26日完成。
  • 我们将开发一个功能，允许对视频第一帧的多对象掩码进行交互式修改。该功能将基于 1.0 版本实现。YouTube：Demo4，Demo5；Bilibili：Demo4，Demo5。
  • 此外，我们计划加入文本提示作为额外的交互方式。YouTube：Demo1，Demo2；Bilibili：Demo1，Demo2。
• 2.x版本交互式WebUI
  • 在 2.x 版本中，分割模型将提供两种选项：SAM 和 SEEM。
  • 我们将开发一项新功能，可以将固定类别的目标检测结果作为提示显示。
  • 我们将使 SAM-Track 在跟踪过程中支持添加和修改目标对象。YouTube：Demo6，Demo7；Bilibili：Demo6，Demo7

Demo1 展示了 SAM-Track 能够以物体类别作为提示的能力。用户输入类别文本“panda”，即可实现对该类别下所有目标的实例级分割与跟踪。

Demo2 展示了 SAM-Track 能够以文本描述作为提示的能力。只需输入“最左边的熊猫”，SAM-Track 就能分割并跟踪目标对象。

Demo3 展示了 SAM-Track 同时跟踪多个目标的能力。它还能自动检测新出现的对象。

Demo4 展示了 SAM-Track 能够接受多种交互方式作为提示的能力。用户分别用点击和笔刷标注了人和滑板。

Demo5 展示了 SAM-Track 能够对“分割一切”的结果进行优化。用户只需单击一下，就能将电车合并为一个整体。

Demo6 展示了 SAM-Track 在跟踪过程中添加新对象的能力。用户通过回退到中间帧，标注了另一辆汽车。

Demo7 展示了 SAM-Track 在跟踪过程中不断优化预测的能力。这一特性对于复杂环境下的分割与跟踪尤为有利。

Demo8 展示了 SAM-Track 能够交互式地分割并跟踪单个目标。用户指定 SAM-Track 跟踪一名正在打街头篮球的男子。

Demo9 展示了 SAM-Track 能够交互式地添加指定目标进行跟踪。用户在使用 SAM-Track 对场景中的所有内容进行分割的基础上，自定义了需要跟踪的对象。

:computer:开始使用

:bookmark_tabs:要求

已克隆并重命名为 sam 的 Segment-Anything 仓库，以及已克隆并重命名为 aot 的 aot-benchmark 仓库。

请检查 SAM 和 DeAOT 中的依赖项要求。

该实现已在 Python 3.9、PyTorch 1.10 和 torchvision 0.11 下进行了测试。建议使用相同或更高版本的 PyTorch。

使用 install.sh 脚本来安装 SAM-Track 所需的库：

bash script/install.sh

:star:模型准备

- 下载SAM模型到ckpt文件夹以运行代码

1. SAM vit_b（默认）：https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

2. SAM vit_l：https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth

3. SAM vit_h：https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth

- 下载DEAOT模型到ckpt文件夹以运行代码

模型	参数（M）	PRE_YTB_DAV
DeAOTT	7.2	gdrive
DeAOTS	10.2	gdrive
DeAOTB	13.2	gdrive
DeAOTL	13.2	gdrive
R50-DeAOTL	19.8	gdrive
SwinB-DeAOTL	70.3	gdrive

下载Grounding-DINO模型到ckpt文件夹

名称	主干网络	训练数据	边框AP（COCO）	检查点
GroundingDINO-T	Swin-T	O365、GoldG、Cap4M	48.4（零样本）/ 57.2（微调）	下载
GroundingDINO-B	Swin-B	COCO、O365、GoldG、Cap4M、OpenImages、ODinW-35、RefCOCO	56.7	下载

下载AST模型到ast_master/pretrained_models，克隆AST仓库后

1. 完整AudioSet，10 tstride，10 fstride，带权重平均（0.459 mAP）

2. 完整AudioSet，10 tstride，10 fstride，不带权重平均，模型1（0.450 mAP）

3. 完整AudioSet，10 tstride，10 fstride，不带权重平均，模型2（0.448 mAP）

4. 完整AudioSet，10 tstride，10 fstride，不带权重平均，模型3（0.448 mAP）

5. 完整AudioSet，12 tstride，12 fstride，不带权重平均，模型（0.447 mAP）

6. 完整AudioSet，14 tstride，14 fstride，不带权重平均，模型（0.443 mAP）

7. 完整AudioSet，16 tstride，16 fstride，不带权重平均，模型（0.442 mAP）

8. Speechcommands V2-35，10 tstride，10 fstride，不带权重平均，模型（在评估集上准确率98.12%），默认模型是audioset_0.4593（audioset_0.4593.pth))。

您可以通过以下命令行下载默认权重。 $$ bash script/download_ckpt.sh $$

运行docker文件

1. docker build -f docker/Dockerfile -t myimage .
2. docker run myimage

:heart:运行演示

• 待处理的视频可以放在./assets中。
• 然后逐步运行demo.ipynb以生成结果。
• 结果将保存为每帧的掩码以及用于可视化的gif文件。

SAM-Track、DeAOT和SAM的参数可以在model_args.py中手动修改，以便使用其他模型或控制各模型的行为。

:muscle:WebUI应用

我们友好的可视化界面使您能够轻松获得实验结果。只需通过命令行启动即可。

python app.py

用户可以直接在界面上上传视频，并使用SegTracker对视频中的物体进行自动或交互式跟踪。我们以一段男子打篮球的视频为例。

SegTracker参数：

• aot_model：用于选择使用哪个版本的DeAOT/AOT进行跟踪和传播。
• sam_gap：用于控制SAM在指定帧间隔内添加新出现物体的频率。增加该值可降低发现新目标的频率，但会显著提高推理速度。
• points_per_side：用于控制在图像上采样网格以生成掩码时每边使用的点数。增大该值可提高检测小物体的能力，但较大目标可能会被分割得更细。
• max_obj_num：用于限制SAM-Track能够检测和跟踪的最大物体数量。物体数量越多，所需的内存也越大，大约16GB内存最多可处理255个物体。

用法：欲了解更多细节，请参阅1.0版本WebUI教程。

:school:关于我们

感谢您对本项目的关注。该项目由浙江大学计算机科学与技术学院的ReLER实验室指导。ReLER由浙江大学求是特聘教授杨毅创立。我们的贡献团队包括程阳明、胡继元、徐远优、李柳磊、李晓迪、杨宗欣、王文冠以及杨毅。

:full_moon_with_face:致谢

借用代码的许可证可在licenses.md文件中找到。

• DeAOT/AOT - https://github.com/yoxu515/aot-benchmark
• SAM - https://github.com/facebookresearch/segment-anything
• Gradio（用于构建WebUI） - https://github.com/gradio-app/gradio
• Grounding-Dino - https://github.com/yamy-cheng/GroundingDINO
• AST - https://github.com/YuanGongND/ast

许可协议

本项目采用 AGPL-3.0 许可协议进行授权。如需将本项目用于商业用途或以专有方式进一步开发，必须获得我们的许可（以及任何借用代码的版权所有者的许可）。

引用

如果您认为相关论文对您的研究有所帮助，请在您的出版物中引用这些论文。

@article{cheng2023segment,
  title={Segment and Track Anything},
  author={Cheng, Yangming and Li, Liulei and Xu, Yuanyou and Li, Xiaodi and Yang, Zongxin and Wang, Wenguan and Yang, Yi},
  journal={arXiv preprint arXiv:2305.06558},
  year={2023}
}
@article{kirillov2023segment,
  title={Segment anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C and Lo, Wan-Yen and others},
  journal={arXiv preprint arXiv:2304.02643},
  year={2023}
}
@inproceedings{yang2022deaot,
  title={Decoupling Features in Hierarchical Propagation for Video Object Segmentation},
  author={Yang, Zongxin and Yang, Yi},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2022}
}
@inproceedings{yang2021aot,
  title={Associating Objects with Transformers for Video Object Segmentation},
  author={Yang, Zongxin and Wei, Yunchao and Yang, Yi},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2021}
}
@article{yang2024scalable,
  title={Scalable video object segmentation with identification mechanism},
  author={Yang, Zongxin and Miao, Jiaxu and Wei, Yunchao and Wang, Wenguan and Wang, Xiaohan and Yang, Yi},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  volume={46},
  number={9},
  pages={6247--6262},
  year={2024},
  publisher={IEEE}
}
@article{liu2023grounding,
  title={Grounding dino: Marrying dino with grounded pre-training for open-set object detection},
  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun and others},
  journal={arXiv preprint arXiv:2303.05499},
  year={2023}
}
@inproceedings{gong21b_interspeech,
  author={Yuan Gong and Yu-An Chung and James Glass},
  title={AST: Audio Spectrogram Transformer},
  booktitle={Proc. Interspeech 2021},
  pages={571--575},
  doi={10.21437/Interspeech.2021-698}
  year={2021} 
}

Segment-and-Track-Anything (SAM-Track) 快速上手指南

Segment-and-Track-Anything 是一个开源项目，专注于视频中任意物体的分割与跟踪。它结合了 SAM (Segment Anything Models) 进行自动/交互式关键帧分割，以及 DeAOT 进行高效的多目标跟踪与传播。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.9
• PyTorch: 1.10 或更高版本
• TorchVision: 0.11 或更高版本
• GPU: 推荐使用支持 CUDA 的 NVIDIA 显卡以获得最佳性能

前置依赖说明： 本项目依赖两个核心子模块，安装脚本会自动处理克隆和重命名：

1. sam: 基于 Facebook Research 的 Segment-Anything。
2. aot: 基于 aot-benchmark (DeAOT)。

国内开发者提示：如果访问 GitHub 或下载模型权重较慢，建议配置科学网络环境，或使用国内镜像源加速 Python 包安装（如清华源、阿里源）。

2. 安装步骤

步骤一：克隆项目

首先克隆主仓库到本地：

git clone https://github.com/z-x-yang/Segment-and-Track-Anything.git
cd Segment-and-Track-Anything

步骤二：安装依赖库

项目提供了自动化安装脚本，用于安装 SAM、DeAOT 及相关 Python 依赖。请直接运行以下命令：

bash script/install.sh

注意：该脚本会自动克隆并重命名所需的子模块。如果脚本执行过程中出现网络错误，请检查网络连接或手动克隆子模块。

步骤三：准备模型权重

确保已下载必要的预训练模型权重（SAM checkpoint 和 DeAOT 权重）。通常 install.sh 会尝试自动下载，如果失败，请参考项目原文的 "Model Preparation" 部分手动下载并放置到指定目录（通常为 checkpoints/）。

3. 基本使用

方式一：使用 Colab 在线体验（推荐新手）

如果您不想配置本地环境，可以直接使用 Google Colab 进行体验：

• 在线演示链接: Open In Colab

方式二：本地运行交互式 WebUI

项目提供了功能强大的 Web 界面，支持点击、画笔涂抹以及文本提示等多种交互方式来分割和跟踪视频中的物体。

1. 启动 WebUI： 在项目根目录下运行启动脚本（具体脚本名称视版本而定，通常为）：

   python app.py
   # 或者
   python webui.py
   

   (注：如果上述命令无效，请查看项目根目录下的 app.py 或相关启动脚本)

2. 操作流程：

   • 在浏览器打开显示的本地地址（通常是 http://127.0.0.1:7860）。
   • 上传视频：加载您需要处理的视频文件。
   • 选择交互模式：
     • Click & Brush: 在第一帧通过点击或涂抹指定目标物体。
     • Text Prompt: 输入文本描述（例如 "panda", "car on the left"）来自动检测并跟踪目标。
     • Audio Grounding: (v1.6+ 特性) 根据声音定位并跟踪发声物体。
   • 运行跟踪：点击运行按钮，系统将自动分割首帧并跟踪整个视频序列。

方式三：命令行运行示例 (Jupyter Notebook)

对于批量处理或特定场景（如自动驾驶），可以使用提供的 Notebook 脚本。

运行基于 Grounding-DINO 自动检测新物体的示例：

jupyter notebook demo_instseg.ipynb

在该 Notebook 中，您可以加载视频，利用 Grounding-DINO 在关键帧自动检测物体，并结合 DeAOT 进行全程跟踪。

---

更多详细教程：

• WebUI v1.6 (音频交互): 查看 ./tutorial/tutorial for WebUI-1.6-Version.md
• WebUI v1.5 (文本提示): 查看 ./tutorial/tutorial for WebUI-1.5-Version.md
• WebUI v1.0 (点击与画笔): 查看 ./tutorial/tutorial for WebUI-1.0-Version.md