XMem：基于阿特金森-希夫林记忆模型的长时视频目标分割

新的VOS项目：让目标回归视频目标分割：https://github.com/hkchengrex/Cutie

新项目：使用XMem进行开放世界视频分割：https://github.com/hkchengrex/Tracking-Anything-with-DEVA

Ho Kei Cheng，Alexander Schwing

伊利诺伊大学厄巴纳-香槟分校

[arXiv] [PDF] [项目页面]

演示

处理长期遮挡：

https://user-images.githubusercontent.com/7107196/177921527-7a1bd593-2162-4598-9adf-f2112763fccf.mp4

超长视频；插入掩码层：

https://user-images.githubusercontent.com/7107196/179089789-3d69adea-0405-4c83-ac28-45f59fe1e1c1.mp4

来源：https://www.youtube.com/watch?v=q5Xr0F4a0iU

域外案例：

https://user-images.githubusercontent.com/7107196/177920383-161f1da1-33f9-48b3-b8b2-09e450432e2b.mp4

来源：《辉夜大小姐想让我告白～天才们的恋爱头脑战～》第3集；A-1 Pictures

[失败案例]

特性

• 能够在有限的GPU内存占用下处理超长视频。
• 速度较快。即使是长视频，也能达到约20 FPS（取决于硬件）。
• 自带GUI界面（基于MiVOS修改而来）。

目录

1. 简介
2. 结果
3. 交互式GUI演示
4. 训练/推理
5. 引用

简介

我们将视频目标分割（VOS）首先视为一个记忆问题。以往的工作大多只使用单一类型的特征记忆，例如网络权重（即在线学习）、上一帧分割结果（如MaskTrack）、空间隐藏表示（如基于Conv-RNN的方法）、空间注意力特征（如STM、STCN、AOT），或某种长期紧凑特征（如AFB-URR）。

记忆跨度较短的方法对变化不够鲁棒，而拥有庞大记忆库的方法则会导致计算量和GPU内存占用急剧增加。像AFB-URR这样尝试实现长期注意力机制的算法，会在特征生成后立即对其进行压缩，从而导致特征分辨率的损失。

我们的方法受到阿特金森-希夫林人类记忆模型的启发，该模型包含感觉记忆、工作记忆和长期记忆。这些记忆存储具有不同的时间尺度，并在我们的记忆读取机制中相互补充。它在短期和长期视频数据集上均表现出色，能够轻松处理超过1万帧的视频。

训练/推理

首先，请按照GETTING_STARTED.md安装所需的Python包和数据集。

关于训练，请参阅TRAINING.md。

关于推理，请参阅INFERENCE.md。

相关项目/扩展：

1. Track Anything
2. DEVA
3. AutoTrackAnything

引用

如果您觉得本仓库有用，请引用我们的论文！

@inproceedings{cheng2022xmem,
  title={{XMem}: 基于阿特金森-希夫林记忆模型的长期视频目标分割},
  author={程浩基和亚历山大·G·施温},
  booktitle={ECCV},
  year={2022}
}

本文所基于的相关项目如下：

@inproceedings{cheng2021stcn,
  title={重新思考时空网络：通过改进的记忆覆盖实现高效的视频目标分割},
  author={程浩基、戴宇颖和唐志强},
  booktitle={NeurIPS},
  year={2021}
}

@inproceedings{cheng2021mivos,
  title={模块化交互式视频目标分割：从交互到掩码、传播与差异感知融合},
  author={程浩基、戴宇颖和唐志强},
  booktitle={CVPR},
  year={2021}
}

我们在交互式演示中使用了 f-BRS：https://github.com/saic-vul/fbrs_interactive_segmentation

如果您需要引用数据集，可以参考以下 BibTeX 格式：

@inproceedings{shi2015hierarchicalECSSD,
  title={在扩展 CSSD 数据集上进行分层图像显著性检测},
  author={史建平、严琼、徐立和贾佳亚},
  booktitle={TPAMI},
  year={2015},
}

@inproceedings{wang2017DUTS,
  title={利用图像级监督学习检测显著物体},
  author={王丽君、陆虎川、王一凡、冯孟阳、王东、尹宝才和阮翔},
  booktitle={CVPR},
  year={2017}
}

@inproceedings{FSS1000,
  title = {FSS-1000：用于少样本分割的1000类数据集},
  author = {李翔、魏天涵、陈耀鹏、戴宇颖和唐志强},
  booktitle={CVPR},
  year={2020}
}

@inproceedings{zeng2019towardsHRSOD,
  title = {迈向高分辨率显著物体检测},
  author = {曾毅、张萍萍、张建明、林哲和陆虎川},
  booktitle = {ICCV},
  year = {2019}
}

@inproceedings{cheng2020cascadepsp,
  title={{CascadePSP}：通过全局与局部细化实现类别无关且超高分辨率的分割},
  author={程浩基、郑智勋、戴宇颖和唐志强},
  booktitle={CVPR},
  year={2020}
}

@inproceedings{xu2018youtubeVOS,
  title={YouTube-VOS：大规模视频目标分割基准},
  author={许宁、杨林杰、范雨辰、岳丁成、梁雨辰、杨建超和黄泰华},
  booktitle={ECCV},
  year={2018}
}

@inproceedings{perazzi2016benchmark,
  title={视频目标分割的基准数据集与评估方法},
  author={佩拉齐、蓬特-图塞特、麦克威廉姆斯、范古尔、格罗斯和索尔金-霍恩堡},
  booktitle={CVPR},
  year={2016}
}

@inproceedings{denninger2019blenderproc,
  title={BlenderProc},
  author={登宁格、桑德迈耶、温克尔鲍尔、齐丹、奥列菲尔、埃尔巴德拉维、洛迪、卡塔姆},
  booktitle={arXiv:1911.01911},
  year={2019}
}

@inproceedings{shapenet2015,
  title       = {{ShapeNet：一个信息丰富的3D模型库}},
  author      = {张安吉尔轩、芬克豪瑟、圭巴斯、汉拉汉、黄启星、李子墨、萨瓦雷斯、萨瓦、宋书然、苏浩、肖建雄、易莉和余费舍尔},
  booktitle   = {arXiv:1512.03012},
  year        = {2015}
}

联系邮箱：hkchengrex@gmail.com

XMem 快速上手指南

XMem 是一个基于 Atkinson-Shiffrin 人类记忆模型的长时视频目标分割（VOS）工具。它能够以极低的显存占用处理超长视频（超过 10,000 帧），推理速度可达约 20 FPS，并提供交互式 GUI 支持。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python: 3.7 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 4GB，处理长视频建议更大）
• CUDA: 已安装与 PyTorch 版本匹配的 CUDA 驱动

前置依赖库: 主要依赖 torch, torchvision, opencv-python, numpy, Pillow 等。

国内加速建议： 建议使用清华源或阿里源安装 Python 依赖，以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/hkchengrex/XMem.git
   cd XMem
   

2. 安装 Python 依赖 首先安装基础包（请确保已安装 PyTorch，若未安装请参考 PyTorch 官网选择对应命令）：

   pip install torch torchvision opencv-python numpy pillow scipy tqdm
   

   如果项目根目录包含 requirements.txt，可直接运行：

   pip install -r requirements.txt
   

3. 下载预训练模型 从官方发布页或 Google Drive 下载预训练权重文件（通常为 XMem-s012.pth 或类似名称），并将其放置在项目根目录或指定的 weights 文件夹下。

   注：由于网络原因，国内用户可通过相关技术社区或镜像站寻找预训练模型资源。

4. 准备数据集（可选，仅用于训练或评测） 如需复现结果或训练，请按照 docs/GETTING_STARTED.md 中的说明下载 DAVIS 或 YouTube-VOS 数据集并配置路径。仅进行推理则无需此步。

基本使用

1. 命令行推理 (Inference)

最简单的使用方式是通过命令行对视频进行自动分割。假设你有一个输入视频 input.mp4 和第一帧的掩码标注（或使用内置演示数据）。

运行以下命令进行推理（具体参数请参考 docs/INFERENCE.md）：

python inference_video.py --config config/xmem.yaml --weights weights/XMem-s012.pth --video_path data/demo/JPEGImages --mask_path data/demo/Annotations --output output

• --config: 配置文件路径。
• --weights: 预训练模型路径。
• --video_path: 输入视频帧序列文件夹。
• --mask_path: 首帧标注掩码文件夹。
• --output: 输出结果保存路径。

2. 交互式 GUI 演示

XMem 提供了一个修改自 MiVOS 的图形界面，支持人工交互修正分割结果，非常适合处理复杂场景。

启动 GUI：

python demo_gui.py --config config/xmem.yaml --weights weights/XMem-s012.pth

操作简述：

1. 加载视频文件。
2. 在第一帧使用画笔工具标记前景（绿色）和背景（红色）。
3. 点击 "Propagate" 按钮，算法将自动分割后续所有帧。
4. 若中间某帧效果不佳，可在该帧补充标记并重新传播。

3. Colab 在线体验

如果您没有本地 GPU 环境，可以直接使用官方提供的 Google Colab 笔记本快速体验：

更多高级用法（如训练自定义模型、长视频优化策略）请参阅项目文档 docs/TRAINING.md 和 docs/DEMO.md。