DEVA：通过解耦视频分割追踪任何目标

Ho Kei Cheng、Seoung Wug Oh、Brian Price、Alexander Schwing、Joon-Young Lee

伊利诺伊大学厄巴纳-香槟分校与Adobe公司

ICCV 2023

[arXiV] [PDF] [项目页面]

亮点

1. 提供开箱即用的长时、开放词汇视频分割功能，支持文本提示。
2. 非常容易集成您自己的图像模型！您或审稿人难道不希望看到您的图像模型在视频上也能表现出色的例子吗？:smirk: 完全无需微调！

注（2024年3月6日）： 我们修复了一个重大错误（在上次更新中引入），该错误会导致在文本模式和eval_with_detections模式下无法删除未匹配的片段。这将大大减少累积的噪声检测和假阳性，尤其是在处理长视频时。详情请参见#64。

注（2023年9月12日）： 我们改进了自动视频分割算法，不再对已分割区域内的点进行查询。相应地，我们将每边的查询点数量增加到64个，并弃用了“engulf”模式。旧代码可在“legacy_engulf”分支中找到。新代码运行速度更快，能够捕捉更小的目标物体。为了获得更好的效果，仍建议使用文本提示模式。

注（2023年9月11日）： 我们移除了“pluralize”选项，因为它有时与GroundingDINO配合时会出现奇怪的行为。如果需要，请您自行将提示词复数化。

摘要

我们提出了一种解耦视频分割方法（DEVA），由特定任务的图像级分割模块和类/任务无关的双向时间传播模块组成。由于这种设计，我们只需一个针对目标任务的图像级模型，以及一个经过一次性训练、可跨任务泛化的通用时间传播模型。为了有效结合这两个模块，我们提出了一种（半）在线融合不同帧分割假设的方法，以生成连贯的分割结果。实验表明，在多个任务中，这种解耦式方法的表现优于端到端方法，尤其是在大词汇量的视频全景分割和开放世界视频分割任务中。

演示视频

使用Grounded Segment Anything的演示（文本提示：“豚鼠”和“鸡”）：

https://github.com/hkchengrex/Tracking-Anything-with-DEVA/assets/7107196/457a9a6a-86c3-4c5a-a3cc-25199427cd11

来源：https://www.youtube.com/watch?v=FM9SemMfknA

使用Grounded Segment Anything的演示（文本提示：“猪”）：

https://github.com/hkchengrex/Tracking-Anything-with-DEVA/assets/7107196/9a6dbcd1-2c84-45c8-ac0a-4ad31169881f

来源：https://youtu.be/FbK3SL97zf8

使用Grounded Segment Anything的演示（文本提示：“水豚”）：

https://github.com/hkchengrex/Tracking-Anything-with-DEVA/assets/7107196/2ac5acc2-d160-49be-a013-68ad1d4074c5

来源：https://youtu.be/couz1CrlTdQ

使用Segment Anything的演示（自动网格点提示）；原始视频跟随DEVA结果叠加显示：

https://github.com/hkchengrex/Tracking-Anything-with-DEVA/assets/7107196/ac6ab425-2f49-4438-bcd4-16e4ccfb0d98

来源：DAVIS 2017验证集“soapbox”

使用Segment Anything处理域外示例的演示；原始视频跟随DEVA结果叠加显示：

https://github.com/hkchengrex/Tracking-Anything-with-DEVA/assets/7107196/48542bcd-113c-4454-b512-030df26def08

来源：https://youtu.be/FQQaSyH9hZI

安装说明

目前仅在Ubuntu上测试通过。如需在Windows WSL2上安装，请参考https://github.com/hkchengrex/Tracking-Anything-with-DEVA/issues/20（感谢@21pl）。

先决条件：

• Python 3.9及以上版本
• PyTorch 1.12及以上版本及对应的torchvision

克隆我们的仓库：

git clone https://github.com/hkchengrex/Tracking-Anything-with-DEVA.git

使用pip安装：

cd Tracking-Anything-with-DEVA
pip install -e .

（若遇到File "setup.py" not found错误，请先运行pip install --upgrade pip升级pip）

下载预训练模型：

bash scripts/download_models.sh

文本提示/自动演示所需：

安装我们fork的Grounded-Segment-Anything。请按照其说明进行操作。

Grounding DINO的安装可能会静默失败。请尝试运行python -c "from groundingdino.util.inference import Model as GroundingDINOModel"。若出现仅能在CPU模式下运行的警告，请确保在安装Grounding DINO时已设置好CUDA_HOME环境变量。

(可选) 在半在线设置中快速求解整数规划：

获取您的Gurobi许可证，学术用户可免费使用。若未找到许可证，我们将回退至使用PuLP，但后者速度较慢且未经我们严格测试。所有实验均采用Gurobi完成。

快速入门

DEMO.md包含更多关于输入参数的详细信息以及加速推理的技巧。您也可以查看deva/inference/eval_args.py和deva/ext/ext_eval_args.py以获取完整的参数列表。

使用Gradio：

python demo/demo_gradio.py

然后访问终端弹出的链接。若在远程服务器上运行，可尝试端口转发。

我们在example/vipseg/12_1mWNahzcsAc准备了一个示例（来自VIPSeg数据集的一段视频）。以下两个脚本分别使用Grounded Segment Anything结合文本提示，或使用SAM结合自动网格点提示来分割该示例视频。

文本提示脚本：

python demo/demo_with_text.py --chunk_size 4 \
--img_path ./example/vipseg/images/12_1mWNahzcsAc \
--amp --temporal_setting semionline \
--size 480 \
--output ./example/output --prompt person.hat.horse

在文本提示模式下，我们支持不同的SAM变体，默认使用原始SAM版本。若需更高质量的掩码预测，可指定--sam_variant sam_hq。若希望更高效地运行SAM，可选择--sam_variant sam_hq_light或--sam_variant mobile。

自动提示脚本：

python demo/demo_automatic.py --chunk_size 4 \
--img_path ./example/vipseg/images/12_1mWNahzcsAc \
--amp --temporal_setting semionline \
--size 480 \
--output ./example/output

训练与评估

1. 使用您自己的检测模型运行 DEVA。
2. 使用检测结果运行 DEVA 以复现基准测试结果。
3. 训练 DEVA 模型。

局限性

• 在封闭集数据上，DEVA 的表现很可能不如端到端方法。当目标数据足够时，联合训练（目前）仍然是更好的选择。
• 由于传播效应，正向检测会在时间上被放大。因此，使用误检率较低的检测器（即设置较高的阈值）会有所帮助。
• 如果场景中不断有新物体出现又消失（例如在驾驶场景中），内存库中会保留大量对象，这不幸会增加误检率。适当降低 max_missed_detection_count 参数可能会有所帮助，因为这样我们会更积极地从内存中删除对象。

引用

@inproceedings{cheng2023tracking,
  title={Tracking Anything with Decoupled Video Segmentation},
  author={Cheng, Ho Kei and Oh, Seoung Wug and Price, Brian and Schwing, Alexander and Lee, Joon-Young},
  booktitle={ICCV},
  year={2023}
}

参考文献

如果没有社区的支持，这个演示将无法实现：❤️

Grounded Segment Anything：https://github.com/IDEA-Research/Grounded-Segment-Anything

Segment Anything：https://github.com/facebookresearch/segment-anything

XMem：https://github.com/hkchengrex/XMem

标题卡片由 OpenPano 生成：https://github.com/ppwwyyxx/OpenPano

Tracking-Anything-with-DEVA 快速上手指南

DEVA (Decoupled Video Segmentation) 是一个强大的视频分割工具，支持通过文本提示（Text Prompts）或自动网格点提示实现长时、开放词汇的视频目标跟踪与分割。其核心优势在于解耦了图像级分割模型与时序传播模型，无需微调即可集成各类图像分割模型（如 SAM、Grounded-SAM）。

环境准备

系统要求：

• 操作系统：推荐 Ubuntu（Windows 用户建议使用 WSL2）
• Python 版本：3.9 及以上
• PyTorch 版本：1.12 及以上（需匹配对应的 torchvision）
• GPU：推荐具备 CUDA 环境的 NVIDIA 显卡（用于加速 Grounding DINO 和推理）

前置依赖检查： 确保已安装基础开发工具及 CUDA 环境。若需使用文本提示功能，必须正确配置 CUDA_HOME 环境变量以支持 Grounding DINO 的 GPU 加速。

安装步骤

1. 克隆仓库

git clone https://github.com/hkchengrex/Tracking-Anything-with-DEVA.git
cd Tracking-Anything-with-DEVA

2. 安装核心依赖

建议使用国内镜像源加速安装（如清华源）：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若遇到 File "setup.py" not found 错误，请先执行 pip install --upgrade pip 升级 pip。

3. 下载预训练模型

运行官方脚本下载必要的权重文件：

bash scripts/download_models.sh

4. 安装扩展功能（文本提示/自动演示必备）

若需使用文本提示（Text-prompted）功能，需安装 Grounded-Segment-Anything 的分支版本：

1. 克隆并安装 Grounded-Segment-Anything（请参照该仓库说明）。
2. 重要验证：安装后运行以下命令检查 Grounding DINO 是否正常加载且启用了 CUDA：

   python -c "from groundingdino.util.inference import Model as GroundingDINOModel"
   

   若出现仅支持 CPU 的警告，请检查安装时 CUDA_HOME 是否设置正确。

5. (可选) 安装求解器加速

为了在半在线（semi-online）模式下加速整数规划求解：

• 推荐申请免费的学术版 Gurobi 许可证。
• 若无许可证，系统将自动回退到较慢的 PuLP（未经严格测试）。

基本使用

本项目提供 Gradio 交互式界面和命令行脚本两种使用方式。以下示例基于项目自带的 VIPSeg 数据集片段。

方式一：启动 Gradio 交互界面

最直观的试用方式，启动后可在浏览器中上传视频或图片序列进行操作。

python demo/demo_gradio.py

启动后，终端会显示访问链接（如 http://127.0.0.1:7860）。若在远程服务器运行，请使用 SSH 端口转发访问。

方式二：命令行脚本运行

1. 文本提示模式 (Text-Prompted)

使用自然语言描述目标（如 "person.hat.horse"），结合 Grounded-SAM 进行分割跟踪。

python demo/demo_with_text.py --chunk_size 4 \
--img_path ./example/vipseg/images/12_1mWNahzcsAc \
--amp --temporal_setting semionline \
--size 480 \
--output ./example/output --prompt person.hat.horse

提示：如需更高质量掩码，添加 --sam_variant sam_hq；如需高效运行，添加 --sam_variant mobile。

2. 自动模式 (Automatic)

不使用文本提示，利用 SAM 的自动网格点提示进行全图分割跟踪。

python demo/demo_automatic.py --chunk_size 4 \
--img_path ./example/vipseg/images/12_1mWNahzcsAc \
--amp --temporal_setting semionline \
--size 480 \
--output ./example/output

参数说明：

• --chunk_size: 处理块大小，影响显存占用与速度。
• --amp: 启用混合精度推理，节省显存并加速。
• --temporal_setting: 时序设置，semionline 为半在线模式。
• --size: 输入图像长边缩放尺寸。
• --output: 结果输出目录。