无监督图像与视频目标检测及实例分割的剪切与学习

Cut-and-LEaRn (CutLER) 是一种无需人工标注即可训练目标检测和实例分割模型的简单方法。 它在 11 个基准测试上，AP50 指标比之前的 SOTA 提升了 2.7 倍，AR 指标提升了 2.6 倍。

无监督目标检测与实例分割的剪切与学习
王旭东 (Xudong Wang)、罗希特·吉尔达尔 (Rohit Girdhar)、斯黛拉·Y·余 (Stella X. Yu)、伊山·米斯拉 (Ishan Misra)
FAIR, Meta AI；加州大学伯克利分校
CVPR 2023

[项目页面] [arxiv] [colab] [bibtex]

同时支持无监督视频实例分割（VideoCutLER）。我们证明了视频实例分割模型可以在完全不使用任何人工标注、不依赖自然视频（仅使用 ImageNet 数据就足够）、甚至不需要运动估计的情况下进行学习！ 代码可在 这里 获取。

VideoCutLER：令人惊讶的简单无监督视频实例分割
王旭东 (Xudong Wang)、伊山·米斯拉 (Ishan Misra)、曾子云、罗希特·吉尔达尔 (Rohit Girdhar)、特雷弗·达雷尔 (Trevor Darrell)
加州大学伯克利分校；FAIR, Meta AI
CVPR 2024

[代码] [PDF] [arxiv] [bibtex]

特性

• 我们提出了 MaskCut 方法，用于为图像中的多个目标生成伪掩码。
• CutLER 仅使用 ImageNet-1K 数据集即可学习无监督的目标检测器和实例分割模型。
• 在涵盖自然图像、视频帧、绘画、素描等多种领域的 11 个不同基准测试上，CutLER 对领域迁移表现出强大的鲁棒性。
• CutLER 可用作全监督或半监督检测与分割任务的预训练模型。
• 我们还提出了 VideoCutLER，这是一种无需依赖光流的惊人简单的无监督视频实例分割（UVIS）方法。只需 ImageNet-1K 数据集，就能训练出 SOTA 的 UVIS 模型！

安装

请参阅 安装说明。

数据集准备

请参阅 为 CutLER 准备数据集。

方法概述

剪切与学习分为两个阶段：1) 使用 MaskCut 生成伪掩码；2) 从未标注数据的伪掩码中学习无监督检测器。

1. MaskCut

MaskCut 可以为每张图像中的多个实例提供分割掩码。

MaskCut 演示

使用 Colab 尝试 MaskCut 演示（无需 GPU）：

尝试网页演示：（感谢 @hysts！）

如果想在本地运行 MaskCut，我们提供了 demo.py，可以可视化 MaskCut 生成的伪掩码。 运行命令如下：

cd maskcut
python demo.py --img-path imgs/demo2.jpg \
  --N 3 --tau 0.15 --vit-arch base --patch-size 8 \
  [--其他选项]

我们在 maskcut/imgs/ 中提供了一些演示图片。如果想用 CPU 运行 demo.py，只需在运行脚本时添加 --cpu 即可。对于 imgs/demo4.jpg，需要使用 --N 6 才能分割图中的六个实例。 接下来是一些演示图片上伪掩码的可视化效果。

使用 MaskCut 为 ImageNet-1K 生成标注

要使用 MaskCut 为 ImageNet-1K 生成伪掩码，首先按照 datasets/README.md 中的说明设置 ImageNet-1K 数据集，然后执行以下命令：

cd maskcut
python maskcut.py \
--vit-arch base --patch-size 8 \
--tau 0.15 --fixed_size 480 --N 3 \
--num-folder-per-job 1000 --job-index 0 \
--dataset-path /path/to/dataset/traindir \
--out-dir /path/to/save/annotations \

由于为 1,000 个文件夹中的 130 万张图像生成伪掩码需要较长时间，建议分多次运行。每次运行时可通过设置 --num-folder-per-job 和 --job-index 来处理较少数量的图像文件夹。所有运行完成后，可以使用以下命令合并所有生成的 JSON 文件：

python merge_jsons.py \
--base-dir /path/to/save/annotations \
--num-folder-per-job 2 --fixed-size 480 \
--tau 0.15 --N 3 \
--save-path imagenet_train_fixsize480_tau0.15_N3.json

merge_jsons.py 中的 --num-folder-per-job、--fixed-size、--tau 和 --N 应与运行 maskcut.py 时使用的参数一致。

我们还提供了一个 submitit 脚本，用于在多台节点上启动伪掩码生成过程。

cd maskcut
bash run_maskcut_with_submitit.sh

之后，您可以按照上述说明使用 merge_jsons.py 合并所有这些 JSON 文件。

2. CutLER

使用预训练模型的 CutLER 推理演示

使用 Colab 试用 CutLER 演示（无需 GPU）：

试用网页版演示：（感谢 @hysts！）

试用 Replicate 演示及 API：

如果您想在本地运行 CutLER 演示，

1. 从 模型库 中选择一个模型及其配置文件，例如 model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN.yaml。
2. 我们提供了 demo.py，可用于演示内置配置。运行命令如下：

cd cutler
python demo/demo.py --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN_demo.yaml \
  --input demo/imgs/*.jpg \
  [--其他选项]
  --opts MODEL.WEIGHTS /path/to/cutler_w_cascade_checkpoint

这些配置是为训练设计的，因此我们需要通过 MODEL.WEIGHTS 指定来自模型库的模型来进行评估。 该命令将执行推理，并在 OpenCV 窗口中显示可视化结果。

• 若要在 CPU 上 运行，可在 --opts 后添加 MODEL.DEVICE cpu。
• 若要将输出保存到目录（图像）或文件（网络摄像头或视频），可使用 --output。

接下来，我们展示模型在演示图像上的预测结果可视化效果。

无监督模型学习

在训练检测器之前，需要使用 MaskCut 为 ImageNet 数据集中的所有图像生成伪掩码。 您可以直接使用预先生成的 JSON 文件，从 这里 下载并将其放置在 DETECTRON2_DATASETS/imagenet/annotations/ 目录下；或者按照 MaskCut 中的说明自行生成伪掩码。

我们提供了一个脚本 train_net.py，用于训练 CutLER 中提供的所有配置文件。 要使用 train_net.py 训练模型，首先请按照 datasets/README.md 设置 ImageNet-1K 数据集，然后运行：

cd cutler
export DETECTRON2_DATASETS=/path/to/DETECTRON2_DATASETS/
python train_net.py --num-gpus 8 \
  --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN.yaml

如果您希望使用多节点训练模型，可能需要调整 某些模型参数 以及 “tools/train-1node.sh” 和 “tools/single-node_run.sh” 中的 SBATCH 命令选项，然后运行：

cd cutler
sbatch tools/train-1node.sh \
  --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN.yaml \
  MODEL.WEIGHTS /path/to/dino/d2format/model \
  OUTPUT_DIR output/

您也可以按照 此链接 自行将预训练的 DINO 模型转换为 detectron2 格式。

自我训练

我们通过利用模型自身的预测结果进行自我训练，进一步提升了性能。

首先，我们可以通过以下命令获取模型在 ImageNet 上的预测结果：

python train_net.py --num-gpus 8 \
  --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN.yaml \
  --test-dataset imagenet_train \
  --eval-only TEST.DETECTIONS_PER_IMAGE 30 \
  MODEL.WEIGHTS output/model_final.pth \ # 加载上一阶段/轮次的检查点
  OUTPUT_DIR output/ # 保存模型预测结果的路径

其次，我们可以运行以下命令生成第一轮自我训练的 JSON 文件：

python tools/get_self_training_ann.py \
  --new-pred output/inference/coco_instances_results.json \ # 加载模型预测结果
  --prev-ann DETECTRON2_DATASETS/imagenet/annotations/imagenet_train_fixsize480_tau0.15_N3.json \ # 老的标注文件路径
  --save-path DETECTRON2_DATASETS/imagenet/annotations/cutler_imagenet1k_train_r1.json \ # 新标注文件的保存路径
  --threshold 0.7

最后，将 “cutler_imagenet1k_train_r1.json” 放置在 “DETECTRON2_DATASETS/imagenet/annotations/” 目录下，然后启动自我训练过程：

python train_net.py --num-gpus 8 \
  --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN_self_train.yaml \
  --train-dataset imagenet_train_r1 \
  MODEL.WEIGHTS output/model_final.pth \ # 加载上一阶段/轮次的检查点
  OUTPUT_DIR output/self-train-r1/ # 保存检查点的路径

您可以重复上述步骤进行多轮自我训练，并根据需要调整一些参数（例如，第 1 轮和第 2 轮的 “--threshold” 可分别设置为 0.7 和 0.65；第 1 轮和第 2 轮的 “--train-dataset” 可分别设置为 “imagenet_train_r1” 和 “imagenet_train_r2”；“MODEL.WEIGHTS” 应指向上一阶段/轮次的检查点）。请确保所有标注文件都放置在 DETECTRON2_DATASETS/imagenet/annotations/ 目录下。 请务必使 “--train-dataset”、JSON 文件名称及位置与 “cutler/data/datasets/builtin.py” 中指定的一致。 有关使用自定义数据集的指导，请参考 此说明。

您还可以直接下载每一轮自我训练所使用的 MODEL.WEIGHTS 和标注文件：

第 1 轮	cutler_cascade_r1.pth	cutler_imagenet1k_train_r1.json
第 2 轮	cutler_cascade_r2.pth	cutler_imagenet1k_train_r2.json

无监督零样本评估

要评估模型在 11 个不同数据集上的性能，请参阅 datasets/README.md 了解数据集准备说明。然后，从模型库中选择一个模型，在 tools/eval.sh 中指定 “model_weights”、“config_file” 和 “DETECTRON2_DATASETS” 的路径，再运行该脚本。

bash tools/eval.sh

模型动物园

我们在涵盖多种领域的11个不同数据集上展示了零样本无监督目标检测性能（AP50 | AR）。^：CutLER 使用 Mask R-CNN 作为检测器；*：CutLER 使用 Cascade Mask R-CNN 作为检测器。

方法	模型	COCO	COCO20K	VOC	LVIS	UVO	Clipart	Comic	Watercolor	KITTI	Objects365	OpenImages
先前SOTA	-	9.6 | 12.6	9.7 | 12.6	15.9 | 21.3	3.8 | 6.4	10.0 | 14.2	7.9 | 15.1	9.9 | 16.3	6.7 | 16.2	7.7 | 7.1	8.1 | 10.2	9.9 | 14.9
CutLER^	下载	21.1 | 29.6	21.6 | 30.0	36.6 | 41.0	7.7 | 18.7	29.8 | 38.4	20.9 | 38.5	31.2 | 37.1	37.3 | 39.9	15.3 | 25.4	19.5 | 30.0	17.1 | 26.4
CutLER*	下载	21.9 | 32.7	22.4 | 33.1	36.9 | 44.3	8.4 | 21.8	31.7 | 42.8	21.1 | 41.3	30.4 | 38.6	37.5 | 44.6	18.4 | 27.5	21.6 | 34.2	17.3 | 29.6

半监督与全监督学习

CutLER 还可以作为预训练模型，用于训练完全监督的目标检测和实例分割模型，并在 COCO 数据集上提升性能，包括在少样本基准测试中。

命令行中的训练与评估

您可以在 model_zoo/configs/COCO-Semisupervised 下找到 CutLER 提供的所有半监督和全监督学习配置文件。

要使用 train_net.py 利用 K% 的标注数据训练模型，首先按照 datasets/README.md 设置 COCO 数据集，并在配置文件中指定 K 值，然后运行：

python train_net.py --num-gpus 8 \
  --config-file model_zoo/configs/COCO-Semisupervised/cascade_mask_rcnn_R_50_FPN_{K}perc.yaml \
  MODEL.WEIGHTS /path/to/cutler_pretrained_model

您可以在 model_zoo/configs/COCO-Semisupervised 下找到所有用于训练监督模型的配置文件。这些配置适用于 8 张 GPU 卡的训练。如果要在单张 GPU 上训练，您可能需要调整一些参数，例如 GPU 数量 (num-gpus your_num_gpus)、学习率 (SOLVER.BASE_LR your_base_lr) 和批量大小 (SOLVER.IMS_PER_BATCH your_batch_size)。

评估

要评估模型性能，请使用：

python train_net.py \
  --config-file model_zoo/configs/COCO-Semisupervised/cascade_mask_rcnn_R_50_FPN_{K}perc.yaml \
  --eval-only MODEL.WEIGHTS /path/to/checkpoint_file

更多选项请参阅 python train_net.py -h。

模型动物园

我们在不同数量的 COCO 标注数据上对使用 CutLER 或 MoCo-v2 初始化的 Cascade R-CNN 模型进行微调，并在下面的 val2017 分割上展示了结果（Box | Mask AP）：

标注比例	1%	2%	5%	10%	20%	30%	40%	50%	60%	80%	100%
MoCo-v2	11.8 | 10.0	16.2 | 13.8	20.5 | 17.8	26.5 | 23.0	32.5 | 28.2	35.5 | 30.8	37.3 | 32.3	38.7 | 33.6	39.9 | 34.6	41.6 | 36.0	42.8 | 37.0
CutLER	16.8 | 14.6	21.6 | 18.9	27.8 | 24.3	32.2 | 28.1	36.6 | 31.7	38.2 | 33.3	39.9 | 34.7	41.5 | 35.9	42.3 | 36.7	43.8 | 37.9	44.7 | 38.5
下载	模型	模型	模型	模型	模型	模型	模型	模型	模型	模型	模型

MoCo-v2 和我们的 CutLER 均使用 Detectron2 按照 1x 调度进行训练，除了标注比例仅为 1% 或 2% 的极低样本量设置。在使用 1% 或 2% 标注进行训练时，我们分别对 MoCo-v2 和我们的模型进行 3,600 次迭代训练，批次大小为 16。

许可证

CutLER、Detectron2 和 DINO 的大部分内容采用 CC-BY-NC 许可证授权，但项目中的部分内容则以单独的许可条款提供：TokenCut、Bilateral Solver 和 CRF 采用 MIT 许可证授权；如果您后续添加了其他第三方代码，请务必更新此许可证信息，并告知我们该组件是否采用 CC-BY-NC、MIT 或 CC0 之外的其他许可证。

伦理考量

CutLER 广泛的检测能力可能会带来与其他视觉识别方法类似的挑战。 由于图像中可能包含任意实例，这可能会对模型输出产生影响。

如何获得我们的支持？

如果您有任何一般性问题，欢迎发送邮件至 Xudong Wang、Ishan Misra 和 Rohit Girdhar。如果您有关于代码或实现的问题，也欢迎随时向我们发送邮件或在此代码库中提交问题（我们建议您在此代码库中提交问题，因为您的问题可能会帮助其他人）。

引用

如果您觉得我们的工作富有启发性，或者在您的研究中使用了我们的代码库，请考虑为我们点亮一颗星 ⭐ 并引用我们的论文。

@inproceedings{wang2023cut,
  title={无监督目标检测与实例分割的剪切与学习},
  author={Wang, Xudong and Girdhar, Rohit and Yu, Stella X and Misra, Ishan},
  booktitle={IEEE/CVF 计算机视觉与模式识别会议论文集},
  pages={3124--3134},
  year={2023}
}

@article{wang2023videocutler,
  title={VideoCutLER：令人惊讶的简单无监督视频实例分割},
  author={Wang, Xudong and Misra, Ishan and Zeng, Ziyun and Girdhar, Rohit and Darrell, Trevor},
  journal={arXiv 预印本 arXiv:2308.14710},
  year={2023}
}

CutLER 快速上手指南

CutLER (Cut-and-Learn) 是一个无需人工标注即可训练目标检测和实例分割模型的开源工具。它仅使用 ImageNet-1K 数据即可达到超越以往最先进方法（SOTA）的性能，并支持视频实例分割（VideoCutLER）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (训练推荐多卡，推理可单卡或 CPU)
• 前置依赖:
  • PyTorch (建议 1.10+)
  • Detectron2 (CutLER 基于此框架)
  • torchvision
  • opencv-python
  • submitit (用于多节点任务调度，可选)

注意: 具体版本的兼容性请参考官方 INSTALL.md 文件。国内用户安装 PyTorch 时建议使用清华或阿里镜像源加速。

安装步骤

1. 克隆仓库

git clone https://github.com/facebookresearch/CutLER.git
cd CutLER

2. 安装 Detectron2 及依赖

CutLER 依赖 Detectron2。请先按照 Detectron2 安装指南 安装基础环境，然后安装 CutLER 特定依赖：

pip install -e .

如果在国内网络环境下安装缓慢，可尝试指定国内镜像源：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 数据集准备 (可选但推荐)

若需复现训练过程，需准备 ImageNet-1K 数据集。

• 下载 ImageNet-1K 训练集。
• 按照 datasets/README.md 中的说明整理目录结构。
• 设置环境变量指向数据集根目录：

  export DETECTRON2_DATASETS=/path/to/your/datasets
  

基本使用

CutLER 的核心功能分为两部分：MaskCut (生成伪标签) 和 CutLER (推理与训练)。以下是无需训练、直接使用预训练模型进行推理的最简示例。

方式一：使用 Colab 在线体验 (无需本地环境)

如果您只想快速测试效果，推荐使用 Google Colab：

• MaskCut 演示: 打开 Colab
• CutLER 演示: 打开 Colab

方式二：本地运行推理 Demo

1. 下载预训练模型

从 Model Zoo 下载预训练权重（例如 Cascade Mask R-CNN R50）：

# 示例：下载权重到当前目录 (请替换为实际下载链接)
wget http://dl.fbaipublicfiles.com/cutler/checkpoints/cutler_w_cascade_checkpoint.pth

2. 运行推理脚本

进入 cutler 目录并执行以下命令。该命令将读取示例图片并在窗口中显示检测结果。

cd cutler
python demo/demo.py --config-file model_zoo/configs/CutLER-ImageNet/cascade_mask_rcnn_R_50_FPN_demo.yaml \
  --input demo/imgs/*.jpg \
  --opts MODEL.WEIGHTS ./cutler_w_cascade_checkpoint.pth

常用参数说明：

• --input: 输入图片路径，支持通配符。
• MODEL.WEIGHTS: 指定下载的预训练模型路径。
• MODEL.DEVICE cpu: 如果无 GPU，添加此参数以在 CPU 上运行。
• --output: 指定输出目录保存结果图片，而不是弹出窗口。

3. 仅运行 MaskCut 生成分割掩码

如果您只想对单张图片生成伪分割掩码（无需检测框）：

cd maskcut
python demo.py --img-path imgs/demo2.jpg \
  --N 3 --tau 0.15 --vit-arch base --patch-size 8

• --N: 期望分割的对象数量。
• --cpu: 若无 GPU，添加此标志。

---

注：如需进行无监督训练或自训练（Self-training），请先使用 MaskCut 为 ImageNet 生成完整的伪标签 JSON 文件，随后参考 README 中的 "Unsupervised Model Learning" 章节配置 train_net.py。