你的 ViT 其实是个图像分割模型

CVPR 2025 ✨ 亮点 · 📄 论文

Tommie Kerssies¹, Niccolò Cavagnero^2,*, Alexander Hermans³, Narges Norouzi¹, Giuseppe Averta², Bastian Leibe³, Gijs Dubbelman¹, Daan de Geus^1,3

¹ 埃因霍温理工大学
² 都灵理工大学
³ 亚琛工业大学
* 在亚琛工业大学访问期间完成的工作

概述

我们提出了 仅编码器掩码 Transformer (EoMT)，这是一种极简的图像分割模型，它将普通的 Vision Transformer (ViT) 改造成能够同时将图像块和分割查询编码为标记的架构。无需适配器，也不需要解码器——只需一个 ViT。

借助大规模预训练的 ViT，EoMT 获得了与依赖复杂任务特定组件的最先进方法相当的精度。与此同时，由于其简洁性，它的速度显著更快，例如在使用 ViT-L 时，速度可提升至原来的 4 倍。

事实证明，你的 ViT 其实就是一个图像分割模型。EoMT 表明，架构上的复杂性并非必要。对于分割任务来说，一个普通的 Transformer 就足够了。

🚀 新：PMT

隆重推出我们的最新模型，PMT：用于图像和视频分割的纯掩码 Transformer，采用冻结视觉编码器。

PMT 将 EoMT 的极简理念与保留冻结基础模型特征的需求相结合，通过使用简单快速的解码器来模拟 EoMT 和 VidEoMT 的最后几层。

快来看看吧！点此

🚀 新：VidEoMT

🔥 我们很高兴地推出最新的 CVPR 2026 论文，VidEoMT：你的 ViT 其实也是一个视频分割模型。

VidEoMT 将 EoMT 的理念扩展到时间维度，提出了一种仅编码器的视频分割模型，其速度比竞争对手快高达 10 倍。

快去查看一下吧！点此

🚀 新：DINOv3 支持

🔥 我们很高兴宣布支持 DINOv3 主干网络！基于 DINOv3 的全新 EoMT 模型在所有分割任务中都带来了性能提升：

• 全景分割：使用 EoMT-L 在 1280×1280 分辨率下，在 COCO 数据集上达到 58.9 的 PQ
• 实例分割：使用 EoMT-L 在 1280×1280 分辨率下，在 COCO 数据集上达到 49.9 的 mAP
• 语义分割：使用 EoMT-L 在 512×512 分辨率下，在 ADE20K 数据集上达到 59.5 的 mIoU

这一切，都在 EoMT 出色的速度下实现！

请查看我们的 DINOv3 模型库，了解所有可用的 EoMT 配置及性能基准。

感谢 DINOv3 团队提供的这些强大的基础模型！

🤗 Transformers

搭载 DINOv2 的 EoMT 也已在 Hugging Face Transformers 上发布。可在 这里查看可用模型。

安装

如果你尚未安装 Conda，请先安装 Miniconda 并重启终端：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

然后创建环境、激活并安装依赖项：

conda create -n eomt python==3.13.2
conda activate eomt
python3 -m pip install -r requirements.txt

Weights & Biases（wandb）用于实验记录和可视化。要启用 wandb，请登录你的账号：

wandb login

数据准备

根据你计划使用的数据集，下载以下文件。
你不需要解压任何下载的文件。
只需将它们放置在你选择的目录中，并通过 --data.path 参数指定该路径。
代码会直接读取 .zip 文件。

COCO

wget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
wget http://images.cocodataset.org/annotations/panoptic_annotations_trainval2017.zip

ADE20K

wget http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip
wget http://sceneparsing.csail.mit.edu/data/ChallengeData2017/annotations_instance.tar
tar -xf annotations_instance.tar
zip -r -0 annotations_instance.zip annotations_instance/
rm -rf annotations_instance.tar
rm -rf annotations_instance

Cityscapes

wget --keep-session-cookies --save-cookies=cookies.txt --post-data 'username=<your_username>&password=<your_password>&submit=Login' https://www.cityscapes-dataset.com/login/
wget --load-cookies cookies.txt --content-disposition https://www.cityscapes-dataset.com/file-handling/?packageID=1
wget --load-cookies cookies.txt --content-disposition https://www.cityscapes-dataset.com/file-handling/?packageID=3

🔧 请将 <your_username> 和 <your_password> 替换为你实际的 Cityscapes 登录凭证。

使用

训练

要从头开始训练 EoMT，请运行：

python3 main.py fit \
  -c configs/dinov2/coco/panoptic/eomt_large_640.yaml \
  --trainer.devices 4 \
  --data.batch_size 4 \
  --data.path /path/to/dataset

此命令将在 COCO 全景分割数据集上，使用 4 张 GPU，以 640×640 的输入尺寸训练 EoMT-L 模型。每张 GPU 处理 4 张图像的批次，总批次大小为 16。将配置路径中的 dinov2 更改为 dinov3，即可启用相应的 DINOv3 模型。

✅ 确保总批次大小为 devices × batch_size = 16
🔧 请将 /path/to/dataset 替换为包含数据集压缩包的目录。

此配置在 4 张 NVIDIA H100 GPU 上大约需要 6 小时，每张 GPU 约占用 26GB 显存。

若要微调预训练的 EoMT 模型，可添加：

  --model.ckpt_path /path/to/pytorch_model.bin \
  --model.load_ckpt_class_head False

🔧 请将 /path/to/pytorch_model.bin 替换为你要微调的检查点路径。

--model.load_ckpt_class_head False 会在对具有不同类别数据集进行微调时跳过分类头的加载。

DINOv3 模型：当使用基于 DINOv3 的配置时，代码默认期望相对 DINOv3 权重的增量权重。若要禁用此行为而使用绝对权重，请添加 --model.delta_weights False。

评估

要评估一个预训练的 EoMT 模型，请运行以下命令：

python3 main.py validate \
  -c configs/dinov2/coco/panoptic/eomt_large_640.yaml \
  --model.network.masked_attn_enabled False \
  --trainer.devices 4 \
  --data.batch_size 4 \
  --data.path /path/to/dataset \
  --model.ckpt_path /path/to/pytorch_model.bin

此命令使用 4 张 GPU，每张 GPU 的批大小为 4，来评估相同的 EoMT-L 模型。

🔧 请将 /path/to/dataset 替换为包含数据集压缩文件的目录。
🔧 请将 /path/to/pytorch_model.bin 替换为要评估的检查点路径。

我们提供了一个 notebook，可用于快速推理和可视化，并自动下载预训练模型。

DINOv3 模型：当使用基于 DINOv3 的配置时，代码默认会期望相对于 DINOv3 权重的增量权重。若要禁用此行为并改用绝对权重，请添加 --model.delta_weights False。

模型库

我们提供了基于 DINOv2 和 DINOv3 的 EoMT 模型的预训练权重。

• DINOv2 模型 - 原始发表的结果及预训练权重。
• DINOv3 模型 - 新的基于 DINOv3 的模型及预训练权重。

引用

如果您在研究中使用了本工作，请使用以下 BibTeX 条目进行引用：

@inproceedings{kerssies2025eomt,
  author    = {Kerssies, Tommie and Cavagnero, Niccol\`{o} and Hermans, Alexander and Norouzi, Narges and Averta, Giuseppe and Leibe, Bastian and Dubbelman, Gijs and {de Geus}, Daan},
  title     = {{Your ViT is Secretly an Image Segmentation Model}},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2025},
}

致谢

本项目基于以下库和仓库中的代码：

• Hugging Face Transformers（Apache-2.0 许可证）
• PyTorch Image Models (timm)（Apache-2.0 许可证）
• PyTorch Lightning（Apache-2.0 许可证）
• TorchMetrics（Apache-2.0 许可证）
• Mask2Former（Apache-2.0 许可证）
• Detectron2（Apache-2.0 许可证）

EoMT 快速上手指南

EoMT (Encoder-only Mask Transformer) 是一个极简的图像分割模型，它直接将预训练的 Vision Transformer (ViT) 复用为分割模型，无需额外的适配器或解码器。该模型在保持与最先进方法相当精度的同时，显著提升了推理速度（例如 ViT-L 版本快达 4 倍）。

环境准备

• 操作系统: Linux (推荐)
• Python: 3.13.2 (官方推荐版本)
• 硬件: NVIDIA GPU (训练示例需多卡，如 4×H100；推理可根据模型大小调整)
• 依赖管理: Conda (Miniconda 或 Anaconda)
• 可选: Weights & Biases (wandb) 账号用于实验日志记录

安装步骤

1. 安装 Conda (如未安装)

如果系统中没有 Conda，请先安装 Miniconda：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

安装完成后请重启终端。

2. 创建并激活环境

创建名为 eomt 的虚拟环境并安装依赖：

conda create -n eomt python==3.13.2
conda activate eomt
python3 -m pip install -r requirements.txt

提示: 国内用户若下载依赖较慢，可添加清华或阿里镜像源： python3 -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置实验日志 (可选)

如需使用 WandB 记录训练过程：

wandb login

基本使用

1. 数据准备

下载数据集（以 COCO 为例），无需解压，代码可直接读取 .zip 文件。将文件存放在同一目录下。

# 示例：下载 COCO 数据集
wget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
wget http://images.cocodataset.org/annotations/panoptic_annotations_trainval2017.zip

注：ADE20K 和 Cityscapes 数据集请下载对应文件并放在同一目录。

2. 模型训练

以下命令使用 4 张 GPU 从头训练 EoMT-L 模型（输入分辨率 640×640），基于 DINOv2 backbone 进行 COCO 全景分割任务。

python3 main.py fit \
  -c configs/dinov2/coco/panoptic/eomt_large_640.yaml \
  --trainer.devices 4 \
  --data.batch_size 4 \
  --data.path /path/to/dataset

• 参数说明:
  • /path/to/dataset: 替换为存放上述 zip 文件的目录路径。
  • 总 Batch Size = devices × batch_size (示例中为 16)。
  • 若要使用 DINOv3 模型，请将配置路径中的 dinov2 改为 dinov3。
  • 若使用 DINOv3 且希望加载绝对权重而非增量权重，请添加 --model.delta_weights False。

3. 模型评估

使用预训练权重进行评估：

python3 main.py validate \
  -c configs/dinov2/coco/panoptic/eomt_large_640.yaml \
  --model.network.masked_attn_enabled False \
  --trainer.devices 4 \
  --data.batch_size 4 \
  --data.path /path/to/dataset \
  --model.ckpt_path /path/to/pytorch_model.bin

• 参数说明:
  • /path/to/pytorch_model.bin: 替换为预训练模型权重文件的路径。
  • --model.network.masked_attn_enabled False: 评估时通常关闭掩码注意力以加速。

4. 快速推理 (可选)

项目提供了一个 Jupyter Notebook 用于快速测试和可视化，会自动下载预训练模型：

# 启动 Jupyter 后打开 inference.ipynb
jupyter notebook inference.ipynb