APE：统一视觉感知的对齐与提示，一次完成所有任务

---

:bulb: 亮点

• 高性能。 仅用一个模型，在 160 个数据集上达到 SOTA（或具有竞争力）的性能。
• 野外感知。 能够一次性检测和分割包含数千种词汇或语言描述的 所有内容。
• 灵活性。 同时支持实例分割和语义分割中的前景对象与背景元素。

:fire: 最新消息

• 2024.04.07 发布仅含 6M 参数骨干网络的 APE-Ti 检查点！
• 2024.02.27 APE 已被 CVPR 2024 接收！
• 2023.12.05 发布训练代码！
• 2023.12.05 发布 APE-L 的检查点！
• 2023.12.05 发布推理代码及演示！

:label: 待办事项

• 发布推理代码和演示。
• 发布检查点。
• 发布训练代码。
• 补充清晰的文档。

:hammer_and_wrench: 安装

1. 从 GitHub 克隆 APE 仓库：

git clone https://github.com/shenyunhang/APE
cd APE

2. 安装所需的依赖项和 APE：

pip3 install -r requirements.txt
python3 -m pip install -e .

:arrow_forward: 本地演示

Web UI 演示

pip3 install gradio
cd APE/demo
python3 app.py

该演示会自动检测 GPU，如果有 GPU 则会使用其中一块。

也欢迎您体验我们的 在线演示！

:books: 数据准备

请按照 这里 准备以下数据集：

名称	COCO	LVIS	Objects365	Openimages	VisualGenome	SA-1B	RefCOCO	GQA	PhraseCut	Flickr30k
训练	✓	✓	✓	✓	✓	✓	✓	✓	✓	✓
测试	✓	✓	✓	✓	✗	✗	✓	✗	✗	✗
名称	ODinW	SegInW	Roboflow100	ADE20k	ADE-full	BDD10k	Cityscapes	PC459	PC59	VOC	D3
训练	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗
测试	✓	✓	✓	✓	✓	✓	✓	✓	✓	✓	✓

请注意，我们并未使用 coco_2017_train 进行训练。

相反，我们通过将 COCO 的标注信息增强到 lvis_v1_train 中，并保持图像集不变。

然后将其注册为 lvis_v1_train+coco 用于实例分割，以及 lvis_v1_train+coco_panoptic_separated 用于全景分割。

:test_tube: 推理

在 160+ 个数据集上进行推理

我们提供了若干脚本用于评估所有模型。

在运行这些脚本之前，务必调整脚本中的检查点路径和 GPU 数量。

scripts/eval_APE-L_D.sh
scripts/eval_APE-L_C.sh
scripts/eval_APE-L_B.sh
scripts/eval_APE-L_A.sh
scripts/eval_APE-Ti.sh

对图像或视频进行推理

APE-L_D

python3 demo/demo_lazy.py \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k.py \
--input image1.jpg image2.jpg image3.jpg \
--output /path/to/output/dir \
--confidence-threshold 0.1 \
--text-prompt 'person,car,chess piece of horse head' \
--with-box \
--with-mask \
--with-sseg \
--opts \
train.init_checkpoint=/path/to/APE-D/checkpoint \
model.model_language.cache_dir="" \
model.model_vision.select_box_nums_for_evaluation=500 \
model.model_vision.text_feature_bank_reset=True \

若要禁用 xformers，可添加以下选项：

model.model_vision.backbone.net.xattn=False \

若要使用 PyTorch 版本的 MultiScaleDeformableAttention，可添加以下选项：

model.model_vision.transformer.encoder.pytorch_attn=True \
model.model_vision.transformer.decoder.pytorch_attn=True \

:train: 训练

准备骨干网络和语言模型

git lfs install
git clone https://huggingface.co/QuanSun/EVA-CLIP models/QuanSun/EVA-CLIP/
git clone https://huggingface.co/BAAI/EVA models/BAAI/EVA/
git clone https://huggingface.co/Yuxin-CV/EVA-02 models/Yuxin-CV/EVA-02/

调整 patch 尺寸：

python3 tools/eva_interpolate_patch_14to16.py --input models/QuanSun/EVA-CLIP/EVA02_CLIP_E_psz14_plus_s9B.pt --output models/QuanSun/EVA-CLIP/EVA02_CLIP_E_psz14to16_plus_s9B.pt --image_size 224
python3 tools/eva_interpolate_patch_14to16.py --input models/QuanSun/EVA-CLIP/EVA01_CLIP_g_14_plus_psz14_s11B.pt --output models/QuanSun/EVA-CLIP/EVA01_CLIP_g_14_plus_psz14to16_s11B.pt --image_size 224
python3 tools/eva_interpolate_patch_14to16.py --input models/QuanSun/EVA-CLIP/EVA02_CLIP_L_336_psz14_s6B.pt --output models/QuanSun/EVA-CLIP/EVA02_CLIP_L_336_psz14to16_s6B.pt --image_size 336
python3 tools/eva_interpolate_patch_14to16.py --input models/Yuxin-CV/EVA-02/eva02/pt/eva02_Ti_pt_in21k_p14.pt --output models/Yuxin-CV/EVA-02/eva02/pt/eva02_Ti_pt_in21k_p14to16.pt --image_size 224

训练 APE-L_D

单节点：

python3 tools/train_net.py \
--num-gpus 8 \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k_mdl.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k_mdl_`date +'%Y%m%d_%H%M%S'`

多节点：

python3 tools/train_net.py \
--dist-url="tcp://${MASTER_IP}:${MASTER_PORT}" \
--num-gpus ${HOST_GPU_NUM} \
--num-machines ${HOST_NUM} \
--machine-rank ${INDEX} \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k_mdl.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k_mdl_`date +'%Y%m%d_%H'`0000

训练 APE-L_C

单节点：

python3 tools/train_net.py \
--num-gpus 8 \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k_`date +'%Y%m%d_%H%M%S'`

多节点：

python3 tools/train_net.py \
--dist-url="tcp://${MASTER_IP}:${MASTER_PORT}" \
--num-gpus ${HOST_GPU_NUM} \
--num-machines ${HOST_NUM} \
--machine-rank ${INDEX} \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k_`date +'%Y%m%d_%H'`0000

训练 APE-L_B

单节点：

python3 tools/train_net.py \
--num-gpus 8 \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k_`date +'%Y%m%d_%H%M%S'`

多节点：

python3 tools/train_net.py \
--dist-url="tcp://${MASTER_IP}:${MASTER_PORT}" \
--num-gpus ${HOST_GPU_NUM} \
--num-machines ${HOST_NUM} \
--machine-rank ${INDEX} \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_REFCOCO/ape_deta/ape_deta_vitl_eva02_vlf_lsj1024_cp_1080k_`date +'%Y%m%d_%H'`0000

训练 APE-L_A

单节点：

python3 tools/train_net.py \
--num-gpus 8 \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VG/ape_deta/ape_deta_vitl_eva02_lsj1024_cp_720k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VG/ape_deta/ape_deta_vitl_eva02_lsj1024_cp_720k_`date +'%Y%m%d_%H%M%S'`

多节点：

python3 tools/train_net.py \
--dist-url="tcp://${MASTER_IP}:${MASTER_PORT}" \
--num-gpus ${HOST_GPU_NUM} \
--num-machines ${HOST_NUM} \
--machine-rank ${INDEX} \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VG/ape_deta/ape_deta_vitl_eva02_lsj1024_cp_720k.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VG/ape_deta/ape_deta_vitl_eva02_lsj1024_cp_720k_`date +'%Y%m%d_%H'`0000

训练 APE-Ti

单节点：

python3 tools/train_net.py \
--num-gpus 8 \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitt_eva02_vlf_lsj1024_cp_16x4_1080k_mdl.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitt_eva02_vlf_lsj1024_cp_16x4_1080k_mdl_`date +'%Y%m%d_%H%M%S'`

多节点：

python3 tools/train_net.py \
--dist-url="tcp://${MASTER_IP}:${MASTER_PORT}" \
--num-gpus ${HOST_GPU_NUM} \
--num-machines ${HOST_NUM} \
--machine-rank ${INDEX} \
--resume \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitt_eva02_vlf_lsj1024_cp_16x4_1080k_mdl.py \
train.output_dir=output/APE/configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitt_eva02_vlf_lsj1024_cp_16x4_1080k_mdl_`date +'%Y%m%d_%H'`0000

:luggage: 检查点

git lfs install
git clone https://huggingface.co/shenyunhang/APE

	名称	检查点	配置
1	APE-L_A	HF 链接	链接
2	APE-L_B	HF 链接	链接
3	APE-L_C	HF 链接	链接
4	APE-L_D	HF 链接	链接
4	APE-Ti	HF 链接	链接

:medal_military: 结果

:black_nib: 引用

如果您觉得我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@inproceedings{APE,
  title={Aligning and Prompting Everything All at Once for Universal Visual Perception},
  author={Shen, Yunhang and Fu, Chaoyou and Chen, Peixian and Zhang, Mengdan and Li, Ke and Sun, Xing and Wu, Yunsheng and Lin, Shaohui and Ji, Rongrong},
  journal={CVPR},
  year={2024}
}

APE 快速上手指南

APE (Aligning and Prompting Everything) 是一个通用的视觉感知模型，能够使用单一模型在 160+ 数据集上实现 SotA 性能。它支持通过自然语言描述或词汇表，一次性检测、分割图像中的“所有”物体（包括前景对象和背景_stuff_）。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: Python 3.8+
• GPU: 支持 CUDA 的 NVIDIA GPU (推理建议显存 >= 8GB，训练需多卡环境)
• 依赖: PyTorch, Detectron2, xformers (可选加速)

注意: 本项目依赖 git-lfs 拉取大模型权重，请确保已安装。

sudo apt-get install git-lfs
git lfs install

安装步骤

1. 克隆代码库

git clone https://github.com/shenyunhang/APE
cd APE

2. 安装依赖与包

建议使用虚拟环境（如 conda 或 venv）以避免冲突。

pip3 install -r requirements.txt
python3 -m pip install -e .

3. 下载预训练模型 (可选，用于直接推理)

如果只需运行演示或推理，可从 HuggingFace 下载 checkpoints。

git lfs install
git clone https://huggingface.co/shenyunhang/APE
# 模型文件将下载到当前目录下的 APE 文件夹中

基本使用

方式一：启动本地 Web UI 演示 (推荐新手)

这是最简单的体验方式，提供图形化界面进行图像上传和提示词输入。

1. 安装 Gradio：

   pip3 install gradio
   

2. 启动服务：

   cd APE/demo
   python3 app.py
   

3. 在浏览器打开终端显示的本地地址（通常为 http://127.0.0.1:7860）。
   • 该脚本会自动检测并使用可用的 GPU。
   • 支持在线演示访问：HuggingFace Space

方式二：命令行推理 (图片/视频)

使用 demo_lazy.py 对单张或多张图片进行推理，支持自定义文本提示、置信度阈值及输出类型（框、掩码、语义分割）。

示例命令：

python3 demo/demo_lazy.py \
--config-file configs/LVISCOCOCOCOSTUFF_O365_OID_VGR_SA1B_REFCOCO_GQA_PhraseCut_Flickr30k/ape_deta/ape_deta_vitl_eva02_clip_vlf_lsj1024_cp_16x4_1080k.py \
--input image1.jpg image2.jpg \
--output ./output_results \
--confidence-threshold 0.1 \
--text-prompt 'person,car,chess piece of horse head' \
--with-box \
--with-mask \
--with-sseg \
--opts \
train.init_checkpoint=/path/to/APE-D/checkpoint \
model.model_language.cache_dir="" \
model.model_vision.select_box_nums_for_evaluation=500 \
model.model_vision.text_feature_bank_reset=True

参数说明：

• --input: 输入图片路径，可多个。
• --text-prompt: 想要检测的目标描述，用逗号分隔。
• --with-box, --with-mask, --with-sseg: 分别启用检测框、实例分割掩码、语义分割输出。
• train.init_checkpoint: 必须修改为你的实际模型权重路径 (例如 APE/checkpoints/model_final.pth)。

优化选项：

• 若遇到 xformers 兼容性问题，添加：model.model_vision.backbone.net.xattn=False \
• 若需使用 PyTorch 原生注意力机制，添加：

  model.model_vision.transformer.encoder.pytorch_attn=True \
  model.model_vision.transformer.decoder.pytorch_attn=True \
  

方式三：批量评估 (160+ 数据集)

项目提供了针对不同模型变体（APE-L_D, APE-Ti 等）的评估脚本。运行前请修改脚本内的 checkpoint 路径和 GPU 数量。

# 示例：评估 APE-L_D 模型
bash scripts/eval_APE-L_D.sh