FeatUp：一种与模型无关、适用于任意分辨率特征的框架

ICLR 2024

Stephanie Fu*, Mark Hamilton*, Laura Brandt, Axel Feldman, Zhoutong Zhang, William T. Freeman *同等贡献。

简而言之：FeatUp能够在不改变语义的情况下，将任何模型的特征空间分辨率提升16至32倍。

https://github.com/mhamilton723/FeatUp/assets/6456637/8fb5aa7f-4514-4a97-aebf-76065163cdfd

目录

• 安装
• 使用预训练上采样器
• 为图像拟合隐式上采样器
• 即将推出
• 引用
• 联系方式

安装

pip

对于只想快速使用FeatUp API的用户，可以通过以下命令安装：

pip install git+https://github.com/mhamilton723/FeatUp

本地开发

若需进行本地开发并访问示例图片，请按如下步骤安装：

git clone https://github.com/mhamilton723/FeatUp.git
cd FeatUp
pip install -e .

使用预训练上采样器

如需查看预训练模型的使用示例，请参阅我们的Colab笔记本。目前我们提供了以下预训练版本的FeatUp JBU上采样器：

模型名称	检查点	检查点（无LayerNorm）	Torch Hub仓库	Torch Hub名称
DINO	下载	下载	mhamilton723/FeatUp	dino16
DINO v2	下载	下载	mhamilton723/FeatUp	dinov2
CLIP	下载	下载	mhamilton723/FeatUp	clip
MaskCLIP	无	下载	mhamilton723/FeatUp	maskclip
ViT	下载	下载	mhamilton723/FeatUp	vit
ResNet50	下载	下载	mhamilton723/FeatUp	resnet50

例如，要加载用于DINO主干网络且不带额外空间特征LayerNorm的FeatUp JBU上采样器：

upsampler = torch.hub.load("mhamilton723/FeatUp", 'dino16', use_norm=False)

若要加载在带有额外LayerNorm操作的主干网络上训练的上采样器，这种设置使训练和迁移学习更加稳定：

upsampler = torch.hub.load("mhamilton723/FeatUp", 'dino16')

为图像拟合隐式上采样器

要为特定图像和主干网络训练隐式上采样器，首先克隆仓库并按照本地开发的方式进行安装。然后运行：

cd featup
python train_implicit_upsampler.py

该训练操作的参数可在隐式上采样器配置文件中找到。

本地Gradio演示

要本地运行我们HuggingFace Spaces托管的FeatUp演示，请先安装用于本地开发的FeatUp。然后运行：

python gradio_app.py

等待几秒钟让演示启动完毕，随后访问http://localhost:7860/即可查看演示。

即将推出：

• 训练您自己的FeatUp联合双边上采样器
• 隐式FeatUp训练的简单API

引用

@inproceedings{
    fu2024featup,
    title={FeatUp: A Model-Agnostic Framework for Features at Any Resolution},
    author={Stephanie Fu and Mark Hamilton and Laura E. Brandt and Axel Feldmann and Zhoutong Zhang and William T. Freeman},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=GkJiNn2QDF}
}

联系方式

如需反馈、提问或媒体垂询，请联系 Stephanie Fu 和 Mark Hamilton。

FeatUp 快速上手指南

FeatUp 是一个模型无关的框架，能够将任意深度学习模型的特征图空间分辨率提升 16-32 倍，同时保持其语义信息不变。本指南将帮助你快速安装并使用预训练的上采样器。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.8 或更高版本
• 核心依赖:
  • PyTorch (建议版本 1.10+)
  • Torchvision
• 其他依赖: 安装过程中会自动处理 numpy, Pillow, tqdm 等常见科学计算库。

提示: 建议使用虚拟环境（如 venv 或 conda）以避免依赖冲突。

安装步骤

你可以根据需求选择以下两种安装方式之一：

方式一：快速使用（推荐）

如果你只想直接调用 API 使用预训练模型，可以通过 pip 直接安装：

pip install git+https://github.com/mhamilton723/FeatUp

方式二：本地开发

如果你需要修改源码、运行示例脚本或使用本地 Gradio 演示，请克隆仓库并进行可编辑安装：

git clone https://github.com/mhamilton723/FeatUp.git
cd FeatUp
pip install -e .

基本使用

FeatUp 提供了基于 Torch Hub 的预训练上采样器，支持 DINO, DINO v2, CLIP, ViT, ResNet50 等多种骨干网络。

加载预训练上采样器

以下是最简单的使用示例，展示如何加载针对 DINO (ViT-16) 骨干网络训练的上采样器：

示例 1：加载带 LayerNorm 的版本（训练和迁移学习更稳定）

import torch

# 加载默认配置（包含额外的 LayerNorm）
upsampler = torch.hub.load("mhamilton723/FeatUp", 'dino16')

示例 2：加载不带 LayerNorm 的版本

import torch

# 加载不包含额外 LayerNorm 的版本
upsampler = torch.hub.load("mhamilton723/FeatUp", 'dino16', use_norm=False)

支持的预训练模型

除了 dino16，你还可以将上述代码中的模型名称替换为以下支持的模型：

模型名称 (Torch Hub Name)	对应骨干网络
dinov2	DINO v2
clip	CLIP
maskclip	MaskCLIP
vit	ViT
resnet50	ResNet50

下一步

加载 upsampler 对象后，你可以将其应用于提取的高维特征图以实现高分辨率输出。更多详细用法（如完整的图像处理流程），请参考官方提供的 Colab 示例笔记本。