ViT PyTorch

快速入门

使用 pip install pytorch_pretrained_vit 安装，并通过以下代码加载预训练的 ViT 模型：

from pytorch_pretrained_vit import ViT
model = ViT('B_16_imagenet1k', pretrained=True)

或者，您可以在 这里 找到一个 Google Colab 示例。

概述

本仓库包含对来自 Google 的 视觉 Transformer 架构的逐层实现的 PyTorch 重写版本，并附带预训练模型和示例。

该实现的目标是简单、高度可扩展，并且易于集成到您自己的项目中。目前，您可以轻松地：

• 加载预训练的 ViT 模型
• 在 ImageNet 或您自己的数据集上进行评估
• 在您自己的数据集上微调 ViT

(即将推出的功能) 即将支持：

• 从头开始在 ImageNet (1K) 上训练 ViT
• 导出为 ONNX 格式以实现高效推理

目录

1. 关于 ViT
2. 关于 ViT-PyTorch
3. 安装
4. 使用
   • 加载预训练模型
   • 示例：分类
5. 贡献

关于 ViT

视觉 Transformer (ViT) 是将 Transformer 架构 直接应用于图像分类的一种方法。即使在计算机视觉领域，似乎注意力机制就是一切。

ViT 的工作原理如下：(1) 将图像视为一维的 patch 序列，(2) 在序列前添加一个分类 token，(3) 将这些 patch 输入到 Transformer 编码器中（类似于 BERT），(4) 再将 Transformer 输出的第一个 token 通过一个小的 MLP 层，得到最终的分类 logits。ViT 是在大规模数据集（ImageNet-21k）上，利用大量计算资源训练得到的。

关于 ViT-PyTorch

ViT-PyTorch 是 ViT 的 PyTorch 重写实现。它与 原始的 Jax 实现 保持一致，因此可以轻松加载 Jax 预训练的权重。

同时，我们致力于使我们的 PyTorch 实现尽可能简单、灵活和可扩展。

安装

使用 pip 安装：

pip install pytorch_pretrained_vit

或者从源码安装：

git clone https://github.com/lukemelas/ViT-PyTorch
cd ViT-Pytorch
pip install -e .

使用

加载预训练模型

加载预训练模型非常简单：

from pytorch_pretrained_vit import ViT
model = ViT('B_16_imagenet1k', pretrained=True)

以下是各模型的详细信息：

名称	* 预训练数据集 *	微调数据集	是否可用
B_16	ImageNet-21k	-	✓
B_32	ImageNet-21k	-	✓
L_16	ImageNet-21k	-	-
L_32	ImageNet-21k	-	✓
B_16_imagenet1k	ImageNet-21k	ImageNet-1k	✓
B_32_imagenet1k	ImageNet-21k	ImageNet-1k	✓
L_16_imagenet1k	ImageNet-21k	ImageNet-1k	✓
L_32_imagenet1k	ImageNet-21k	ImageNet-1k	✓

自定义 ViT

加载自定义配置同样简单：

from pytorch_pretrained_vit import ViT
# 下面的配置等价于 ViT('B_16')
config = dict(hidden_size=512, num_heads=8, num_layers=6)
model = ViT.from_config(config)

示例：分类

以下是一个简单完整的示例。您也可以在 examples/simple 中找到对应的 Jupyter 笔记本，或在 Colab 笔记本 中查看。

import json
from PIL import Image
import torch
from torchvision import transforms

# 加载 ViT
from pytorch_pretrained_vit import ViT
model = ViT('B_16_imagenet1k', pretrained=True)
model.eval()

# 加载图像
# 注意：假设当前目录下存在名为 `img.jpg` 的图像
img = transforms.Compose([
    transforms.Resize((384, 384)), 
    transforms.ToTensor(),
    transforms.Normalize(0.5, 0.5),
])(Image.open('img.jpg')).unsqueeze(0)
print(img.shape) # torch.Size([1, 3, 384, 384])

# 分类
with torch.no_grad():
    outputs = model(img)
print(outputs.shape)  # (1, 1000)

ImageNet

有关在 ImageNet 上评估的详细信息，请参阅 examples/imagenet。

致谢

其他包含此模型的优秀仓库包括：

• Ross Wightman 的仓库
• Phil Wang 的仓库

贡献

如果您发现任何 bug，请创建一个 GitHub 问题，或者更好的是提交一个拉取请求。同样，如果您有任何疑问，也请直接在 GitHub 上提出。

我期待看到社区如何利用这些模型！

PyTorch-Pretrained-ViT 快速上手指南

环境准备

• 系统要求：支持 Linux、macOS 或 Windows。
• 前置依赖：
  • Python 3.6+
  • PyTorch 1.4+
  • torchvision
  • Pillow (PIL)
• 推荐：建议使用虚拟环境（如 venv 或 conda）以避免依赖冲突。

安装步骤

方式一：通过 pip 安装（推荐）

直接使用 pip 安装发布版本：

pip install pytorch_pretrained_vit

国内加速提示：若下载速度较慢，可使用清华或阿里镜像源：

pip install pytorch_pretrained_vit -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装

如需使用最新开发版功能，可从 GitHub 克隆源码安装：

git clone https://github.com/lukemelas/ViT-PyTorch
cd ViT-Pytorch
pip install -e .

基本使用

1. 加载预训练模型

只需一行代码即可加载在 ImageNet 上预训练的 ViT 模型。以下示例加载 B_16_imagenet1k 模型：

from pytorch_pretrained_vit import ViT

# 加载预训练模型
model = ViT('B_16_imagenet1k', pretrained=True)
model.eval()  # 设置为评估模式

可用模型列表：

模型名称	预训练数据集	微调数据集	状态
B_16_imagenet1k	ImageNet-21k	ImageNet-1k	✅ 可用
B_32_imagenet1k	ImageNet-21k	ImageNet-1k	✅ 可用
L_16_imagenet1k	ImageNet-21k	ImageNet-1k	✅ 可用
L_32_imagenet1k	ImageNet-21k	ImageNet-1k	✅ 可用
B_16 / B_32	ImageNet-21k	-	✅ 可用

2. 图像分类示例

以下是一个完整的图像分类流程，包含图像预处理和推理：

import torch
from PIL import Image
from torchvision import transforms
from pytorch_pretrained_vit import ViT

# 1. 加载模型
model = ViT('B_16_imagenet1k', pretrained=True)
model.eval()

# 2. 图像预处理
# 注意：ViT 通常需要调整图像大小至固定分辨率 (如 384x384)
img_path = 'img.jpg'  # 替换为你的图片路径
transform = transforms.Compose([
    transforms.Resize((384, 384)), 
    transforms.ToTensor(),
    transforms.Normalize(0.5, 0.5), # 归一化
])

img = transform(Image.open(img_path)).unsqueeze(0) # 增加 batch 维度
print(f"输入张量形状：{img.shape}") # 输出：torch.Size([1, 3, 384, 384])

# 3. 执行推理
with torch.no_grad():
    outputs = model(img)

print(f"输出 logits 形状：{outputs.shape}") # 输出：(1, 1000)，对应 1000 个类别

3. 自定义模型配置

如果需要从头构建特定结构的 ViT，可以使用 from_config 方法：

from pytorch_pretrained_vit import ViT

# 定义自定义配置 (等价于 ViT('B_16'))
config = dict(hidden_size=512, num_heads=8, num_layers=6)
model = ViT.from_config(config)