• EVA-01（CVPR 2023，🌟亮点🌟）——探索大规模掩码视觉表征学习的极限

• EVA-02（图像与视觉计算）——新世纪福音战士的视觉表征

• EVA-CLIP（Arxiv 2023）——CLIP大规模训练的改进技术

• EVA-CLIP-18B（Arxiv 2024）——EVA-CLIP-18B：将CLIP扩展至180亿参数

• EVA 在 Hugging Face 🤗 和 timm 上

• EVA-CLIP 在 Hugging Face 🤗 和 timm 上

• EVA-CLIP 在 open_clip 上

联系方式

• BAAI 视觉团队各层级均在招聘，包括全职研究员、工程师及实习生。
  如果您对基础模型、自监督学习和多模态学习感兴趣，请联系Xinlong Wang（wangxinlong@baai.ac.cn）。

许可证

本项目的内容本身采用LICENSE许可证授权。

杂项

EVA 快速上手指南

EVA 是由北京智源人工智能研究院（BAAI）推出的一系列高性能视觉表示学习模型，涵盖从掩码图像建模（EVA-01/02）到大规模多模态对比学习（EVA-CLIP）的完整技术栈。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU（用于推理和训练加速）
• 核心依赖:
  • PyTorch >= 1.10
  • timm (PyTorch Image Models)
  • transformers (可选，用于部分多模态任务)

国内加速建议：推荐使用清华或阿里镜像源安装 Python 依赖，以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio

安装步骤

EVA 系列模型已深度集成到主流的 timm 和 open_clip 库中，无需克隆整个仓库即可直接使用。

1. 安装基础依赖库

安装最新版的 timm 以支持 EVA-01/EVA-02 图像分类模型：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple timm

若需使用 EVA-CLIP 多模态模型，建议安装 open_clip：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-clip-torch

2. 验证安装

确保库已正确安装且无版本冲突：

python -c "import timm; print(timm.__version__)"

基本使用

以下示例展示如何加载预训练的 EVA 模型并进行简单的图像推理。

场景一：使用 EVA-02 进行图像分类

利用 timm 加载在 ImageNet-1K 上微调过的 EVA-02 Large 模型：

import torch
from PIL import Image
import timm
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform

# 1. 加载模型 (自动下载权重)
model = timm.create_model('eva02_large_patch14_448.mim_m38m_ft_in1k', pretrained=True)
model.eval()

# 2. 准备图像预处理
config = resolve_data_config({}, model=model)
transform = create_transform(**config)

# 3. 推理示例
image = Image.open('your_image.jpg').convert('RGB')
input_tensor = transform(image).unsqueeze(0)

with torch.no_grad():
    output = model(input_tensor)
    probabilities = torch.nn.functional.softmax(output[0], dim=0)
    
print("Top-5 Predictions:")
top5_prob, top5_catid = torch.topk(probabilities, 5)
for i in range(top5_prob.size(0)):
    # 获取标签名称需要额外的 imagenet 标签映射，此处仅输出概率和类别 ID
    print(f"Class ID: {top5_catid[i].item()}, Probability: {top5_prob[i].item():.4f}")

场景二：使用 EVA-CLIP 进行图文检索

利用 open_clip 加载 EVA-CLIP 模型进行零样本分类或特征提取：

import torch
import clip
from PIL import Image

# 1. 加载 EVA-CLIP 模型
# 注意：需确保 open_clip 已正确配置 EVA02-E-14-plus 架构
model, preprocess = clip.load("EVA02-E-14-plus", device="cuda" if torch.cuda.is_available() else "cpu")

model.eval()

# 2. 准备输入
image = preprocess(Image.open("your_image.jpg")).unsqueeze(0).to(model.device)
text = clip.tokenize(["a photo of a cat", "a photo of a dog"]).to(model.device)

# 3. 计算特征并匹配
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    
    # 计算余弦相似度
    logits_per_image, logits_per_text = model.get_similarity(image_features, text_features)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probabilities:", probs)

提示：更多预训练模型权重可直接在 Hugging Face (timm 组织下) 查找，例如 eva02_enormous_patch14_plus_clip_224.laion2b_s9b_b144k。