LAVIS - 语言-视觉智能库

最新动态: 🎉

• [模型发布] 2023年11月，发布了 X-InstructBLIP 的实现
  论文, 项目页面, 官网,

这是一个简单而高效的跨模态框架，基于冻结的大语言模型构建，能够在无需大量特定模态定制的情况下，整合多种模态（图像、视频、音频、3D）。

• [模型发布] 2023年7月，发布了 BLIP-Diffusion 的实现
  论文, 项目页面, 官网

这是一种文本到图像生成模型，其训练效率是 DreamBooth 的 20 倍。同时支持零样本的主体驱动生成与编辑。

• [模型发布] 2023年5月，发布了 InstructBLIP 的实现
  论文, 项目页面

这是一个基于 BLIP-2 模型的新型视觉-语言指令微调框架，在广泛的视觉-语言任务中实现了最先进的零样本泛化性能。

• [模型发布] 2023年1月，发布了 BLIP-2 的实现
  论文, 项目页面,

这是一种通用且高效的预训练策略，能够轻松利用预训练的视觉模型和大型语言模型（LLMs）进行视觉-语言预训练。BLIP-2 在 VQAv2 零样本任务上超越了 Flamingo（65.0 对 56.3），并在 NoCaps 数据集上的零样本字幕生成任务中创下了新的 SOTA 记录（CIDEr 分数为 121.6，而此前最佳为 113.2）。此外，结合强大的 LLMs（如 OPT、FlanT5），BLIP-2 还解锁了全新的 零样本指令式视觉到语言生成 能力，适用于各种有趣的应用场景！

• 2023年1月，LAVIS 现已在 PyPI 上架，可直接安装！
• [模型发布] 2022年12月，发布了 Img2LLM-VQA 的实现（CVPR 2023，“从图像到文本提示：使用冻结大型语言模型的零样本 VQA”，作者：郭家贤等）
  论文, 项目页面,

这是一个即插即用模块，使大型语言模型（LLMs）能够直接用于视觉问答（VQA）。Img2LLM-VQA 在 VQAv2 数据集的零样本 VQA 任务上超越了 Flamingo（61.9 对 56.3），而且完全不需要端到端的训练！

• [模型发布] 2022年10月，发布了 PNP-VQA 的实现（EMNLP Findings 2022，“即插即用 VQA：通过组合大型预训练模型实现零训练的零样本 VQA”，作者：Anthony T.M.H. 等），
  论文, 项目页面, )

这是一个模块化的零样本 VQA 框架，无需对 PLMs 进行训练，即可达到 SOTA 的零样本 VQA 性能。

技术报告与引用 LAVIS

您可以在我们的技术报告中找到更多详细信息。

如果您在研究或应用中使用了 LAVIS，请使用以下 BibTeX 格式引用它：

@inproceedings{li-etal-2023-lavis,
    title = "{LAVIS}: 一站式语言-视觉智能库",
    author = "Li, Dongxu  and
      Li, Junnan  and
      Le, Hung  and
      Wang, Guangsen  and
      Savarese, Silvio  and
      Hoi, Steven C.H.",
    booktitle = "第61届计算语言学协会年会论文集（第3卷：系统演示）",
    month = jul,
    year = "2023",
    address = "多伦多，加拿大",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2023.acl-demo.3",
    pages = "31--41",
    abstract = "我们介绍了 LAVIS，一个用于语言-视觉研究和应用的开源深度学习库。LAVIS 致力于成为一个一站式的综合库，使语言-视觉领域的最新进展更容易被研究人员和从业者所使用，并为未来的研究与发展提供助力。该库提供统一的接口，方便用户访问最先进的图像-语言、视频-语言模型以及常用数据集。LAVIS 支持在多种任务上的训练、评估和基准测试，包括多模态分类、检索、图像字幕生成、视觉问答、对话以及预训练等。同时，该库还具有高度可扩展性和可配置性，便于未来的开发与定制。在本技术报告中，我们描述了该库的设计原则、关键组件和功能，并展示了在常见语言-视觉任务上的基准测试结果。",
}

目录

• 简介
• 安装
• 快速入门
  • 模型库
  • 图像字幕生成
  • 视觉问答 (VQA)
  • 统一特征提取接口
  • 加载数据集
• Jupyter Notebook 示例
• 资源与工具
• 文档
• 伦理与负责任使用
• 技术报告与引用 LAVIS
• 许可证

简介

LAVIS 是一个用于语言-视觉智能研究和应用的 Python 深度学习库。该库旨在为工程师和研究人员提供一站式的解决方案，以快速开发适用于其特定多模态场景的模型，并在标准及自定义数据集上进行基准测试。 它采用统一的接口设计，支持访问：

• 10+ 种任务 （检索、字幕生成、视觉问答、多模态分类等）；
• 20+ 种数据集（COCO、Flickr、Nocaps、Conceptual Commons、SBU 等）；
• 30+ 套最先进的基础语言-视觉模型及其任务特定适配的预训练权重，包括 ALBEF, BLIP, ALPRO, CLIP。

LAVIS 的主要特点包括：

• 统一且模块化的接口：便于轻松利用和复用现有模块（数据集、模型、预处理工具），同时也支持添加新模块。

• 开箱即用的推理与特征提取：现成的预训练模型让您能够直接在自己的数据上使用最先进的多模态理解与生成能力。

• 可复现的模型库与训练配方：您可以轻松复制并扩展现有及新任务上的最先进模型。

• 数据集库与自动下载工具：准备众多语言-视觉数据集往往非常繁琐。LAVIS 提供自动下载脚本，帮助您快速准备各种数据集及其标注。

下表展示了我们库中支持的任务、数据集和模型。这是一项持续的工作，我们正在不断扩充列表。

任务	支持的模型	支持的数据集
图像-文本预训练	ALBEF, BLIP	COCO, VisualGenome, SBU ConceptualCaptions
图像-文本检索	ALBEF, BLIP, CLIP	COCO, Flickr30k
文本-图像检索	ALBEF, BLIP, CLIP	COCO, Flickr30k
视觉问答	ALBEF, BLIP	VQAv2, OKVQA, A-OKVQA
图像字幕生成	BLIP	COCO, NoCaps
图像分类	CLIP	ImageNet
自然语言视觉推理 (NLVR)	ALBEF, BLIP	NLVR2
视觉蕴含 (VE)	ALBEF	SNLI-VE
视觉对话	BLIP	VisDial
视频-文本检索	BLIP, ALPRO	MSRVTT, DiDeMo
文本-视频检索	BLIP, ALPRO	MSRVTT, DiDeMo
视频问答 (VideoQA)	BLIP, ALPRO	MSRVTT, MSVD
视频对话	VGD-GPT	AVSD
多模态特征提取	ALBEF, CLIP, BLIP, ALPRO	定制数据集
文本-图像生成	[即将推出]

安装

1. （可选）创建 conda 环境

conda create -n lavis python=3.8
conda activate lavis

2. 从 PyPI 安装

pip install salesforce-lavis

3. 或者，如果您需要进行开发，可以从源代码构建

git clone https://github.com/salesforce/LAVIS.git
cd LAVIS
pip install -e .

快速入门

模型库

模型库汇总了 LAVIS 中支持的所有模型，查看方法如下：

from lavis.models import model_zoo
print(model_zoo)
# ==================================================

# 架构                  类型
# ==================================================
# albef_classification           ve
# albef_feature_extractor        base
# albef_nlvr                     nlvr
# albef_pretrain                 base
# albef_retrieval                coco, flickr
# albef_vqa                      vqav2
# alpro_qa                       msrvtt, msvd
# alpro_retrieval                msrvtt, didemo
# blip_caption                   base_coco, large_coco
# blip_classification            base
# blip_feature_extractor         base
# blip_nlvr                      nlvr
# blip_pretrain                  base
# blip_retrieval                 coco, flickr
# blip_vqa                       vqav2, okvqa, aokvqa
# clip_feature_extractor         ViT-B-32, ViT-B-16, ViT-L-14, ViT-L-14-336, RN50
# clip                           ViT-B-32, ViT-B-16, ViT-L-14, ViT-L-14-336, RN50
# gpt_dialogue                   base
让我们看看如何在 LAVIS 中使用模型对示例数据进行推理。首先，我们从本地加载一张示例图像。

```python
import torch
from PIL import Image
# 设置使用的设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 加载示例图像
raw_image = Image.open("docs/_static/merlion.png").convert("RGB")

这张示例图像展示了鱼尾狮公园（来源)，这是新加坡的一个地标性建筑。

图像字幕生成

在这个例子中，我们使用 BLIP 模型为该图像生成字幕。为了使推理更加简便，我们还通过 load_model_and_preprocess() 将每个预训练模型与其预处理工具（变换）关联起来。

import torch
from lavis.models import load_model_and_preprocess
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 加载 BLIP 字幕基础模型，并在其上进行了 MSCOCO 字幕数据集的微调。
# 同时也加载了相关的图像处理器
model, vis_processors, _ = load_model_and_preprocess(name="blip_caption", model_type="base_coco", is_eval=True, device=device)
# 对图像进行预处理
# vis_processors 存储了用于“训练”和“评估”（验证/测试/推理）的图像变换
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)
# 生成字幕
model.generate({"image": image})
# ['a large fountain spewing water into the air']

视觉问答（VQA）

BLIP 模型能够用自然语言回答关于图像的自由式问题。要访问 VQA 模型，只需替换传递给 load_model_and_preprocess() 的 name 和 model_type 参数即可。

from lavis.models import load_model_and_preprocess
model, vis_processors, txt_processors = load_model_and_preprocess(name="blip_vqa", model_type="vqav2", is_eval=True, device=device)
# 提出一个随机问题。
question = "Which city is this photo taken?"
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)
question = txt_processors["eval"](question)
model.predict_answers(samples={"image": image, "text_input": question}, inference_method="generate")
# ['singapore']

统一特征提取接口

LAVIS 提供了一个统一的接口来提取每种架构的特征。为了提取特征，我们加载每个模型的特征提取变体。多模态特征可用于多模态分类。低维单模态特征则可用于计算跨模态相似度。

from lavis.models import load_model_and_preprocess
model, vis_processors, txt_processors = load_model_and_preprocess(name="blip_feature_extractor", model_type="base", is_eval=True, device=device)
caption = "a large fountain spewing water into the air"
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)
text_input = txt_processors["eval"](caption)
sample = {"image": image, "text_input": [text_input]}

features_multimodal = model.extract_features(sample)
print(features_multimodal.multimodal_embeds.shape)
# torch.Size([1, 12, 768]), use features_multimodal[:,0,:] for multimodal classification tasks

features_image = model.extract_features(sample, mode="image")
features_text = model.extract_features(sample, mode="text")
print(features_image.image_embeds.shape)
# torch.Size([1, 197, 768])
print(features_text.text_embeds.shape)
# torch.Size([1, 12, 768])

# low-dimensional projected features
print(features_image.image_embeds_proj.shape)
# torch.Size([1, 197, 256])
print(features_text.text_embeds_proj.shape)
# torch.Size([1, 12, 256])
similarity = features_image.image_embeds_proj[:,0,:] @ features_text.text_embeds_proj[:,0,:].t()
print(similarity)
# tensor([[0.2622]])

加载数据集

LAVIS 内置支持多种常见的语言-视觉数据集，提供了自动下载工具，帮助下载和整理这些数据集。下载完成后，可以使用以下代码加载数据集：

from lavis.datasets.builders import dataset_zoo
dataset_names = dataset_zoo.get_names()
print(dataset_names)
# ['aok_vqa', 'coco_caption', 'coco_retrieval', 'coco_vqa', 'conceptual_caption_12m',
#  'conceptual_caption_3m', 'didemo_retrieval', 'flickr30k', 'imagenet', 'laion2B_multi',
#  'msrvtt_caption', 'msrvtt_qa', 'msrvtt_retrieval', 'msvd_caption', 'msvd_qa', 'nlvr',
#  'nocaps', 'ok_vqa', 'sbu_caption', 'snli_ve', 'vatex_caption', 'vg_caption', 'vg_vqa']

下载完图像后，我们可以使用 load_dataset() 来获取数据集。

from lavis.datasets.builders import load_dataset
coco_dataset = load_dataset("coco_caption")
print(coco_dataset.keys())
# dict_keys(['train', 'val', 'test'])
print(len(coco_dataset["train"]))
# 566747
print(coco_dataset["train"][0])
# {'image': <PIL.Image.Image image mode=RGB size=640x480>,
#  'text_input': 'A woman wearing a net on her head cutting a cake. ',
#  'image_id': 0}

如果你已经托管了数据集的本地副本，可以通过传递 vis_path 参数来更改默认的图像加载路径。

coco_dataset = load_dataset("coco_caption", vis_path=YOUR_LOCAL_PATH)

Jupyter Notebook 示例

更多推理示例，例如字幕生成、特征提取、VQA、GradCam、零样本分类等，请参阅示例。

资源与工具

• 基准测试：请参阅基准测试以获取评估和训练支持模型的说明。
• 数据集下载与浏览：请参阅数据集下载以获取常见语言-视觉数据集的下载说明及自动化工具。
• GUI 演示：要在本地运行演示，请执行 bash run_scripts/run_demo.sh，然后按照提示在浏览器中查看。网页版演示即将推出。

文档

更多详细信息和高级用法，请参阅 文档。

伦理与负责任的使用

我们注意到，LAVIS 中的模型对其多模态能力不提供任何保证；可能会出现错误或有偏见的预测。特别是，LAVIS 中使用的数据集和预训练模型可能包含社会经济偏见，从而导致分类错误以及其他不良行为，例如冒犯性或不恰当的言论。我们强烈建议用户在实际应用之前，仔细审查 LAVIS 中的预训练模型和整个系统。我们计划在未来通过研究和缓解这些潜在的偏见及不当行为来改进该库。

联系我们

如果您有任何问题、意见或建议，请随时通过 lavis@salesforce.com 与我们联系。

许可证

BSD 3-Clause 许可证

LAVIS 快速上手指南

LAVIS (Language-Vision Intelligence) 是由 Salesforce 开源的一站式语言 - 视觉智能库。它提供了统一的接口，支持图像描述、视觉问答 (VQA)、图文检索等 10+ 种任务，集成了 BLIP-2、InstructBLIP、CLIP 等 30+ 个预训练模型，并支持自动下载 20+ 个常用数据集。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)
• Python 版本: 推荐 Python 3.8 或更高版本
• 依赖管理: 推荐使用 conda 进行环境隔离
• GPU: 可选，但运行大模型推理或训练时强烈建议配备 NVIDIA GPU 及对应的 CUDA 环境

安装步骤

方法一：通过 PyPI 安装（推荐）

这是最快捷的安装方式，适合直接使用预训练模型进行推理的用户。

# 1. (可选) 创建并激活 conda 环境
conda create -n lavis python=3.8
conda activate lavis

# 2. 安装 salesforce-lavis
pip install salesforce-lavis

国内加速提示：如果下载速度较慢，可使用清华或阿里镜像源： pip install salesforce-lavis -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：从源码安装（开发模式）

如果您需要修改源码或运行最新的实验性功能，请选择此方式。

# 1. 克隆仓库
git clone https://github.com/salesforce/LAVIS.git
cd LAVIS

# 2. (可选) 创建并激活 conda 环境
conda create -n lavis python=3.8
conda activate lavis

# 3. 以可编辑模式安装
pip install -e .

基本使用

LAVIS 的核心优势在于其统一的接口，只需几行代码即可加载预训练模型并进行推理。以下以图像描述生成 (Image Captioning) 为例。

1. 最简单的使用示例

确保已安装 Pillow 用于图像处理 (pip install pillow)，然后运行以下 Python 代码：

import torch
from PIL import Image
from lavis.models import load_model_and_preprocess

# 设置设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 加载模型和预处理工具
# 这里以 blip_caption 为例，也可替换为 blip2_feature_extractor, instruct_blip_vicuna7b 等
model, vis_processors, _ = load_model_and_preprocess(
    name="blip_caption", 
    model_type="base_coco", 
    is_eval=True, 
    device=device
)

# 加载图片
raw_image = Image.open("your_image.jpg").convert("RGB")

# 预处理图片
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)

# 生成描述
caption = model.generate({"image": image})
print(caption[0])

2. 视觉问答 (VQA) 示例

from lavis.models import load_model_and_preprocess
from PIL import Image
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 加载 VQA 模型
model, vis_processors, txt_processors = load_model_and_preprocess(
    name="blip_vqa", 
    model_type="vqav2", 
    is_eval=True, 
    device=device
)

# 准备数据
raw_image = Image.open("your_image.jpg").convert("RGB")
question = "How many people are in the image?"

# 预处理
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)
text_input = txt_processors["eval"](question)

# 推理
answer = model.predict_answers(samples={"image": image, "text_input": [text_input]})
print(answer[0])

3. 可用模型速查

您可以通过 load_model_and_preprocess 函数轻松切换不同的模型架构。常用模型名称包括：

• 图像描述: blip_caption, instruct_blip_flant5xl
• 视觉问答: blip_vqa, instruct_blip_vicuna7b
• 特征提取: blip2_feature_extractor, clip_feature_extractor
• 图文检索: blip_retrieval, albeft_retrieval

更多模型详情及参数配置，请参考官方文档或运行 lavis/models/__init__.py 查看支持的模型列表。