ImageBind：一个嵌入空间，连接所有模态

FAIR, Meta AI

Rohit Girdhar*, Alaaeldin El-Nouby*, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra*

即将发表于 CVPR 2023（重点论文）

[论文] [博客] [演示] [补充视频] [BibTex]

ImageBind 的 PyTorch 实现及预训练模型。详情请参阅论文：ImageBind：一个嵌入空间，连接所有模态。

ImageBind 学习跨六种不同模态的联合嵌入——图像、文本、音频、深度、热成像和 IMU 数据。它能够开箱即用地支持新颖的涌现式应用，包括跨模态检索、通过算术运算组合模态、跨模态检测与生成等。

ImageBind 模型

涌现式的零样本分类性能。

模型	IN1k	K400	NYU-D	ESC	LLVIP	Ego4D	下载
imagebind_huge	77.7	50.0	54.0	66.9	63.4	25.0	检查点

使用方法

安装 PyTorch 2.0 及以上版本以及其他第三方依赖。

conda create --name imagebind python=3.10 -y
conda activate imagebind

pip install .

对于 Windows 用户，可能需要安装 soundfile 来读写音频文件。（感谢 @congyue1977）

pip install soundfile

提取并比较不同模态之间的特征（例如图像、文本和音频）。

from imagebind import data
import torch
from imagebind.models import imagebind_model
from imagebind.models.imagebind_model import ModalityType

text_list=["一只狗。", "一辆汽车", "一只鸟"]
image_paths=[".assets/dog_image.jpg", ".assets/car_image.jpg", ".assets/bird_image.jpg"]
audio_paths=[".assets/dog_audio.wav", ".assets/car_audio.wav", ".assets/bird_audio.wav"]

device = "cuda:0" if torch.cuda.is_available() else "cpu"

# 实例化模型
model = imagebind_model.imagebind_huge(pretrained=True)
model.eval()
model.to(device)

# 加载数据
inputs = {
    ModalityType.TEXT: data.load_and_transform_text(text_list, device),
    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),
    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),
}

with torch.no_grad():
    embeddings = model(inputs)

print(
    "视觉 x 文本: ",
    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),
)
print(
    "音频 x 文本: ",
    torch.softmax(embeddings[ModalityType.AUDIO] @ embeddings[ModalityType.TEXT].T, dim=-1),
)
print(
    "视觉 x 音频: ",
    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.AUDIO].T, dim=-1),
)

# 预期输出：
#
# 视觉 x 文本:
# tensor([[9.9761e-01, 2.3694e-03, 1.8612e-05],
#         [3.3836e-05, 9.9994e-01, 2.4118e-05],
#         [4.7997e-05, 1.3496e-02, 9.8646e-01]])
#
# 音频 x 文本:
# tensor([[1., 0., 0.],
#         [0., 1., 0.],
#         [0., 0., 1.]])
#
# 视觉 x 音频:
# tensor([[0.8070, 0.1088, 0.0842],
#         [0.1036, 0.7884, 0.1079],
#         [0.0018, 0.0022, 0.9960]])

模型卡片

详细信息请参阅 模型卡片。

许可证

ImageBind 的代码和模型权重采用 CC-BY-NC 4.0 许可协议发布。更多详情请参阅 LICENSE。

贡献

请参阅 贡献指南 和 行为准则。

引用 ImageBind

如果您觉得这个仓库有用，请考虑给个 star :star: 并引用：

@inproceedings{girdhar2023imagebind,
  title={ImageBind: One Embedding Space To Bind Them All},
  author={Girdhar, Rohit and El-Nouby, Alaaeldin and Liu, Zhuang
and Singh, Mannat and Alwala, Kalyan Vasudev and Joulin, Armand and Misra, Ishan},
  booktitle={CVPR},
  year={2023}
}

ImageBind 快速上手指南

ImageBind 是由 Meta FAIR 推出的多模态嵌入模型，能够将图像、文本、音频、深度、热成像和 IMU 数据六种模态映射到统一的嵌入空间中，支持跨模态检索、组合生成等零样本应用。

环境准备

• 操作系统：Linux / Windows / macOS
• Python 版本：3.10 推荐
• PyTorch 版本：2.0+
• GPU（可选）：支持 CUDA 的 NVIDIA 显卡可加速推理
• 其他依赖：soundfile（Windows 用户读取音频文件必需）

💡 国内用户可使用清华或中科大镜像源加速 pip 和 conda 安装：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

# 创建并激活虚拟环境
conda create --name imagebind python=3.10 -y
conda activate imagebind

# 安装 ImageBind 及其依赖
pip install .

# Windows 用户额外安装 soundfile
pip install soundfile

基本使用

以下示例展示如何加载图像、文本和音频数据，并计算它们之间的跨模态相似度。

from imagebind import data
import torch
from imagebind.models import imagebind_model
from imagebind.models.imagebind_model import ModalityType

# 定义输入数据
text_list = ["A dog.", "A car", "A bird"]
image_paths = [".assets/dog_image.jpg", ".assets/car_image.jpg", ".assets/bird_image.jpg"]
audio_paths = [".assets/dog_audio.wav", ".assets/car_audio.wav", ".assets/bird_audio.wav"]

# 设置设备
device = "cuda:0" if torch.cuda.is_available() else "cpu"

# 加载预训练模型
model = imagebind_model.imagebind_huge(pretrained=True)
model.eval()
model.to(device)

# 加载并转换数据
inputs = {
    ModalityType.TEXT: data.load_and_transform_text(text_list, device),
    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),
    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),
}

# 提取嵌入向量
with torch.no_grad():
    embeddings = model(inputs)

# 计算跨模态相似度（以 Vision x Text 为例）
print(
    "Vision x Text: ",
    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),
)

输出结果为各模态间的相似度矩阵，数值越接近 1 表示匹配度越高。