多语言CLIP

适用于任何语言的OpenAI CLIP文本编码器

在线演示 · 预训练模型 · 报告问题

概述

OpenAI 最近发布了论文 从自然语言监督中学习可迁移的视觉模型，其中他们介绍了CLIP（对比语言-图像预训练）模型。该模型通过使用对比学习目标来匹配文本和图像的相应向量表示，从而实现文本与图像之间的关联。 CLIP由两个独立的模型组成：视觉编码器和文本编码器。这两个模型是在惊人的4亿张图片及其对应的标题上进行训练的。 自那以来，OpenAI发布了一系列较小的CLIP模型，这些模型可以在 官方CLIP GitHub 上找到。

演示

使用M-CLIP进行多语言文本-图像检索的实时演示可以在这里找到！点击此处。这个演示由 Rom1504 创建，它允许你使用M-CLIP以多种语言搜索LAION-400M数据集。

本仓库包含

• 多种语言的预训练CLIP文本编码器
• PyTorch 和 TensorFlow 推理代码
• TensorFlow 训练代码

需求

虽然其他版本也可能同样适用，但我们主要使用了以下环境：

• Python = 3.6.9
• Transformers = 4.8.1

安装

pip install multilingual-clip torch

你也可以选择安装 tensorflow 而不是 torch。

推理使用

TensorFlow 的推理代码也包含在 inference_example.py 中。

from multilingual_clip import pt_multilingual_clip
import transformers

texts = [
    '三匹盲马正在聆听莫扎特。',
    '麋鹿是森林之王！',
    '北极熊如何在南极生活？',
    '你知道所有的北极熊都是左撇子吗？'
]
model_name = 'M-CLIP/XLM-Roberta-Large-Vit-L-14'

# 加载模型和分词器
model = pt_multilingual_clip.MultilingualCLIP.from_pretrained(model_name)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_name)

embeddings = model.forward(texts, tokenizer)
print(embeddings.shape)

开发环境安装

设置一个虚拟环境：

python3 -m venv .env
source .env/bin/activate
pip install -e .

预训练模型

每个文本编码器都是一个可在 Huggingface 上获取的Transformer模型，并在其顶部添加了一个线性层。有关特定模型的更多信息，请点击模型名称查看其模型卡片。

验证与训练曲线

以下是针对人工翻译的 MS-COCO 测试集 的 Txt2Img @10-Recall 表格。

这些模型的训练曲线可以在这份 Weights and Biases 报告 中找到。其他未成功及正在进行的实验结果则可在 Weights and Biases 项目 中查阅。

遗留用法与模型

较早版本的 M-CLIP 会将线性权重单独存储在 Huggingface 之外。而新模型则直接将其整合到 Huggingface 仓库中。有关这些旧模型的更多信息可在本节中找到。

$ conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0
$ pip install ftfy regex tqdm
$ pip install git+https://github.com/openai/CLIP.git

# 线性模型权重
$ bash legacy_get-weights.sh

from multilingual_clip import multilingual_clip

print(multilingual_clip.AVAILABLE_MODELS.keys())

model = multilingual_clip.load_model('M-BERT-Distil-40')

embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# 输出：torch.Size([3, 640])

训练新模型

此文件夹 包含用于训练上述模型的代码。如果你想训练自己的模型，你需要完成以下步骤：

• 准备一组从英语翻译成你语言的句子对。
• 为英语句子计算常规的 CLIP 文本嵌入。
• 编辑 Training.py 以加载你的数据。
• 通过教师学习法训练一个新的 CLIP 文本编码器。

预计算的 CLIP 嵌入与翻译数据

此 Google Drive 文件夹 包含大量来自 GCC + MSCOCO + VizWiz 图片说明的预计算 CLIP 文本嵌入。

该 Google Drive 文件夹还包含用于训练当前可用模型的翻译数据。 祝你好运！

贡献

如果你已经训练了一款专属于你语言的 CLIP 文本编码器，或另一款覆盖此处未支持语言的模型，请随时与我们联系，我们将上传你的模型并署名，或直接链接到你已上传的模型。

联系方式

如对代码或与此 GitHub 页面相关的问题有任何疑问，请提交 issue。

如有其他事宜，欢迎直接联系我：Fredrik.Carlsson@ri.se

致谢

• Stability.ai 在训练期间提供的宝贵算力支持。
• CLIP
• OpenAI
• Huggingface
• 最佳 README 模板
• "两只猫" 图片，作者 pl1602

许可证

根据 MIT 许可证发布。更多信息请参阅 LICENSE 文件。

引用

如果您觉得本仓库有用，请考虑引用：

@InProceedings{carlsson-EtAl:2022:LREC,
  author    = {卡尔松，弗雷德里克 与 艾森，菲利普 与 雷卡塔蒂，法通 与 萨尔格伦，马格努斯},
  title     = {跨语言与多语言CLIP},
  booktitle      = {语言资源与评估会议论文集},
  month          = {6月},
  year           = {2022},
  address        = {法国马赛},
  publisher      = {欧洲语言资源协会},
  pages     = {6848--6854},
  abstract  = {长期以来，文本与视觉领域的关联研究最近迎来了一个关键性突破，即OpenAI发布了CLIP模型。该模型能够以前所未有的精度判断一段英文文本与给定图像的匹配程度。CLIP通过对比学习目标，在包含4亿张图像及其对应标题的大规模数据集上进行训练，其复杂性和规模使得复现工作尤其困难，特别是对于低资源语言而言。基于CLIP架构的模块化特性，我们提出利用跨语言教师学习方法，为多种非英语语言重新训练文本编码器。我们的方法无需图像数据，完全依赖机器翻译，从而避免了对目标语言数据的需求。实验表明，该方法能够在相对较低的计算成本下高效地训练出新的文本编码器，并且在多语言图像-文本检索任务中仍优于现有基线模型。},
  url       = {https://aclanthology.org/2022.lrec-1.739}
}

Multilingual-CLIP 快速上手指南

Multilingual-CLIP (M-CLIP) 是基于 OpenAI CLIP 架构的多语言文本编码器，支持将多种语言的文本映射到与图像相同的向量空间，从而实现跨语言的图文检索。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 推荐 Python 3.6.9 或更高版本
• 核心依赖:
  • torch (PyTorch) 或 tensorflow
  • transformers (Hugging Face)

注意：虽然其他版本可能也能运行，但官方测试环境为 Python 3.6.9 和 Transformers 4.8.1。

安装步骤

推荐使用 pip 进行安装。您可以选择安装 PyTorch 版本或 TensorFlow 版本。

方式一：安装 PyTorch 版本（推荐）

pip install multilingual-clip torch

方式二：安装 TensorFlow 版本

如果您更倾向于使用 TensorFlow，可以运行：

pip install multilingual-clip tensorflow

国内加速提示：如果下载速度较慢，建议使用国内镜像源（如清华源或阿里源）：

pip install multilingual-clip torch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的 PyTorch 推理示例，展示如何加载预训练模型并生成多语言文本嵌入向量。

代码示例

from multilingual_clip import pt_multilingual_clip
import transformers

# 准备多语言文本列表
texts = [
    'Three blind horses listening to Mozart.',
    'Älgen är skogens konung!',
    'Wie leben Eisbären in der Antarktis?',
    'Вы знали, что все белые медведи левши?'
]

# 指定模型名称 (此处以 XLM-Roberta-Large + ViT-L-14 为例)
model_name = 'M-CLIP/XLM-Roberta-Large-Vit-L-14'

# 加载模型与分词器
model = pt_multilingual_clip.MultilingualCLIP.from_pretrained(model_name)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_name)

# 生成嵌入向量
embeddings = model.forward(texts, tokenizer)

# 输出向量形状
print(embeddings.shape)

说明

• 模型选择：代码中的 model_name 可以从 Hugging Face Model Hub 中查找其他可用模型（如支持更多语种的 LABSE-Vit-L-14 等）。
• 输出结果：embeddings 是一个张量，形状为 [文本数量，向量维度]，可直接用于计算与图像向量的相似度。