LLM2CLIP：强大语言模型解锁更丰富的视觉表征

欢迎来到 LLM2CLIP 的官方仓库！本项目利用大型语言模型（LLMs）作为 CLIP 视觉编码器的强大文本教师，从而实现更加细腻和全面的多模态学习。

论文：已被 NeurIPS 2024 自监督学习——理论与实践研讨会以及 AAAI 2026 接受（杰出论文奖）

---

新闻 🚀🚀🚀

• [2026-01-23] 🎉 LLM2CLIP 荣获 AAAI 2026 杰出论文奖！
  我们的成果因在多模态表征学习领域的贡献而受到 AAAI 的认可，凸显了利用大型语言模型作为文本教师来显著提升 CLIP 式视觉表征的有效性。
  👉 AAAI 2026 大会论文奖项及表彰
• [2025-03-25] 🔥 SigLIP2 模型已更新为采用 LLM2CLIP 训练版本。
  基于 SigLIP2 的新检查点在 短文本和长文本图像检索 以及 多语言文本-图像检索 方面均表现出 显著提升，进一步验证了 LLM2CLIP 框架的可扩展性和通用性。
• [2024-11-18] 我们在 HuggingFace 上发布了基于 Caption-Contrastive 微调的 Llama3-8B-CC 模型，并计划推出更多版本。
• [2024-11-08] 我们目前正在训练一个使用十倍数据集的 扩展版，同时还将发布 EVA ViT-E、InternVL-300M、SigCLIP-SO-400M 等模型，以及更多通过 LLM2CLIP 训练的 VLLM 结果。敬请期待最强大的 CLIP 模型，感谢您的 Star 支持！
• [2024-11-06] OpenAI 的 CLIP 以及 EVA02 的 ViT 基础和大型模型现已在 HuggingFace 上提供。
• [2024-11-01] 我们的论文已被 NeurIPS 2024 SSL 研讨会接收！

---

现有 CLIP 面临的挑战

当前版本的 CLIP 存在若干局限性：

• 有限的上下文窗口：文本编码器的上下文窗口仅有 77 个 token，这限制了其对长篇输入的理解能力。
• 较弱的文本理解能力：文本编码器在理解复杂文本方面相对有限，常常表现为一种缺乏深度的词袋模型。

为何将 LLM 与 CLIP 结合？

LLM2CLIP 将大型语言模型难以想象的强大能力引入 CLIP，甚至超越了原生的语言能力。我们仅基于英文语料微调的 LLM2CLIP，在性能上超越了标准中文 CLIP 模型：

1. 扩展输入窗口：LLM 扩展了 CLIP 的输入窗口，允许更丰富的文本上下文，更好地理解长篇输入。
2. 增强理解力：借助 LLM，CLIP 对密集且复杂的标题有了更深入的理解，从而提升了文本与图像的对齐效果。
3. 开放世界知识：LLM 提供开放世界的知识，使多模态特征对齐更具全局性，并提高了训练效率。

核心挑战

尽管 LLM 具备强大的文本编码能力，但其输出空间往往分离度不高，这限制了它在对比学习中的有效性。

我们的解决方案

为克服这些挑战，我们设计了一种 标题到标题的对比学习 策略。我们训练 LLM 更好地区分相同或不同图像的标题，从而增强 LLM 输出空间的可分离性。在训练过程中，LLM 的梯度被冻结，而 CLIP 的视觉编码器则在有限的数据上进行微调，最终实现了显著的性能提升。

通过这一策略，我们更好地利用了 LLM 理解和处理 长篇且密集标题 的能力，从而提升了整体的表征能力。

使用 LLM2CLIP 可以实现什么？

1. 增强 CLIP 模型：使用密集标题或特定任务的图像-文本数据集对预训练的 CLIP 模型进行微调，使其在各种应用场景中表现更强。
2. 开箱即用的强大性能：直接使用我们经过 LLM 指导大幅提升的 CLIP 模型，在多模态任务中获得卓越的表现。

---

模型库（持续更新）

请持续关注预训练模型和数据集的更新，它们将在 HuggingFace 模型库 中陆续发布。

---

💻 安装指南

1. 创建环境：

   conda create -n llm2clip python=3.8
   conda activate llm2clip
   pip install -r requirements.txt
   

2. LLM2CLIP 数据准备：

   cd llm2clip/data
   
   # 训练数据集
   DATASET=cc3m #选项: "cc3m", "cc12m", "yfcc15m"
   bash download_dataset.sh $DATASET
   python extract_embedding.py $DATASET
   
   # 评估数据集
   bash setup_eval_datasets.sh
   python extract_eval_embedding.py
   

3. 🔥 训练：

   sh run.sh
   

📚 常见问题解答

如需更多见解和解答，请访问我们的 FAQ 页面。

Q1:

问：可以预见，LLM2CLIP技术将在扩展CLIP对更多模态数据的支持方面具有重要意义。就文章内容而言，LLM2CLIP令人惊喜地提升了CLIP在跨语言和长文本任务中的适应性。同时，它也为音频、视频等更高维数据模态的应用提供了可能性。当然，这也对LLM2CLIP的适配策略和微调方法提出了更高的要求。基于贵团队目前对LLM2CLIP的理解，您认为还会面临哪些额外的挑战，比如高维模态的特征空间对齐问题？

答： 说实话，我们已经在探索基于视频的LLM2CLIP版本，包括将数据集规模和模型参数都提升几个数量级。请大家持续关注我们的后续进展，如果您感兴趣，我们也非常乐意进一步交流！

在这一领域，我还看到了以下一些挑战：

1. 增强对比学习中的监督信号： 虽然大语言模型在理解文本方面具有很强的能力，但提供有价值且丰富的文本信息同样至关重要。例如，在视频任务中，我们可以用更密集的字幕、提示或指令来丰富输入。这些信息能够为大语言模型提供更复杂、更细致的解读线索，从而更好地引导跨模态空间的构建。

2. 跨维度扩展对比学习损失： 对比学习损失可以应用于多个维度，比如视频数据中的时间维度。针对这些额外维度，我们可以设计不同的提示输入给大语言模型，以引导和控制训练过程，进一步强化多模态表征。

3. 应对视频中复杂的时序逻辑： 视频理解的难点往往在于如何处理长时间跨度内的复杂时序关系。对此，我们可以引入基于大语言模型的自我博弈技术，通过设置任务来增加训练目标的复杂度。例如，设计让大语言模型模拟并推理序列场景的情境，从而进一步提升其学习能力。

Q2:

问：LLM2CLIP这篇论文真是太有突破性了！将大型语言模型与CLIP创新性地结合，以增强跨模态表征学习，确实令人振奋。文中展示的性能提升，尤其是在长文本和短文本检索任务上的表现，十分亮眼，对多模态人工智能领域具有重大意义。

我对你们工作的钦佩促使我想要探讨LLM2CLIP在更为专业领域的应用潜力，比如医学或法律，这些领域对文本理解的精准性和专业性有着极高的要求。因此，我想了解一下，LLM2CLIP是否已经针对需要高度准确性和专业性的领域特定文本进行了测试？或者是否有相关计划？

非常期待您就此问题的见解，以及LLM2CLIP如何被调整或扩展以应对这些专业领域的挑战！

答： 您的想法非常棒，事实上我们也曾有过类似的思考。我认为在专业领域开展研究具有巨大潜力，原因如下：

1. 数据有限，效果显著： 我们的工作主要是在极少量数据（300万到6000万）上对预训练的CLIP模型进行LLM2CLIP微调。与CLIP预训练通常使用的10亿到20亿数据相比，这属于小样本范畴，但已展现出显著的性能提升。如果聚焦于专业领域，我们便能利用有限的领域专属数据，使模型在特定知识方向上得到极为出色的训练。这种方法甚至有可能彻底解决相关多模态领域中可能出现的感知或认知幻觉问题。

2. 利用大语言模型的知识作为数据增强： 某些专业领域，如医疗报告，常常面临数据匮乏的问题。而大语言模型由于长期积累的开放世界知识，其内部所蕴含的知识恰恰可以作为优质的数据增强手段。

我们非常期待与您合作，共同推动多模态领域的边界拓展！

顺便提一下，我们计划在下个季度发布更大规模的LLM2CLIP模型（规模扩大10至100倍）。这些模型将继承我们通用型的参数，有望变得更加强大。请大家持续关注我们的GitHub！

第三问：

问：非常感谢您们发表了如此出色的工作。我有两个关于第3.2节中描述的微调过程的问题，尤其是关于损失函数和数据集的整合方式：

论文中提到了两种损失函数：SimCSE损失和掩码下个词预测（MNTP）。然而，目前尚不明确这两种损失函数是在训练过程中同时使用，还是将训练过程分为不同阶段，分别应用每种损失。能否请您澄清一下这些损失的具体使用方式？如果它们是共同使用的，那么各自分配的权重是多少呢？

关于数据集，文中提到CC-3M和Wikitext-103作为训练的一部分。但似乎不太清楚这两类数据集在训练阶段是如何结合使用的。考虑到Wikitext-103是一个纯文本语料库，而CC-3M则是图像-标题对数据集，它们在微调过程中是如何协同工作的？是用于不同的阶段或任务吗？

期待您的解答！

答： 感谢您的提问，很高兴为您解答。

损失函数的整合： 我们使用监督式SimCSE损失，使得同一张图片的不同标题互为正样本，而不同图片的标题则互为负样本。这一损失函数是我们方法的核心，它能够为图像提供有意义的监督信号。不过，掩码下个词预测（MNTP）是我们采用监督式SimCSE损失之前的初始阶段，可以理解为更早的训练步骤。具体来说，我们先进行MNTP训练，然后再进行监督式SimCSE损失训练，整个过程分为两个阶段。实际上，MNTP对最终结果的影响较小，因此即使去掉MNTP也不会影响结论。不过，为了达到最佳性能，我们仍然选择在应用监督式SimCSE损失之前先执行MNTP。

数据集的组合： 我们确实混合了纯文本数据集和标题数据集。这是因为大语言模型最初是在纯文本数据上预训练的，所以我们希望通过使用纯文本数据集Wikitext-103来尽量保留其原始分布，避免出现较大偏移，同时也有助于缓解由标题数据可能带来的偏差。我们的做法是将两类数据集混合并随机打乱，然后按照常规方式采样批次进行训练。这是一种常见且有效的实践。

如果您还有其他问题，欢迎随时提出。

❤️ 致谢

我们的代码基于EVA-CLIP构建。在此，我们要感谢EVA团队所做的基础性工作。

引用信息

如果您使用了我们的工作，请引用以下内容：

@misc{huang2024llm2clippowerfullanguagemodel,
      title={LLM2CLIP: Powerful Language Model Unlock Richer Visual Representation}, 
      author={Weiquan Huang and Aoqi Wu and Yifan Yang and Xufang Luo and Yuqing Yang and Liang Hu and Qi Dai and Xiyang Dai and Dongdong Chen and Chong Luo and Lili Qiu},
      year={2024},
      eprint={2411.04997},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.04997}, 
}

LLM2CLIP 快速上手指南

LLM2CLIP 利用大型语言模型（LLM）作为强大的文本教师，指导 CLIP 的视觉编码器进行训练，从而显著提升多模态学习的能力。该方案有效解决了传统 CLIP 文本上下文窗口短（仅 77 tokens）及复杂文本理解能力弱的问题，特别擅长处理长文本描述和跨语言检索任务。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python 版本: 3.8 (项目官方指定版本)
• 包管理工具: Conda (推荐) 或 pip
• 硬件要求: 建议配备 NVIDIA GPU 以进行训练或高效推理（显存需求视具体模型大小而定）

2. 安装步骤

2.1 创建虚拟环境

使用 Conda 创建独立的 Python 3.8 环境并激活：

conda create -n llm2clip python=3.8
conda activate llm2clip

2.2 安装依赖

克隆项目代码后，进入目录并安装所需依赖包。

提示：国内用户若遇到 pip 下载缓慢，可添加清华或阿里镜像源加速。

# 标准安装
pip install -r requirements.txt

# 国内加速安装示例 (使用清华源)
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

3.1 数据准备

在使用或训练前，需下载数据集并提取嵌入向量。以下以 cc3m 数据集为例：

cd llm2clip/data

# 下载训练数据集 (可选: cc3m, cc12m, yfcc15m)
DATASET=cc3m
bash download_dataset.sh $DATASET

# 提取训练数据嵌入向量
python extract_embedding.py $DATASET

# 准备评估数据集
bash setup_eval_datasets.sh
python extract_eval_embedding.py

3.2 启动训练

完成数据准备后，运行以下脚本开始训练过程。该过程将冻结 LLM 梯度，并利用 Caption-to-Caption 对比学习策略微调 CLIP 视觉编码器。

sh run.sh

3.3 直接使用预训练模型

如果您仅需使用已增强的高性能模型，无需重新训练，可直接从 HuggingFace 下载预训练权重。

• 模型集合地址: Microsoft LLM2CLIP Collection
• 支持模型: 包含基于 OpenAI CLIP、EVA02 ViT 以及最新 SigLIP2 架构的多个版本，显著提升了长短文本及多语言图像检索性能。

加载模型后，即可在您的多模态任务（如图像检索、零样本分类）中体验优于原生 CLIP 的效果。