面向视觉 - 语言模型的提示学习 (Prompt Learning for Vision-Language Models)

本仓库包含了一系列研究项目的代码库，专注于通过 提示学习 (Prompt Learning) 将 CLIP 等视觉 - 语言模型 (Vision-Language Models) 适配到下游数据集：

• 面向视觉 - 语言模型的条件提示学习 (Conditional Prompt Learning for Vision-Language Models)，发表于 CVPR, 2022。
• 为视觉 - 语言模型学习提示 (Learning to Prompt for Vision-Language Models)，发表于 IJCV, 2022。

更新

• 07.10.2022: 刚刚在 CoOp 和 CoCoOp（及其附录）中添加了在新提出的 DOSCO（DOmain Shift in COntext）域偏移 (Domain Shift) 基准上的结果，该基准专注于上下文域偏移，涵盖了一系列多样的分类问题。（关于 DOSCO 的论文见 此处，在 DOSCO 上运行 CoOp/CoCoOp 的代码见 此处。）

• 17.09.2022: 征稿启事 (Call for Papers)：IJCV 特刊《大型视觉模型的前景与风险 (The Promises and Dangers of Large Vision Models)》。

• 16.07.2022: CoOp 已被 IJCV 录用发表！

• 10.06.2022: 我们最新的工作 神经提示搜索 (Neural Prompt Search) 刚刚发布在 arxiv 上。它为微调像 ViT (Vision Transformer) 这样的大型视觉模型提供了新颖的视角，因此如果您对参数高效微调 (Parameter-Efficient Fine-Tuning) / 迁移学习 (Transfer Learning) 感兴趣，请务必查看。代码也已公开 在此处。

• 08.06.2022: 如果您正在寻找绘制少样本 (Few-shot) 性能曲线（如我们在 CoOp 论文中展示的那些）的代码，请参见 draw_curves.py。

• 09.04.2022: CoOp 在 ImageNet 上的预训练权重 (Pre-trained Weights) 已发布 在此处。

• 11.03.2022: 我们的 CVPR'22 论文 "面向视觉 - 语言模型的条件提示学习 (Conditional Prompt Learning for Vision-Language Models)" 的代码已发布。

• 15.10.2021: 我们发现 best_val 模型和 last_step 模型取得了相似的性能，因此我们将所有数据集的 TEST.FINAL_MODEL 设置为 "last_step" 以节省训练时间。为什么我们使用 best_val：(tiny) 验证集是为线性探测 (Linear Probe) 方法设计的，该方法需要对其超参数 (Hyperparameters) 进行大量调整，因此我们也为 CoOp 使用了 best_val 模型以进行公平比较（这样两种方法都可以访问验证集）。

• 09.10.2021: Dassl 的 transforms.py 进行了重要更改。请从 https://github.com/KaiyangZhou/Dassl.pytorch 和本仓库拉取最新的提交，以确保代码能正常工作。特别是，1) center_crop 现在成为测试时的默认变换（在调整较小边缘的大小以保持图像纵横比后应用），2) 对于训练，当使用 random_crop 或 random_resized_crop 时，Resize(cfg.INPUT.SIZE) 被禁用。请阅读此 issue 了解这些更改如何影响性能。

• 18.09.2021: 我们修复了 Dassl 中的一个错误，该错误可能导致当数据集大小小于批次大小 (Batch Size) 时（由于 drop_last=True），数据加载器 (Data Loader) 的长度为零（因此不会执行任何训练）。请拉取 Dassl 的最新提交 (>= 8eecc3c)。此错误导致 CoOp 在 EuroSAT 的 1-shot 和 2-shot 设置中结果较低（其他设置均正确）。我们将在 arxiv 上更新论文以修复此错误。

如何安装

本代码构建在优秀的工具箱 Dassl.pytorch 之上，因此您需要先安装 dassl 环境。只需按照 此处 描述的说明安装 dassl 以及 PyTorch。之后，在 CoOp/ 目录下运行 pip install -r requirements.txt 以安装 CLIP 所需的其他几个包（这应在激活 dassl 时完成）。然后，您就可以开始使用了。

遵循 DATASETS.md 安装数据集。

如何运行

点击下面的论文以查看运行代码以复现结果的详细说明。

• 为视觉 - 语言模型学习提示 (Learning to Prompt for Vision-Language Models)
• 面向视觉 - 语言模型的条件提示学习 (Conditional Prompt Learning for Vision-Language Models)

模型与结果

• 基于 RN50, RN101, ViT-B/16 和 ViT-B/32 的 CoOp 在 ImageNet 上的预训练权重 (Pre-trained Weights)（包括 M=16 和 M=4）可通过此 链接 下载。这些权重可用于复现 CoOp 论文表 1 中的结果（即 ImageNet 及其四个具有域偏移 (Domain Shift) 变体的结果）。要加载权重并运行评估代码，您需要指定 --model-dir 和 --load-epoch（例如参见此 脚本）。
• 原始数值结果可在该 Google Drive 链接 中找到。

引用

如果您在研究中使用此代码，请引用以下论文

@inproceedings{zhou2022cocoop,
    title={Conditional Prompt Learning for Vision-Language Models},
    author={Zhou, Kaiyang and Yang, Jingkang and Loy, Chen Change and Liu, Ziwei},
    booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year={2022}
}

@article{zhou2022coop,
    title={Learning to Prompt for Vision-Language Models},
    author={Zhou, Kaiyang and Yang, Jingkang and Loy, Chen Change and Liu, Ziwei},
    journal={International Journal of Computer Vision (IJCV)},
    year={2022}
}

CoOp 快速上手指南

CoOp (Conditional Prompt Learning) 是一个专注于通过提示学习（Prompt Learning）将视觉语言模型（如 CLIP）适配到下游数据集的代码库。本指南帮助您快速搭建环境并运行基础任务。

1. 环境准备

请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 建议版本 3.6+
• 深度学习框架: PyTorch (需根据 CUDA 版本选择对应版本)
• 其他工具: Git, Conda (推荐用于环境管理)

注意: 由于涉及图像处理和大规模模型推理，建议使用配备 NVIDIA GPU 的设备以加速训练和评估。

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/KaiyangZhou/CoOp.git
cd CoOp

2.2 安装依赖环境

本项目基于 Dassl.pytorch 构建，需先配置 dassl 环境。

1. 安装 Dassl 及 PyTorch: 请参考 Dassl 官方文档进行安装：

   # 参考链接：https://github.com/KaiyangZhou/Dassl.pytorch#installation
   

2. 安装 CoOp 特定依赖: 在激活 dassl 环境后，进入 CoOp 目录安装额外包：

   pip install -r requirements.txt
   

3. 安装数据集: 按照项目根目录下的 DATASETS.md 文件说明下载并配置所需的数据集。

3. 基本使用

3.1 获取预训练模型

为了复现论文结果或进行推理，您需要下载在 ImageNet 上预训练的权重。

• 下载地址: Google Drive Link
• 包含内容: RN50, RN101, ViT-B/16, ViT-B/32 等模型的 M=16 & M=4 权重。

3.2 模型评估示例

加载预训练权重并进行评估时，需指定模型目录和 epoch。参考脚本 scripts/eval.sh 中的参数结构：

python test.py \
    --model-dir <path_to_model_dir> \
    --load-epoch <epoch_number> \
    --dataset <your_dataset_name>

3.3 详细训练指令

如需复现论文中的训练流程（Few-shot 设置、不同变体等），请查阅项目内的具体文档：

• Learning to Prompt for Vision-Language Models: 查看 COOP.md
• Conditional Prompt Learning for Vision-Language Models: 查看 COCOOP.md

3.4 性能曲线绘制

若需绘制 Few-shot 性能曲线（类似论文图表），可运行：

python draw_curves.py