[ICCV 2021- 口头报告] 用于解释双模态和编码器-解码器Transformer的通用注意力模型可解释性 <https://arxiv.org/abs/2103.15679>_ 的PyTorch实现

|youtube|

.. |youtube| image:: https://img.shields.io/static/v1?label=ICCV2021&message=12MinuteVideo&color=red :target: https://www.youtube.com/watch?v=bQTL34Dln-M

LXMERT + DETR 的笔记本：

|DETR_LXMERT|

.. |DETR_LXMERT| image:: https://colab.research.google.com/assets/colab-badge.svg :target: https://colab.research.google.com/github/hila-chefer/Transformer-MM-Explainability/blob/main/Transformer_MM_Explainability.ipynb

CLIP 的笔记本：

|CLIP|

.. |CLIP| image:: https://colab.research.google.com/assets/colab-badge.svg :target: https://colab.research.google.com/github/hila-chefer/Transformer-MM-Explainability/blob/main/CLIP_explainability.ipynb

演示：您可以在 Huggingface spaces <https://huggingface.co/spaces/PaulHilders/CLIPGroundingExplainability>_ 上查看演示，或扫描以下二维码。

.. image:: https://user-images.githubusercontent.com/19412343/176676771-d26f2146-9901-49e7-99be-b030f3d790de.png :width: 100

ViT 的笔记本：

|ViT|

.. |ViT| image:: https://colab.research.google.com/assets/colab-badge.svg :target: https://colab.research.google.com/github/hila-chefer/Transformer-MM-Explainability/blob/main/Transformer_MM_explainability_ViT.ipynb

.. sectnum::

使用Colab

• 请注意，该笔记本假设您正在使用GPU。要切换运行时，请转到“Runtime”->“change runtime type”，然后选择GPU。
• 安装所有依赖项可能需要一些时间。安装完成后，请重启运行时。

运行示例

请注意，我们有两个jupyter笔记本可以运行论文中展示的示例。

• LXMERT 的笔记本 <./LXMERT.ipynb>_ 包含了论文中的示例以及来自互联网的图片和自由问题的示例。 要使用您自己的输入，只需将URL变量更改为您的图片，并将question变量更改为您的自由问题。

  .. image:: LXMERT.PNG

  .. image:: LXMERT-web.PNG

• DETR 的笔记本 <./DETR.ipynb>_ 包含了论文中的示例。 要使用您自己的输入，只需将URL变量更改为您的图片。

  .. image:: DETR.PNG

结果复现

^^^^^^^^^^ VisualBERT ^^^^^^^^^^

按照如下方式运行run.py脚本：

.. code-block:: bash

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=pwd python VisualBERT/run.py --method= --is-text-pert=<true/false> --is-positive-pert=<true/false> --num-samples=10000 config=projects/visual_bert/configs/vqa2/defaults.yaml model=visual_bert dataset=vqa2 run_type=val checkpoint.resume_zoo=visual_bert.finetuned.vqa2.from_coco_train env.data_dir=/path/to/data_dir training.num_workers=0 training.batch_size=1 training.trainer=mmf_pert training.seed=1234

.. note::

如果数据集尚未位于env.data_dir中，则脚本会自动将数据下载到env.data_dir路径下。

^^^^^^ LXMERT ^^^^^^

#. 下载valid.json <https://nlp.cs.unc.edu/data/lxmert_data/vqa/valid.json>_:

.. code-block:: bash

  pushd data/vqa
  wget https://nlp.cs.unc.edu/data/lxmert_data/vqa/valid.json
  popd

#. 将COCO_val2014数据集下载到您的本地机器上。

.. note::

  如果您已经为`VisualBERT`测试下载了`COCO_val2014`，则可以直接使用之前为`VisualBERT`使用的路径。

#. 按照如下方式运行perturbation.py脚本：

.. code-block:: bash

  CUDA_VISIBLE_DEVICES=0 PYTHONPATH=`pwd` python lxmert/lxmert/perturbation.py  --COCO_path /path/to/COCO_val2014 --method <method_name> --is-text-pert <true/false> --is-positive-pert <true/false>

^^^^ DETR ^^^^

#. 按照DETR 仓库 <https://github.com/facebookresearch/detr#data-preparation>_ 中的说明下载COCO数据集。 请注意，您只需要验证集。

#. 通过以下步骤将IoU最小阈值从0.5降低到0.2：

• 在您的Python库路径中找到cocoeval.py脚本：

  查找库路径：

  .. code-block:: python

  import sys
  print(sys.path)
  

  查找cocoeval.py：

  .. code-block:: bash

  cd /path/to/lib
  find -name cocoeval.py
  

• 在Params类的setDetParams函数中（该函数设置COCO检测评估的参数），将self.iouThrs值修改如下：

  原本是：

  .. code-block:: python

  self.iouThrs = np.linspace(.5, 0.95, int(np.round((0.95 - .5) / .05)) + 1, endpoint=True) 改为：

  .. code-block:: python

  self.iouThrs = np.linspace(.2, 0.95, int(np.round((0.95 - .2) / .05)) + 1, endpoint=True)

#. 运行分割实验，使用以下命令：

.. code-block:: bash

   CUDA_VISIBLE_DEVICES=0 PYTHONPATH=`pwd`  python DETR/main.py --coco_path /path/to/coco/dataset  --eval --masks --resume https://dl.fbaipublicfiles.com/detr/detr-r50-e632da11.pth --batch_size 1 --method <method_name>

引用

如果您使用了我们的工作，请引用我们的论文：

.. code-block:: latex

   @InProceedings{Chefer_2021_ICCV,
      author    = {Chefer, Hila and Gur, Shir and Wolf, Lior},
      title     = {Generic Attention-Model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers},
      booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
      month     = {October},
      year      = {2021},
      pages     = {397-406}
   }

致谢

• VisualBERT的实现基于MMF <https://github.com/facebookresearch/mmf>_框架。
• LXMERT的实现基于官方LXMERT <https://github.com/airsplay/lxmert>实现以及Hugging Face Transformers <https://github.com/huggingface/transformers>。
• DETR的实现基于官方DETR <https://github.com/facebookresearch/detr>_实现。
• CLIP的实现基于官方CLIP <https://github.com/openai/CLIP>_实现。
• CLIP的Hugging Face Spaces演示由阿姆斯特丹大学的Paul Hilders、Danilo de Goede和Piyush Bagad在其毕业项目 <https://github.com/bpiyush/CLIP-grounding>_中完成。

Transformer-MM-Explainability 快速上手指南

本工具是 ICCV 2021 Oral 论文《Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers》的 PyTorch 实现，用于解释多模态（如图像 - 文本）及编码器 - 解码器 Transformer 模型的注意力机制。支持 LXMERT、DETR、CLIP 和 ViT 等模型。

环境准备

• 系统要求：Linux 或 macOS（Windows 需使用 WSL），必须配备 GPU（CUDA 环境）。
• 前置依赖：
  • Python 3.7+
  • PyTorch (建议 1.8+)
  • Git
• 注意：部分脚本依赖 mmf (Facebook Multi-Modal Framework) 或特定版本的 transformers，建议优先使用官方提供的 Colab 环境以避免依赖冲突。

安装步骤

方式一：使用 Google Colab（推荐，最快上手）

无需本地配置环境，直接点击以下链接在云端运行：

• LXMERT + DETR 示例: 打开 Notebook
• CLIP 示例: 打开 Notebook
• ViT 示例: 打开 Notebook

Colab 设置提示：进入 Notebook 后，请点击菜单栏 Runtime -> Change runtime type，将硬件加速器选择为 GPU。首次运行安装依赖可能需要几分钟，安装完成后请重启运行时 (Runtime -> Restart runtime)。

方式二：本地源码安装

若需在本地复现论文结果或进行大规模实验：

1. 克隆仓库

   git clone https://github.com/hila-chefer/Transformer-MM-Explainability.git
   cd Transformer-MM-Explainability
   

2. 安装依赖 根据你打算运行的模型（VisualBERT, LXMERT, DETR, CLIP），需安装对应的框架。

   • VisualBERT: 基于 MMF 框架。

     pip install mmf
     

   • LXMERT: 基于官方 LXMERT 和 Hugging Face Transformers。

     pip install transformers torch torchvision
     # 其他依赖参考 lxmert 目录下的 requirements
     

   • DETR: 基于官方 DETR 实现。

     pip install cython scipy
     # 安装 pycocotools (Linux/Mac)
     pip install 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'
     

   • CLIP: 基于官方 CLIP 实现。

     pip install ftfy regex tqdm
     pip install git+https://github.com/openai/CLIP.git
     

基本使用

1. 快速体验（Jupyter Notebook）

这是最简单的使用方式，支持自定义图片和问题。

• LXMERT (视觉问答解释): 打开 LXMERT.ipynb，修改以下变量即可运行：

  URL = "你的图片链接"  # 替换为网络图片 URL
  question = "你的自由形式问题" # 替换为你想问的问题
  

  运行单元格即可生成注意力热力图。

• DETR (目标检测解释): 打开 DETR.ipynb，仅需修改图片链接：

  URL = "你的图片链接"
  

2. 命令行复现实验 (以 VisualBERT 为例)

确保数据目录已设置，运行以下命令进行推理和解释生成：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=`pwd` python VisualBERT/run.py --method=<method_name> --is-text-pert=<true/false> --is-positive-pert=<true/false> --num-samples=10000 config=projects/visual_bert/configs/vqa2/defaults.yaml model=visual_bert dataset=vqa2 run_type=val checkpoint.resume_zoo=visual_bert.finetuned.vqa2.from_coco_train env.data_dir=/path/to/data_dir training.num_workers=0 training.batch_size=1 training.trainer=mmf_pert training.seed=1234

注：如果 env.data_dir 下没有数据集，脚本会自动下载。

3. 在线 Demo

无需代码，可直接在 Huggingface Spaces 体验 CLIP 模型的接地解释功能：

• Demo 地址: CLIP Grounding Explainability