Transformer（一种深度学习模型架构）可解释性超越注意力可视化 的 PyTorch 实现 [CVPR 2021]

查看我们的新进展 - 用于解释双模态和编码器 - 解码器 Transformer 的通用注意力模型可解释性!

更快、更通用，并且可以应用于任何类型的注意力机制！ 具有以下特性：

• 我们移除了 LRP（层相关传播），提供了一个简单快速的解决方案，并证明了我们第一篇论文中的优秀结果依然成立！
• 我们将工作扩展到任何类型的 Transformer——不仅是基于自注意力的编码器，还包括共注意力编码器和编码器 - 解码器！
• 我们展示了 VQA（视觉问答）模型实际上可以理解图像和文本并建立联系！
• 我们使用 DETR（检测 Transformer）目标检测器，并从我们的解释中创建分割掩码！
• 我们提供了一个包含所有示例的 Colab（云端笔记本）。您可以非常轻松地添加自己的图像和问题！

---

ViT（视觉 Transformer）可解释性笔记本：

BERT（预训练语言模型）可解释性笔记本：

更新

2021 年 4 月 5 日：查看这篇关于我们论文的新 帖子！这是理解我们工作背后主要概念的优秀资源。

2021 年 3 月 15 日：添加了用于情感分析的 BERT Colab 笔记本！

2021 年 2 月 28 日：我们的论文被 CVPR 2021 接收！

2021 年 2 月 17 日：添加了包含所有示例的 Colab 笔记本！

2021 年 1 月 5 日：添加了 DeiT 的 Jupyter 笔记本！

简介

Transformer 可解释性超越注意力可视化 的官方实现。

我们介绍了一种新颖的方法，允许可视化基于 Transformer 的模型在视觉和 NLP（自然语言处理）任务中做出的分类。 我们的方法还允许按类别可视化解释。

该方法由 3 个阶段组成：

1. 使用我们新颖的 LRP 公式计算每个注意力矩阵的相关性。

2. 针对可视化类别对每个注意力矩阵进行梯度反向传播。梯度用于平均注意力头。

3. 使用 rollout 进行层聚合。

请注意我们的 Jupyter 笔记本，您可以在其中运行论文中的两个特定类别示例。

要添加另一个输入图像，只需将图像添加到 samples 文件夹，并使用 generate_visualization 函数为您感兴趣的选定类别（使用 class_index={class_idx}），不指定索引将可视化顶级类别。

致谢

ViT 实现基于：

• https://github.com/rwightman/pytorch-image-models
• https://github.com/lucidrains/vit-pytorch
• 来自以下内容的预训练权重：https://github.com/google-research/vision_transformer

BERT 实现取自 Huggingface Transformers 库： https://huggingface.co/transformers/

ERASER 基准代码改编自 ERASER GitHub 实现：https://github.com/jayded/eraserbenchmark

补充材料中的文本可视化是使用 TAHV 文本注意力热力图生成器创建的：https://github.com/jiesutd/Text-Attention-Heatmap-Visualization

在 ViT 上复现结果

A 节。分割结果

示例：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 baselines/ViT/imagenet_seg_eval.py --method transformer_attribution --imagenet-seg-path /path/to/gtsegs_ijcv.mat

下载数据集链接。

在上例中，我们使用我们的方法运行了分割测试。请注意，您可以使用 --method 参数选择要运行的方法。 您必须在 --imagenet-seg-path 中提供 imagenet 分割数据的路径。

B 节。扰动结果

示例：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 baselines/ViT/generate_visualizations.py --method transformer_attribution --imagenet-validation-path /path/to/imagenet_validation_directory

请注意，您可以使用 --vis-cls 参数选择按目标类别或顶级类别可视化。

现在要运行扰动测试，请运行以下命令：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 baselines/ViT/pertubation_eval_from_hdf5.py --method transformer_attribution

请注意，您可以使用 --neg 参数运行正向或负向扰动。

在 BERT (双向编码器表示转换器) 上复现结果

1. 下载预训练权重：

• 从 https://drive.google.com/file/d/1kGMTr69UWWe70i-o2_JfjmWDQjT66xwQ/view?usp=sharing 下载 classifier.zip
• mkdir -p ./bert_models/movies
• unzip classifier.zip -d ./bert_models/movies/

2. 下载数据集 pkl (pickle) 文件：

• 从 https://drive.google.com/file/d/1-gfbTj6D87KIm_u1QMHGLKSL3e93hxBH/view?usp=sharing 下载 preprocessed.pkl
• mv preprocessed.pkl ./bert_models/movies

3. 下载数据集：

• 从 https://drive.google.com/file/d/11faFLGkc0hkw3wrGTYJBr1nIvkRb189F/view?usp=sharing 下载 movies.zip
• unzip movies.zip -d ./data/

4. 现在您可以运行模型。

示例：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 BERT_rationale_benchmark/models/pipeline/bert_pipeline.py --data_dir data/movies/ --output_dir bert_models/movies/ --model_params BERT_params/movies_bert.json

要控制用于解释的算法，请更改 BERT_rationale_benchmark/models/pipeline/bert_pipeline.py 中的 method 变量（默认为 'transformer_attribution'，即我们的方法）。 运行此命令将在 bert_models/movies/<method_name> 中为该方法创建一个目录。

为了运行带有 k 的 f1 (F1 Score) 测试，请运行以下命令：

PYTHONPATH=./:$PYTHONPATH python3 BERT_rationale_benchmark/metrics.py --data_dir data/movies/ --split test --results bert_models/movies/<method_name>/identifier_results_k.json

此外，在方法目录中将创建包含每个示例提取的解释的 .tex 文件。这对应于我们在补充材料中的可视化内容。

引用我们的论文

如果您使用了我们的工作，请引用我们的论文：

@InProceedings{Chefer_2021_CVPR,
    author    = {Chefer, Hila and Gur, Shir and Wolf, Lior},
    title     = {Transformer Interpretability Beyond Attention Visualization},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2021},
    pages     = {782-791}
}

Transformer-Explainability 快速上手指南

简介

Transformer-Explainability 是基于 PyTorch 实现的 Transformer 可解释性工具。它通过新颖的方法可视化 Vision Transformer (ViT) 和 NLP 模型（如 BERT）的分类决策及注意力机制，支持生成每类的解释可视化图。

环境准备

• 操作系统: Linux / macOS / Windows
• Python: 建议版本 3.7+
• 深度学习框架: PyTorch (推荐 CUDA 加速)
• 其他依赖: transformers, torchvision, numpy, matplotlib 等

💡 国内加速建议: 安装 PyTorch 时建议使用清华或阿里云镜像源以提升下载速度。

安装步骤

1. 克隆仓库

git clone https://github.com/hila-chefer/Transformer-Explainability.git
cd Transformer-Explainability

2. 安装核心依赖

确保已安装 PyTorch，并安装其他必要库。推荐使用国内镜像源安装 PyTorch：

# 示例：使用清华源安装 PyTorch (根据实际 CUDA 版本调整)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖
pip install transformers
pip install matplotlib numpy

3. 配置环境变量

运行脚本前需设置 PYTHONPATH 以包含当前目录：

export PYTHONPATH=./:$PYTHONPATH

基本使用

方法一：Google Colab (推荐新手)

无需本地配置，直接在云端运行 Jupyter Notebook。

• ViT 可解释性:
• BERT 可解释性:

方法二：本地命令行 (ViT 示例)

适用于复现论文中的扰动测试或分割结果。

1. 运行扰动评估 (Perturbation Evaluation)

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 baselines/ViT/generate_visualizations.py --method transformer_attribution --imagenet-validation-path /path/to/imagenet_validation_directory

• --vis-cls: 可选参数，指定可视化目标类别或 Top 类别。

2. 运行分割测试 (Segmentation Results)

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 baselines/ViT/imagenet_seg_eval.py --method transformer_attribution --imagenet-seg-path /path/to/gtsegs_ijcv.mat

• 需提前下载 ImageNet 分割数据集。

方法三：本地命令行 (BERT 示例)

适用于情感分析任务的可解释性。

1. 下载预训练权重与数据：按照 README 指引下载 classifier.zip、preprocessed.pkl 和 movies.zip 并解压至对应目录。
2. 运行模型：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=./:$PYTHONPATH python3 BERT_rationale_benchmark/models/pipeline/bert_pipeline.py --data_dir data/movies/ --output_dir bert_models/movies/ --model_params BERT_params/movies_bert.json

• 默认算法为 transformer_attribution，可在脚本中修改 method 变量。