PyTorch 的高级 AI 可解释性

pip install grad-cam

包含高级教程的文档：https://jacobgil.github.io/pytorch-gradcam-book

这是一个包含计算机视觉可解释人工智能（Explainable AI）最先进方法的软件包。 它可用于诊断模型预测，无论是在生产环境还是模型开发过程中。 其目标也是作为算法和指标的基准，用于研究新的可解释性方法。

⭐ 计算机视觉像素归因（Pixel Attribution）方法的全面集合。

⭐ 在许多常见的 CNN（卷积神经网络）和 Vision Transformers（视觉 Transformer）上进行了测试。

⭐ 高级用例：适用于分类、目标检测、语义分割、嵌入相似度等场景。

⭐ 包含平滑方法，使 CAM（类激活图）看起来更美观。

⭐ 高性能：所有方法均完全支持图像批次处理。

⭐ 包含用于检查解释可信度的指标，并可对其进行调优以获得最佳性能。

方法	功能
GradCAM	通过平均梯度对 2D 激活进行加权
HiResCAM	类似于 GradCAM，但将激活与梯度进行逐元素相乘；对于某些模型可证明保证忠实度
GradCAMElementWise	类似于 GradCAM，但将激活与梯度进行逐元素相乘，然后在求和前应用 ReLU 操作
GradCAM++	类似于 GradCAM，但使用二阶梯度
XGradCAM	类似于 GradCAM，但通过归一化的激活对梯度进行缩放
AblationCAM	将激活置零并测量输出下降的程度（本仓库包含快速的批处理实现）
ScoreCAM	通过缩放的激活对图像进行扰动，并测量输出下降的程度
EigenCAM	获取 2D 激活的第一主成分（无类别区分能力，但似乎能产生很好的结果）
EigenGradCAM	类似于 EigenCAM 但具有类别区分能力：激活*梯度的第一主成分。看起来像 GradCAM，但更清晰
LayerCAM	通过正梯度在空间上对激活进行加权。在较低层表现更好
FullGrad	计算网络中所有偏置的梯度，然后将它们相加
Deep Feature Factorizations	对 2D 激活进行非负矩阵分解
KPCA-CAM	类似于 EigenCAM，但使用核 PCA（Kernel PCA）代替 PCA
FEM	一种无梯度方法，通过激活 > 均值 + k * 标准差的规则对激活进行二值化。
ShapleyCAM	使用梯度和海森向量积对激活进行加权。
FinerCAM	通过比较相似类别、抑制共享特征并突出判别性细节来改进细粒度分类。

可视化示例

是什么让网络认为图像标签是 'pug, pug-dog'	是什么让网络认为图像标签是 'tabby, tabby cat'	将 Grad-CAM 与 Guided Backpropagation 结合用于 'pug, pug-dog' 类

目标检测和语义分割

目标检测	语义分割

3D 医疗语义分割

解释与其他图像/嵌入的相似度

深度特征分解

CLIP

解释文本提示 "a dog"	解释文本提示 "a cat"

分类

Resnet50:

类别	图片	GradCAM	AblationCAM (消融CAM)	ScoreCAM (得分CAM)
Dog (狗)
Cat (猫)

Vision Transformer (Deit Tiny):

类别	图片	GradCAM	AblationCAM (消融CAM)	ScoreCAM (得分CAM)
Dog (狗)
Cat (猫)

Swin Transformer (Tiny window:7 patch:4 input-size:224):

类别	图片	GradCAM	AblationCAM (消融CAM)	ScoreCAM (得分CAM)
Dog (狗)
Cat (猫)

XAI 的指标与评估

---

使用示例

from pytorch_grad_cam import GradCAM, HiResCAM, ScoreCAM, GradCAMPlusPlus, AblationCAM, XGradCAM, EigenCAM, FullGrad
from pytorch_grad_cam.utils.model_targets import ClassifierOutputTarget
from pytorch_grad_cam.utils.image import show_cam_on_image
from torchvision.models import resnet50

model = resnet50(pretrained=True)
target_layers = [model.layer4[-1]]
input_tensor = # Create an input tensor image for your model..
# Note: input_tensor can be a batch tensor with several images!

# We have to specify the target we want to generate the CAM for.
targets = [ClassifierOutputTarget(281)]

# Construct the CAM object once, and then re-use it on many images.
with GradCAM(model=model, target_layers=target_layers) as cam:
  # You can also pass aug_smooth=True and eigen_smooth=True, to apply smoothing.
  grayscale_cam = cam(input_tensor=input_tensor, targets=targets)
  # In this example grayscale_cam has only one image in the batch:
  grayscale_cam = grayscale_cam[0, :]
  visualization = show_cam_on_image(rgb_img, grayscale_cam, use_rgb=True)
  # You can also get the model outputs without having to redo inference
  model_outputs = cam.outputs

cam.py 包含更详细的使用示例。

---

选择提取激活值的层

你需要选择目标层来计算 CAM (类激活映射)。 一些常见的选择是：

• FasterRCNN: model.backbone
• Resnet18 和 50: model.layer4[-1]
• VGG, densenet161 和 mobilenet: model.features[-1]
• mnasnet1_0: model.layers[-1]
• ViT: model.blocks[-1].norm1
• SwinT: model.layers[-1].blocks[-1].norm1

如果你传入一个包含多个层的列表，CAM 将在这些层上进行平均。 如果你不确定哪一层表现最好，这会很有用。

---

适配新的架构和任务

像 GradCAM (梯度加权类激活映射) 这样的方法是为分类模型设计的，最初主要应用于分类模型，特别是 CNN (卷积神经网络) 分类模型。 然而，你也可以将此库用于新的架构，如 Vision Transformer (视觉 Transformer)，以及非分类任务，如目标检测或语义分割。

为了能够适应非标准情况，我们有两个概念。

• Reshape Transform (形状变换) —— 我们如何将激活值转换为代表空间图像的形式？
• Model Targets (模型目标) —— 可解释性方法究竟应该尝试解释什么？

reshape_transform 参数

在 CNN 中，模型的中间激活值是一个具有通道 x 行 x 列维度的多通道图像，各种可解释性方法利用这些值来生成新图像。

对于其他架构，例如 Vision Transformer，形状可能会有所不同，例如 (行 x 列 + 1) x 通道，或者其他形式。 Reshape Transform 将激活值转换回多通道图像，例如通过移除 Vision Transformer 中的 class token (类标记)。 示例请查看 这里

model_target 参数

Model Target 只是一个可调用对象，它能够获取模型输出，并筛选出我们想要解释的特定标量输出。

对于分类任务，Model Target 通常是特定类别的输出。 传递给 CAM 方法的 targets 参数可以使用 ClassifierOutputTarget：

targets = [ClassifierOutputTarget(281)]

然而，对于更高级的情况，你可能需要不同的行为。 查看 这里 获取更多示例。

---

教程

这里您可以找到关于如何将其用于各种自定义用例（如目标检测）的详细示例：

这些链接指向新的文档 jupyter-book 以实现快速渲染。 Jupyter notebooks 本身可以在 git 仓库的 tutorials 文件夹下找到。

• Notebook 教程：HuggingFace 🤗 图像分类模型的 XAI (可解释人工智能) 配方

• Notebook 教程：用于更好模型可解释性的深度特征分解

• Notebook 教程：使用 Faster-RCNN 进行目标检测的类别激活映射

• Notebook 教程：YOLO5 的类别激活映射

• Notebook 教程：语义分割的类别激活映射

• Notebook 教程：调整像素归因方法以适应模型的嵌入输出

• Notebook 教程：愿最佳解释获胜。CAM 指标与调优

• 它如何与 Vision/SwinT Transformer 协同工作

---

引导反向传播

from pytorch_grad_cam import GuidedBackpropReLUModel
from pytorch_grad_cam.utils.image import (
    show_cam_on_image, deprocess_image, preprocess_image
)
gb_model = GuidedBackpropReLUModel(model=model, device=model.device())
gb = gb_model(input_tensor, target_category=None)

cam_mask = cv2.merge([grayscale_cam, grayscale_cam, grayscale_cam])
cam_gb = deprocess_image(cam_mask * gb)
result = deprocess_image(gb)

---

指标与评估解释

from pytorch_grad_cam.utils.model_targets import ClassifierOutputSoftmaxTarget
from pytorch_grad_cam.metrics.cam_mult_image import CamMultImageConfidenceChange
# Create the metric target, often the confidence drop in a score of some category
metric_target = ClassifierOutputSoftmaxTarget(281)
scores, batch_visualizations = CamMultImageConfidenceChange()(input_tensor, 
  inverse_cams, targets, model, return_visualization=True)
visualization = deprocess_image(batch_visualizations[0, :])

# State of the art metric: Remove and Debias
from pytorch_grad_cam.metrics.road import ROADMostRelevantFirst, ROADLeastRelevantFirst
cam_metric = ROADMostRelevantFirst(percentile=75)
scores, perturbation_visualizations = cam_metric(input_tensor, 
  grayscale_cams, targets, model, return_visualization=True)

# You can also average across different percentiles, and combine
# (LeastRelevantFirst - MostRelevantFirst) / 2
from pytorch_grad_cam.metrics.road import ROADMostRelevantFirstAverage,
                                          ROADLeastRelevantFirstAverage,
                                          ROADCombined
cam_metric = ROADCombined(percentiles=[20, 40, 60, 80])
scores = cam_metric(input_tensor, grayscale_cams, targets, model)

平滑处理以获得美观的 CAM

为了减少 CAM (类别激活映射) 中的噪声，并使其更好地贴合目标物体，支持两种平滑方法：

• aug_smooth=True

  测试时增强：运行时间增加 6 倍。

  应用水平翻转和将图像乘以 [1.0, 1.1, 0.9] 的组合。

  这具有将 CAM 更好地集中在物体周围的效果。

• eigen_smooth=True

  activations*weights 的第一主成分。

  这具有消除大量噪声的效果。

AblationCAM	aug 平滑	eigen 平滑	aug+eigen 平滑

---

运行示例脚本：

用法： python cam.py --image-path <path_to_image> --method <method> --output-dir <output_dir_path>

若要使用特定设备，如 cpu、cuda、cuda:0、mps 或 hpu： python cam.py --image-path <path_to_image> --device cuda --output-dir <output_dir_path>

---

您可以在以下方法中进行选择：

GradCAM , HiResCAM, ScoreCAM, GradCAMPlusPlus, AblationCAM, XGradCAM , LayerCAM, FullGrad, EigenCAM, ShapleyCAM, 和 FinerCAM。

某些方法如 ScoreCAM 和 AblationCAM 需要大量的前向传播，并具有批处理实现。

您可以使用 cam.batch_size = 来控制批大小。

---

引用

如果您在研究中使用此代码，请引用。以下是一个 BibTeX 条目示例：

@misc{jacobgilpytorchcam,
  title={PyTorch library for CAM methods},
  author={Jacob Gildenblat and contributors},
  year={2021},
  publisher={GitHub},
  howpublished={\url{https://github.com/jacobgil/pytorch-grad-cam}},
}

---

参考文献

https://arxiv.org/abs/1610.02391
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra

https://arxiv.org/abs/2011.08891
Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks Rachel L. Draelos, Lawrence Carin

https://arxiv.org/abs/1710.11063
Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks Aditya Chattopadhyay, Anirban Sarkar, Prantik Howlader, Vineeth N Balasubramanian

https://arxiv.org/abs/1910.01279
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks Haofan Wang, Zifan Wang, Mengnan Du, Fan Yang, Zijian Zhang, Sirui Ding, Piotr Mardziel, Xia Hu

https://ieeexplore.ieee.org/abstract/document/9093360/
Ablation-cam: Visual explanations for deep convolutional network via gradient-free localization. Saurabh Desai and Harish G Ramaswamy. In WACV, pages 972–980, 2020

https://arxiv.org/abs/2008.02312
Axiom-based Grad-CAM: Towards Accurate Visualization and Explanation of CNNs Ruigang Fu, Qingyong Hu, Xiaohu Dong, Yulan Guo, Yinghui Gao, Biao Li

https://arxiv.org/abs/2008.00299
Eigen-CAM: Class Activation Map using Principal Components Mohammed Bany Muhammad, Mohammed Yeasin

http://mftp.mmcheng.net/Papers/21TIP_LayerCAM.pdf
LayerCAM: Exploring Hierarchical Class Activation Maps for Localization Peng-Tao Jiang; Chang-Bin Zhang; Qibin Hou; Ming-Ming Cheng; Yunchao Wei

https://arxiv.org/abs/1905.00780
Full-Gradient Representation for Neural Network Visualization Suraj Srinivas, Francois Fleuret

https://arxiv.org/abs/1806.10206
Deep Feature Factorization For Concept Discovery Edo Collins, Radhakrishna Achanta, Sabine Süsstrunk

https://arxiv.org/abs/2410.00267
KPCA-CAM: Visual Explainability of Deep Computer Vision Models using Kernel PCA Sachin Karmani, Thanushon Sivakaran, Gaurav Prasad, Mehmet Ali, Wenbo Yang, Sheyang Tang

https://hal.science/hal-02963298/document
Features Understanding in 3D CNNs for Actions Recognition in Video Kazi Ahmed Asif Fuad, Pierre-Etienne Martin, Romain Giot, Romain Bourqui, Jenny Benois-Pineau, Akka Zemmar

https://arxiv.org/abs/2501.06261
CAMs as Shapley Value-based Explainers Huaiguang Cai

https://arxiv.org/pdf/2501.11309
Finer-CAM : Spotting the Difference Reveals Finer Details for Visual Explanation
Ziheng Zhang*, Jianyang Gu*, Arpita Chowdhury, Zheda Mai, David Carlyn,Tanya Berger-Wolf, Yu Su, Wei-Lun Chao

pytorch-grad-cam 快速上手指南

1. 环境准备

在安装 pytorch-grad-cam 之前，请确保您的系统已安装以下依赖：

• Python：建议 3.6 及以上版本。
• PyTorch：建议安装较新版本，且支持 CUDA（如果需要 GPU 加速）。
• TorchVision：通常与 PyTorch 配套安装，用于加载预训练模型（如 ResNet, VGG 等）。
• OpenCV：用于图像处理（可选，但在运行示例时常用）。

2. 安装步骤

推荐使用 pip 进行安装。为了提高下载速度，建议使用国内镜像源。

基础安装命令：

pip install grad-cam

推荐使用国内镜像源加速安装：

pip install grad-cam -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

以下示例展示了如何使用 Grad-CAM 对 ResNet50 模型进行可视化分析。

3.1 导入必要的库

from pytorch_grad_cam import GradCAM
from pytorch_grad_cam.utils.model_targets import ClassifierOutputTarget
from pytorch_grad_cam.utils.image import show_cam_on_image
from torchvision.models import resnet50
import torch
from PIL import Image
import numpy as np
import cv2

3.2 加载模型与数据

# 1. 加载预训练模型
model = resnet50(pretrained=True)
model.eval()  # 设置为评估模式

# 2. 选择目标层
# 不同的模型架构对应不同的目标层，常见选择如下：
# Resnet18/50: model.layer4[-1]
# VGG/DenseNet/MobileNet: model.features[-1]
# ViT: model.blocks[-1].norm1
target_layers = [model.layer4[-1]]

# 3. 准备输入数据
# 注意：input_tensor 需要经过归一化处理，此处仅为示例
# 假设 rgb_img 是经过 resize 且转为 float32 的原始图像数组 (H, W, C)，值域 [0, 1]
# input_tensor 是经过 ToTensor 和 Normalize 的 tensor (C, H, W)
rgb_img = np.array(Image.open("your_image.jpg").resize((224, 224))) / 255.0
input_tensor = torch.from_numpy(rgb_img).permute(2, 0, 1).unsqueeze(0).float() # 示例转换，实际请按模型要求归一化

3.3 运行 Grad-CAM

# 4. 设置目标类别
# 例如 281 是 ImageNet 中的 "tabby, tabby cat" 类别
targets = [ClassifierOutputTarget(281)]

# 5. 构建 CAM 对象并生成热力图
with GradCAM(model=model, target_layers=target_layers) as cam:
    # 可以传入 aug_smooth=True 和 eigen_smooth=True 来改善视觉效果
    grayscale_cam = cam(input_tensor=input_tensor, targets=targets)
    
    # 获取单张图片的 CAM
    grayscale_cam = grayscale_cam[0, :]
    
    # 将热力图叠加在原图上
    visualization = show_cam_on_image(rgb_img, grayscale_cam, use_rgb=True)
    
    # 保存或显示结果
    # cv2.imwrite('cam_result.jpg', visualization[:, :, ::-1] * 255)