• 忠实性相关性 (Bhatt et al., 2020)：迭代地将给定归因的随机子集替换为基准值，然后测量该归因子集之和与函数输出差异之间的相关性。
• 忠实性估计 (Alvarez-Melis et al., 2018)：计算不同点上概率下降与归因分数之间的相关性。
• 单调性度量 (Arya et al. 2019)：从参考基准开始，逐步替换排序后的归因向量中的每个特征，以衡量其对模型性能的影响。
• 单调性度量 (Nguyen et al, 2020)：测量归因绝对值与概率估计不确定性之间的斯皮尔曼等级相关系数。
• 像素翻转 (Bach et al., 2015)：捕捉按照归因值降序扰动像素对分类得分的影响。
• 区域扰动 (Samek et al., 2015)：是像素翻转的扩展，将单个像素替换为一个区域。
• 选择性 (Montavon et al., 2018)：衡量当移除具有最高归因值的特征时，被评估的预测函数开始下降的速度。
• SensitivityN (Ancona et al., 2019)：在改变总特征数量的比例时，计算归因之和与目标输出变化之间的相关性，并对多个测试样本取平均。
• IROF (Rieger at el., 2020)：对于多个测试样本，计算按顺序移除特征片段（超像素）时，其平均重要性排序曲线下的面积，并取平均。
• 不忠实性 (Chih-Kuan, Yeh, et al., 2019)：表示归因与输入扰动的点积与显著扰动后模型输出差异之间的期望均方误差。
• ROAD (Rong, Leemann, et al., 2022)：通过迭代移除k个最重要的像素来衡量模型在测试集上的准确率；每一步都用噪声线性插值替换最相关的k个像素（MoRF顺序）。
• 充分性 (Dasgupta et al., 2022)：衡量相似解释是否具有相同预测标签的程度。

• 局部利普希茨估计 (Alvarez-Melis et al., 2018)：检验相邻示例之间解释的一致性。
• 最大敏感度 (Yeh et al., 2019)：使用蒙特卡洛采样近似法测量解释的最大敏感度。
• 平均敏感度 (Yeh et al., 2019)：使用蒙特卡洛采样近似法测量解释的平均敏感度。
• 连续性 (Montavon et al., 2018)：捕捉输入及其扰动版本之间解释的最大变化。
• 一致性 (Dasgupta et al., 2022)：衡量具有相同解释的输入拥有相同预测标签的概率。
• 相对输入稳定性（RIS） (Agarwal, et. al., 2022)：衡量解释e_x与e_x'之间的相对距离，相对于两个输入x与x'之间的距离。
• 相对表征稳定性（RRS） (Agarwal, et. al., 2022)：衡量解释e_x与e_x'之间的相对距离，相对于分别对应于x和x'的内部模型表征L_x与L_x'之间的距离。
• 相对输出稳定性（ROS） (Agarwal, et. al., 2022)：衡量解释e_x与e_x'之间的相对距离，相对于分别对应于x和x'的输出logit h(x)与h(x')之间的距离。

• 指向游戏 (Zhang et al., 2018): 检查得分最高的归因是否位于目标对象内
• 归因定位 (Kohlbrenner et al., 2020): 衡量目标对象内正向归因占总正向归因的比例
• Top-K 交集 (Theiner et al., 2021): 计算真实标签掩码与在前 k 个特征位置上二值化的解释之间的交集
• 相关性排名准确率 (Arras et al., 2021): 衡量真实标签掩码中高归因像素所占比例与真实标签掩码大小之比
• 相关性质量准确率 (Arras et al., 2021): 衡量真实标签掩码内正向归因占总正向归因的比例
• AUC (Fawcett et al., 2006): 比较归因与给定真实标签掩码之间的排序
• 聚焦 (Arias et al., 2022): 通过创建来自不同类别的数据实例的马赛克来量化解释的精确度

• 稀疏性 (Chalasani et al., 2020): 使用基尼指数来衡量是否只有高归因的特征真正能够预测模型输出
• 复杂性 (Bhatt et al., 2020): 计算所有特征对归因总幅度的分数贡献的熵
• 有效复杂性 (Nguyen at el., 2020): 衡量绝对值上超过某一阈值的归因数量

• MPRT（模型参数随机化测试） (Adebayo et. al., 2018): 以级联或独立的方式随机化单个模型层的参数，并测量相应解释与原始解释之间的距离
• 平滑 MPRT (Hedström et. al., 2023): 在原始 MPRT 中增加一个“去噪”预处理步骤，在测量原始模型和完全随机模型的解释相似性之前，先对 N 个噪声样本的解释取平均值
• 高效 MPRT (Hedström et. al., 2023): 重新解释 MPRT，通过评估模型完全随机化前后解释复杂度（离散熵）的变化，要求随机化后解释复杂度有所提高
• 随机逻辑回归测试 (Sixt et al., 2020): 计算原始解释与针对随机其他类别的解释之间的距离

• 完备性 (Sundararajan et al., 2017): 评估归因之和是否等于输入 x 和基准 x' 处函数值之差（也称为求和到差值法（Shrikumar et al., 2017）、灵敏度-n（轻微变化，Ancona et al., 2018）以及守恒性（Montavon et al., 2018））
• 非灵敏性 (Nguyen at el., 2020): 衡量总归因是否与模型输出处的可解释证据成比例
• 输入不变性 (Kindermans et al., 2017): 对输入进行偏移，要求归因不应随之改变（假设模型本身不改变）

首先，我们来加载数据和模型。在本示例中，我们从 Quantus 中加载了一个用于本教程的预训练 LeNet 模型；不过通常情况下，您也可以使用任何 PyTorch（或 TensorFlow）模型。要按照此示例操作，您需要安装 quantus 和 torch，例如通过运行 pip install 'quantus[torch]'。

import quantus
from quantus.helpers.model.models import LeNet
import torch
import torchvision
from torchvision import transforms
  
# 启用 GPU。
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

# 加载一个预训练的 LeNet 分类模型（架构位于 quantus/helpers/models）。
model = LeNet()
if device.type == "cpu":
    model.load_state_dict(torch.load("tests/assets/mnist", map_location=torch.device('cpu')))
else: 
    model.load_state_dict(torch.load("tests/assets/mnist"))

# 加载数据集并创建数据加载器。
test_set = torchvision.datasets.MNIST(root='./sample_data', download=True, transform=transforms.Compose([transforms.ToTensor()]))
test_loader = torch.utils.data.DataLoader(test_set, batch_size=24)

# 加载一批用于 XAI 评估的输入和输出数据。
x_batch, y_batch = next(iter(test_loader))
x_batch, y_batch = x_batch.cpu().numpy(), y_batch.cpu().numpy()

我们还需要一些解释来进行评估。在 Quantus 中，有两种方法可以实现这一点。您可以提供：

1. 一组重新计算的归因值 (np.ndarray)
2. 任意解释函数 (callable)，例如内置的 quantus.explain 方法，或者您自定义的函数

下面我们将展示这两种不同的选项。

使用预先计算的解释

Quantus 允许您评估已经预先计算好的解释，前提是这些解释与您在 x_batch 中提供的数据相匹配。假设您已经预先计算好了 显著性图 和 积分梯度 的解释。

在这种情况下，您可以直接将这些解释加载到对应的变量 a_batch_saliency 和 a_batch_intgrad 中：

a_batch_saliency = load("path/to/precomputed/saliency/explanations")
a_batch_intgrad = load("path/to/precomputed/intgrad/explanations")

另一种方法是直接使用现有的多种 XAI 框架来获取归因值，例如 Captum、 Zennit、 tf.explain， 或 iNNvestigate。以下代码示例展示了如何使用 Captum 获取解释（具体来说是 显著性图 和 积分梯度)：

import captum
from captum.attr import Saliency, IntegratedGradients

# 生成测试集中第一批样本的积分梯度归因值。
a_batch_saliency = Saliency(model).attribute(inputs=torch.tensor(x_batch, dtype=torch.float32), target=torch.tensor(y_batch, dtype=torch.int64), abs=True).sum(axis=1).cpu().cpu().numpy()
a_batch_intgrad = IntegratedGradients(model).attribute(inputs=torch.tensor(x_batch, dtype=torch.float32), target=torch.tensor(y_batch, dtype=torch.int64)).sum(axis=1).cpu().numpy()

快速断言。

assert [isinstance(obj, np.ndarray) for obj in [x_batch, y_batch, a_batch_saliency, a_batch_intgrad]]

#### 传递解释函数

如果你没有预先计算好的解释集合，而是希望传递一个任意的解释函数来使用 Quantus 进行评估，那么这也是可行的。

为此，你可以例如依赖内置的 `quantus.explain` 函数来开始，该函数包含了一些流行的解释方法（请运行 `quantus.available_methods()` 查看具体有哪些）。如何使用 `quantus.explain` 或你自定义的解释函数的示例将在下一节中给出。

<img class="center" width="500" alt="drawing"  src="https://oss.gittoolsai.com/images/understandable-machine-intelligence-lab_Quantus_readme_2cb44192d8d8.png"/>

如上图所示，从定性角度来看，这些解释可能显得相当难以理解——因为我们缺乏关于解释应呈现何种样式的地面真相，因此很难对可解释性证据得出结论。为了收集不同解释方法质量的定量证据，我们可以应用 Quantus。
</details>

<details>
<summary><b><big>步骤3. 使用 Quantus 进行评估</big></b></summary> 

Quantus 实现了来自不同类别的 XAI 评估指标，例如忠实性、局部性和鲁棒性等，它们都继承自基础的 `quantus.Metric` 类。要将某个指标应用于你的场景中（比如 [最大敏感性](https://arxiv.org/abs/1901.09392)），首先需要实例化它：

```python
metric = quantus.MaxSensitivity(nr_samples=10,
                                lower_bound=0.2,
                                norm_numerator=quantus.norm_func.fro_norm,
                                norm_denominator=quantus.norm_func.fro_norm,
                                similarity_func=quantus.difference,
                                abs=True,
                                normalise=True)

然后将其应用于你的模型、数据以及（预先计算的）解释：

scores = metric(
    model=model,
    x_batch=x_batch,
    y_batch=y_batch,
    a_batch=a_batch_saliency,
    device=device,
    explain_func=quantus.explain,
    explain_func_kwargs={"method": "Saliency"},
)

使用 quantus.explain

由于在进行鲁棒性评估时需要重新计算解释，因此在这个示例中，我们还将一个解释函数 (explain_func) 传递给指标调用。这里我们依赖内置的 quantus.explain 函数来重新计算解释。超参数通过 explain_func_kwargs 字典进行设置。有关如何使用 quantus.explain 的更多详细信息，请参阅 API 文档。

使用自定义函数

你也可以选择使用自己的自定义解释函数（假设它返回一个与输入 x_batch 形状匹配的 np.ndarray）。实现方式如下：

def your_own_callable(model, models, targets, **kwargs) -> np.ndarray
  """此处编写逻辑以计算归因，并返回与 x_batch 形状相同的解释（np.array），必要时可展平通道。"""
  return explanation(model, x_batch, y_batch)

scores = metric(
    model=model,
    x_batch=x_batch,
    y_batch=y_batch,
    device=device,
    explain_func=your_own_callable
)

运行大规模评估

Quantus 还提供了高级功能来支持大规模评估，例如同时评估多种 XAI 方法、通过多个指标进行多方面评估，或者两者的结合。要使用 quantus.evaluate()，你只需定义两件事：

1. 你希望用于评估的 指标（每个 __init__ 参数配置都被视为一个独立的指标）：

   metrics = {
       "max-sensitivity-10": quantus.MaxSensitivity(nr_samples=10),
       "max-sensitivity-20": quantus.MaxSensitivity(nr_samples=20),
       "region-perturbation": quantus.RegionPerturbation(),
   }
   

2. 你希望评估的 XAI 方法，例如一个包含预先计算好的归因的字典：

   xai_methods = {
       "Saliency": a_batch_saliency,
       "IntegratedGradients": a_batch_intgrad
   }
   

之后，你可以简单地运行大规模评估（结果会通过 np.mean 取平均值）：

import numpy as np
results = quantus.evaluate(
      metrics=metrics,
      xai_methods=xai_methods,
      agg_func=np.mean,
      model=model,
      x_batch=x_batch,
      y_batch=y_batch,
      **{"softmax": False,}
)