DeepExplain：深度学习的归因方法

DeepExplain 提供了一个统一的框架，用于实现最先进的基于梯度和基于扰动的归因方法。研究人员和从业者可以使用它来更好地理解现有的推荐模型，也可以用来对其他归因方法进行基准测试。

它支持 TensorFlow 以及使用 TensorFlow 作为后端的 Keras。目前仅支持 TensorFlow V1。对于 V2，有一个开放的拉取请求，只要禁用急切执行模式即可正常工作。

实现了以下方法：

基于梯度的归因方法

• 显著性图
• 梯度乘以输入
• 积分梯度
• DeepLIFT，采用其第一种变体中的 Rescale 规则 (*)
• ε-LRP (*)

标有 (*) 的方法是按照改进的链式法则实现的，这一点在 Towards better understanding of gradient-based attribution methods for Deep Neural Networks 中有更详细的解释，作者为 Ancona 等人，发表于 ICLR 2018。因此，结果可能与原始实现略有不同。

基于扰动的归因方法

• 遮挡法，作为 Zeiler 等人提出的灰盒方法的扩展版本 (arXiv:1311.2901)。
• Shapley 值采样法

什么是归因？

考虑一个神经网络及其特定的输入（例如，如果该网络用于图像分类，则输入可能是一张图像）。输入是多维的，由多个特征组成。对于图像而言，每个像素都可以被视为一个特征。归因方法的目标是针对感兴趣的某个目标神经元（比如对应正确类别的神经元激活），为每个输入特征确定一个实数值 R(x_i)。

当所有输入特征的归因值组合在一起，形成与输入样本相同形状时，我们就称之为 归因图（如下面的图片所示），其中红色和蓝色分别表示对目标输出激活有正向贡献的特征以及对其具有抑制作用的特征。

这有助于更好地理解网络的行为、哪些特征对输出贡献最大，以及可能导致误分类的原因。

DeepExplain 快速入门

安装

pip install -e git+https://github.com/marcoancona/DeepExplain.git#egg=deepexplain

请注意，DeepExplain 假设您已经安装了 TensorFlow > 1.0 和（可选）Keras > 2.0。

使用

TensorFlow 和 Keras 的示例代码可以在仓库的 example 文件夹中找到。DeepExplain 包含一个单一的方法：explain(method_name, target_tensor, input_tensor, samples, ...args)。

参数名称	简称	类型	描述
method_name		字符串，必填	要运行的方法名称（参见 应该使用哪种方法？）。
target_tensor	T	张量，必填	表示所求归因的模型输出的 TensorFlow 张量对象（参见 要针对哪个张量？）。
input_tensor	X	张量，必填	网络的符号化输入。
input_data	xs	NumPy 数组，必填	将被馈送到 X 并为其计算归因的输入样本批次。请注意，第一个维度必须始终是批次大小。
target_weights	ys	NumPy 数组，可选	如果 T 有多个输出，则应用于 T 的权重批次。通常在分类问题中需要针对特定的输出单元生成解释时才会用到。在这种情况下，ys 可以提供所需单元的独热编码。
batch_size		整数，可选	默认情况下，DeepExplain 会尝试同时使用 xs 中的所有数据来评估模型。如果 xs 包含大量样本，可能需要将处理分成多个批次。此时，提供一个大于零的 batch_size 将自动把评估拆分为指定大小的块。
...args		各种类型，可选	方法特定的参数（见下文）。

explain 方法必须在 DeepExplain 上下文中调用：

# 伪代码
from deepexplain.tensorflow import DeepExplain

# 选项 1. 在 DeepExplain 上下文中创建并训练您的模型

with DeepExplain(session=...) as de:  # < 进入 DeepExplain 上下文
    model = init_model()  # < 构建模型
    model.fit()           # < 训练模型

    attributions = de.explain(...)  # < 计算归因

# 选项 2. 先创建并训练您的模型，再应用 DeepExplain。
# 重要提示：为了正确工作，待分析的图必须始终在上下文中重新构建！

model = init_model()  # < 构建模型
model.fit()           # < 训练模型

with DeepExplain(session=...) as de:  # < 进入 DeepExplain 上下文
    new_model = init_model()  # < 假设 init_model() 返回一个带有 original model 权重的新模型
    attributions = de.explain(...)  # < 计算归因

初始化上下文时，请务必传递 session 参数：

# 使用 TensorFlow
import tensorflow as tf
# ...构建模型
sess = tf.Session()
# ... 如有必要，使用会话训练您的模型
with DeepExplain(session=sess) as de:
    ...

# 使用 Keras
import keras
from keras import backend as K

model = Sequential()  # 功能 API 也支持
# ... 构建模型并训练

with DeepExplain(session=K.get_session()) as de:
    ...

具体示例请参见 这里。

应该使用哪种方法？

DeepExplain 支持多种方法。主要的划分是基于 梯度的方法 和 扰动的方法。前者速度更快，因为它们只需通过网络进行几次前向和反向传播迭代即可估计特征重要性。后者则通过对输入进行扰动，并测量输出相对于原始输入的变化来实现。这种方法需要依次测试每个特征（或一组特征），因此耗时较长，但通常能产生更平滑的结果。

合作博弈论提出 Shapley 值 是一种独特的方式来分配特征的重要性，以满足一些重要的理论性质。遗憾的是，精确计算 Shapley 值的成本极高，因此 DeepExplain 提供了一种基于采样的近似方法。通过调整 samples 参数，可以权衡性能与误差之间的关系。需要注意的是，即使如此，该方法仍然会比本库中的其他方法慢得多。

某些方法允许调整参数。请参见下表。

方法	method_name	可选参数	备注
显著性图	saliency		[梯度] 仅输出正向重要性。
梯度乘以输入	grad*input		[梯度] 快速。可能受噪声梯度和非线性饱和的影响。
积分梯度	intgrad	steps, baseline	[梯度] 类似于梯度乘以输入，但在网络中执行 steps 次迭代（默认：100次），将输入从 baseline（默认：零）逐步变化到实际提供的样本。如果提供 baseline，它必须是一个与输入大小相同的 NumPy 数组（但没有批次维度，因为同一个基准值将用于批次中的所有输入）。
epsilon-LRP	elrp	epsilon	[梯度] 计算逐层相关性传播。仅推荐用于具有 ReLU 或 Tanh 非线性激活函数的网络。epsilon 的值必须大于零（默认：0.0001）。
DeepLIFT（缩放）	deeplift	baseline	[梯度] 在大多数情况下，它是积分梯度的一种更快近似方法。不适用于包含乘法单元的网络（如 LSTM 或 GRU）。如果提供 baseline，它必须是一个与输入大小相同、不含批次维度的 NumPy 数组（默认：零）。
遮挡	occlusion	window_shape, step	[扰动] 对输入数组进行滑动窗口视图处理，将每个窗口替换为零值，从而测量扰动对目标输出的影响。可选参数 window_shape 和 step 的行为与 skimage 中的用法一致。默认情况下，每个特征独立测试（window_shape=1 和 step=1），但对于大型输入（如 ImageNet 图像）来说，这可能会非常缓慢。当输入具有局部连贯性时（例如图像），建议使用较大的 window_shape 值。在这种情况下，每个窗口内特征的重要性将被汇总。请注意，不同的窗口大小可能会导致结果有显著差异。
Shapley 值采样	shapley_sampling	samples, sampling_dims	[扰动] 通过对每个输入特征进行 samples 次采样来计算近似的 Shapley 值。需要注意的是，由于该方法会运行网络 samples*n 次，其中 n 是输入特征的数量，因此它可能比其他所有方法都慢得多。参数 sampling_dims（一个整数列表）可用于选择要采样的维度。例如，如果输入是 RGB 图像，sampling_dims=[1,2] 将分别考虑三个颜色通道来采样像素；而 sampling_dims=[1,2,3]（默认）则会在通道维度上也进行采样。

应该针对哪个神经元？

一般来说，任何表示隐藏层或输出层神经元激活的张量都可以作为 target_tensor 使用。如果你的网络执行分类任务（即每个可能的类别对应一个输出神经元），你可能希望针对给定样本的 正确类别 所对应的神经元，这样特征重要性图可以帮助你理解该神经元为何会（或不会）被激活。不过，你也可以针对其他类别的激活情况，比如那些经常被误分类的类别，从而深入了解哪些特征会激活该类别。

重要提示：TensorFlow 和 Keras 中的张量通常包含某一层中 所有 神经元的激活值。如果你将这样的张量传递给 explain，你将得到该张量所指代的所有神经元的 总和 特征重要性图。如果你想针对特定神经元，你需要要么切片出你感兴趣的组件，要么将其与只选择目标神经元的二值掩码相乘。

# MNIST 示例（分类任务，10 个输出类别）
X = Placeholder(...)  # 输入张量
T = model(X) # 输出层，形状为 (1, 10) 的二维张量，第一维为批次大小
ys = [[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]]  # 形状为 (1, 10) 的独热编码标签数组

# 我们只需要针对 T 中的 10 个输出单元中的一个
# 方法 1（推荐）：使用 ys 参数
de.explain('method_name', T, X, xs, ys=ys)

# 方法 2：手动掩码目标。此方法不适用于批处理。
T *=  ys # < 掩码后的目标张量：只有 logits 的第二个分量会被用于计算重要性
de.explain('method_name', T, X, xs)

Softmax：如果网络的最后一层激活是 Softmax，则建议针对该归一化 之前 的激活值。

性能：Explainer API

如果你需要多次调用 explain()（例如，随着时间推移不断有新数据需要使用同一模型进行处理），建议使用 Explainer API。该 API 提供了一种方式，可以先 编译 生成解释所需的图操作，然后再在两个不同的步骤中 评估 这个图。

在 DeepExplain 上下文中（de），调用 de.get_explainer()。该方法接受与 explain() 相同的参数，但不包括 xs、ys 和 batch_size。它返回一个解释器对象（explainer），该对象提供一个 run() 方法。调用 explainer.run(xs, [ys], [batch_size]) 即可生成解释。多次调用 run() 不会导致计算图中新增操作。

# 普通 API：

for i in range(100):
    # 下面这行代码会随着每次迭代向计算图中添加新操作而越来越慢
    attributions = de.explain('saliency', T, X, xs[i], ys=ys[i], batch_size=3)
    
 # 改用 Explainer API：
 
 # 首先创建一个解释器
 explainer = de.get_explainer('saliency', T, X)
 for i in range(100):
    # 然后为一些数据生成解释，而不会降低速度
    attributions = explainer.run(xs[i], ys=ys[i], batch_size=3)  

NLP / 嵌入查找

ValueError("None values not supported.") 的最常见原因是调用 run() 时，tensor_input 和 target_tensor 在反向传播中被断开了连接。这种情况在使用嵌入查找层时很常见，因为查找操作不会传播梯度。为了为 NLP 模型生成归因，DeepExplain 的输入应当是嵌入查找的结果，而不是原始模型输入。然后，通过沿结果归因矩阵的相应维度求和，即可得到每个词的归因值。

TensorFlow 伪代码：

input_x = graph.get_operation_by_name("input_x").outputs[0]
# 获取嵌入张量的引用
embedding = graph.get_operation_by_name("embedding").outputs[0]
pre_softmax = graph.get_operation_by_name("output/scores").outputs[0]

# 在模型输入上评估嵌入张量（即执行查找操作）
embedding_out = sess.run(embedding, {input_x: x_test})
# 使用嵌入作为输入运行 DeepExplain
attributions = de.explain('elrp', pre_softmax * y_test_logits, embedding, embedding_out)

多个输入

基于梯度的方法支持具有多个输入的模型。然而，Occlusion 方法如果应用于具有多个输入的模型，则会抛出异常（因为对于多个输入如何生成扰动实际上并没有明确的定义）。

有关最小化（玩具）示例，请参阅 示例文件夹。

贡献

DeepExplain 目前仍在积极开发中。如果您遇到问题，欢迎随时提交 issue。我们非常欢迎对本框架功能进行扩展以及添加对其他方法支持的贡献。

许可证

MIT

DeepExplain 快速上手指南

DeepExplain 是一个为深度学习模型提供统一归因（Attribution）方法的框架，支持基于梯度和基于扰动的多种主流算法（如 Saliency Maps, Integrated Gradients, DeepLIFT, Occlusion 等），帮助开发者理解模型决策依据及错误分类原因。

注意：本项目目前主要支持 TensorFlow V1。若需在 TensorFlow V2 中使用，必须禁用 eager execution（即 tf.compat.v1.disable_eager_execution()）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.6 - 3.8
• 核心依赖：
  • TensorFlow > 1.0 (必须)
  • Keras > 2.0 (可选，需使用 TensorFlow 后端)
  • numpy

国内加速建议： 安装依赖时建议使用国内镜像源以提升下载速度。

pip install tensorflow==1.15.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 如需 Keras
pip install keras -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

使用 pip 直接从 GitHub 源码安装 DeepExplain：

pip install -e git+https://github.com/marcoancona/DeepExplain.git#egg=deepexplain -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

DeepExplain 的核心是通过上下文管理器 DeepExplain 包裹模型构建或加载过程，并调用 explain 方法计算归因图。

1. 导入与上下文设置

无论使用原生 TensorFlow 还是 Keras，都必须将 Session 传入上下文。

TensorFlow 示例：

import tensorflow as tf
from deepexplain.tensorflow import DeepExplain

# 构建模型逻辑...
sess = tf.Session()

with DeepExplain(session=sess) as de:
    # 在此上下文中构建或重新构建模型图
    # model = init_model() 
    # attributions = de.explain(...)
    pass

Keras 示例：

import keras
from keras import backend as K
from deepexplain.tensorflow import DeepExplain

model = keras.models.Sequential()
# ... 构建并训练模型

# 获取 Keras 背后的 TF Session
with DeepExplain(session=K.get_session()) as de:
    # 在此上下文中重新构建具有相同权重的模型
    # new_model = init_model()
    # attributions = de.explain(...)
    pass

2. 计算归因 (Explain)

explain 方法是核心接口，用于生成归因图。

参数说明：

• method_name: 方法名称 (如 'saliency', 'intgrad', 'occlusion')。
• target_tensor (T): 目标输出张量（通常是模型输出层）。
• input_tensor (X): 输入占位符张量。
• input_data (xs): 实际的输入数据 (numpy array)。
• target_weights (ys): (可选) 目标权重，常用于多分类任务中指定特定类别的 one-hot 编码。

完整最小化示例：

import tensorflow as tf
import numpy as np
from deepexplain.tensorflow import DeepExplain

# 模拟数据
xs = np.random.rand(1, 28, 28, 1)  # 输入样本 (batch_size=1)
ys = [[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]] # 目标类别 one-hot 编码

with tf.Graph().as_default():
    sess = tf.Session()
    
    # 定义简单的输入和输出占位符
    X = tf.placeholder(tf.float32, (None, 28, 28, 1))
    # 假设 T 是模型输出 logits
    T = tf.reduce_sum(X, axis=[1, 2, 3]) 

    with DeepExplain(session=sess) as de:
        # 选择方法：'intgrad' (Integrated Gradients)
        # steps: 积分步数，baseline: 基线输入
        attributions = de.explain('intgrad', T, X, xs, ys=ys, steps=100, baseline=np.zeros_like(xs))

        print("Attributions shape:", attributions.shape)
        # attributions 即为与原输入形状相同的归因热力图数据

3. 常用方法速查

方法类型	方法名 (method_name)	特点	推荐场景
基于梯度	saliency	仅正归因，速度快	快速查看显著区域
	grad*input	速度快，可能受噪声影响	通用快速分析
	intgrad	效果稳定，需设置 steps	推荐，高精度归因
	deeplift	速度快，近似 Integrated Gradients	大规模数据快速推理
基于扰动	occlusion	滑动窗口遮挡，速度慢但平滑	验证局部特征重要性
	shapley_sampling	理论最严谨，速度极慢	小尺寸输入的高精度分析

提示：对于分类任务，如果最后一层是 Softmax，建议将 target_tensor 指向 Softmax 之前 的 logits 层以获得更准确的归因结果。