---

SHAP (SHapley Additive exPlanations) 是一种基于博弈论的方法，用于解释任何机器学习模型的输出。它通过使用经典的博弈论 Shapley 值及其相关扩展，将最优的信用分配与局部解释联系起来（详情和引用请参见 论文）。

安装

SHAP 可以从 PyPI 或 conda-forge 安装：

pip install shap
或
conda install -c conda-forge shap

支持的版本

SHAP 遵循 SPEC 0 对最低支持依赖版本的要求。我们会在该规范中指定的版本上进行测试，对于更旧的版本可能不会修复问题。

贡献

我们非常欢迎贡献。请随时提交 issue。在打开 PR 之前，请确保您已阅读我们的 CONTRIBUTING.md 指南。

树模型示例（XGBoost/LightGBM/CatBoost/scikit-learn/pyspark 模型）

虽然 SHAP 可以解释任何机器学习模型的输出，但我们为树集成方法开发了一种高速精确算法（详见我们的 Nature MI 论文）。针对 XGBoost、LightGBM、CatBoost、scikit-learn 和 pyspark 的树模型，提供了高效的 C++ 实现：

import xgboost
import shap

# 训练一个 XGBoost 模型
X, y = shap.datasets.california()
model = xgboost.XGBRegressor().fit(X, y)

# 使用 SHAP 解释模型的预测结果
# （相同语法适用于 LightGBM、CatBoost、scikit-learn、transformers、Spark 等）
explainer = shap.Explainer(model)
shap_values = explainer(X)

# 可视化第一个预测的解释
shap.plots.waterfall(shap_values[0])

上述解释展示了各个特征如何从基线值（我们所用训练数据集上的平均模型输出）推动模型输出的变化。使预测结果增高的特征用红色表示，降低预测结果的特征用蓝色表示。另一种可视化方式是使用力图（这些在我们的 Nature BME 论文 中介绍）：

# 使用力图可视化第一个预测的解释
shap.plots.force(shap_values[0])

如果我们收集许多像上面这样的力图，将其旋转 90 度并水平堆叠，就可以看到整个数据集的解释（在笔记本中，此图是交互式的）：

# 可视化所有训练集样本的预测
shap.plots.force(shap_values[:500])

为了理解单个特征对模型输出的影响，我们可以绘制该特性的 SHAP 值与其在数据集中所有样本取值之间的关系图。由于 SHAP 值代表了某个特征对模型输出变化的责任，下图展示了随着纬度变化，预测房价的变化情况。在某一特定纬度上的垂直分散，反映了该特征与其他特征的交互效应。为了更好地揭示这些交互作用，我们可以按另一个特征着色。如果我们将整个解释张量传递给 color 参数，散点图会自动选择最佳的着色特征，在本例中选择了经度。

# 创建依赖散点图，展示单个特征在整个数据集中的影响
shap.plots.scatter(shap_values[:, "Latitude"], color=shap_values)

要了解哪些特征对模型最重要，可以绘制每个样本中每个特征的 SHAP 值。下图按照所有样本中 SHAP 值绝对值之和对特征进行排序，并利用 SHAP 值展示每个特征对模型输出影响的分布情况。颜色表示特征的取值（红色较高，蓝色较低）。这表明例如，较高的家庭收入中位数会提高预测房价。

# 总结所有特征的影响
shap.plots.beeswarm(shap_values)

我们也可以只计算每个特征 SHAP 值的平均绝对值，得到标准的条形图（对于多分类输出会产生堆叠条形图）：

shap.plots.bar(shap_values)

自然语言示例（transformers）

SHAP 对自然语言处理模型有专门的支持，例如 Hugging Face transformers 库中的模型。通过在传统 Shapley 值的基础上加入联盟规则，我们可以构建游戏来解释大型现代 NLP 模型，而只需极少的函数评估次数。使用这一功能非常简单，只需将受支持的 transformers 流水线模型传递给 SHAP 即可：

import transformers
import shap

# 加载一个 transformers 流水线模型
model = transformers.pipeline('sentiment-analysis', return_all_scores=True)

# 对两个样本输入进行模型解释
explainer = shap.Explainer(model)
shap_values = explainer(["多好的电影啊！……如果你没有品味的话。"])

# 可视化第一个预测中 POSITIVE 输出类别的解释
shap.plots.text(shap_values[0, :, "POSITIVE"])

基于 DeepExplainer 的深度学习示例（TensorFlow/Keras 模型）

Deep SHAP 是一种用于深度学习模型中 SHAP 值的高速近似算法，它基于 SHAP NIPS 论文中描述的与 DeepLIFT 之间的联系。此处的实现与原始 DeepLIFT 不同，它使用背景样本的分布代替单个参考值，并利用 Shapley 方程对诸如最大值、softmax、乘法、除法等操作进行线性化处理。需要注意的是，其中一些改进后来也被整合到了 DeepLIFT 中。该实现支持 TensorFlow 模型以及使用 TensorFlow 后端的 Keras 模型（同时也有对 PyTorch 的初步支持）：

# ...包含来自 https://github.com/keras-team/keras/blob/master/examples/demo_mnist_convnet.py 的代码

import shap
import numpy as np

# 选择一组背景样本以计算期望值
background = x_train[np.random.choice(x_train.shape[0], 100, replace=False)]

# 解释模型在四张图像上的预测结果
e = shap.DeepExplainer(model, background)
# 或者直接传递张量
# e = shap.DeepExplainer((model.layers[0].input, model.layers[-1].output), background)
shap_values = e.shap_values(x_test[1:5])

# 绘制特征归因图
shap.image_plot(shap_values, -x_test[1:5])

上图解释了四张不同图像的十个输出（数字 0–9）。红色像素会增加模型的输出，而蓝色像素则会降低输出。输入图像显示在左侧，作为每个解释背后的近乎透明的灰度背景。SHAP 值之和等于模型期望输出（基于背景数据集的平均值）与当前模型输出之间的差值。请注意，对于“零”图像，中间的空白区域非常重要；而对于“四”图像，顶部缺少连接使得它成为“四”而不是“九”。

基于 GradientExplainer 的深度学习示例（TensorFlow/Keras/PyTorch 模型）

期望梯度将 Integrated Gradients、SHAP 和 SmoothGrad 的思想结合成一个单一的期望值方程。这允许将整个数据集用作背景分布（而非单个参考值），并实现局部平滑化。如果我们假设在每个背景数据样本与当前待解释的输入之间用线性函数近似模型，并且假定输入特征相互独立，则期望梯度可以计算出近似的 SHAP 值。在下面的例子中，我们解释了 VGG16 ImageNet 模型的第 7 层中间层如何影响输出概率。

from keras.applications.vgg16 import VGG16
from keras.applications.vgg16 import preprocess_input
import keras.backend as K
import numpy as np
import json
import shap

# 加载预训练模型并选择两张图像进行解释
model = VGG16(weights='imagenet', include_top=True)
X,y = shap.datasets.imagenet50()
to_explain = X[[39,41]]

# 加载 ImageNet 类别名称
url = "https://s3.amazonaws.com/deep-learning-models/image-models/imagenet_class_index.json"
fname = shap.datasets.cache(url)
with open(fname) as f:
    class_names = json.load(f)

# 解释模型第 7 层的输入如何影响前两个类别
def map2layer(x, layer):
    feed_dict = dict(zip([model.layers[0].input], [preprocess_input(x.copy())]))
    return K.get_session().run(model.layers[layer].input, feed_dict)
e = shap.GradientExplainer(
    (model.layers[7].input, model.layers[-1].output),
    map2layer(X, 7),
    local_smoothing=0 # 平滑噪声的标准差
)
shap_values,indexes = e.shap_values(map2layer(to_explain, 7), ranked_outputs=2)

# 获取类别的名称
index_names = np.vectorize(lambda x: class_names[str(x)][1])(indexes)

# 绘制解释图
shap.image_plot(shap_values, to_explain, index_names)

上图解释了两张输入图像的预测结果。红色像素表示正的 SHAP 值，会增加相应类别的概率；而蓝色像素则表示负的 SHAP 值，会降低该类别的概率。通过设置 ranked_outputs=2，我们只解释了每张输入中最可能的两个类别（这样就无需解释全部 1,000 个类别）。

基于 KernelExplainer 的模型无关示例（可解释任意函数）

Kernel SHAP 使用加权局部线性回归来估计任何模型的 SHAP 值。以下是一个简单的例子，用于解释经典鸢尾花数据集上的多分类 SVM 模型。

import sklearn
import shap
from sklearn.model_selection import train_test_split

# 在笔记本中打印 JS 可视化代码
shap.initjs()

# 训练一个 SVM 分类器
X_train,X_test,Y_train,Y_test = train_test_split(*shap.datasets.iris(), test_size=0.2, random_state=0)
svm = sklearn.svm.SVC(kernel='rbf', probability=True)
svm.fit(X_train, Y_train)

# 使用 Kernel SHAP 解释测试集的预测结果
explainer = shap.KernelExplainer(svm.predict_proba, X_train, link="logit")
shap_values = explainer.shap_values(X_test, nsamples=100)

# 绘制第一个实例 Setosa 输出的 SHAP 值
shap.force_plot(explainer.expected_value[0], shap_values[0][0,:], X_test.iloc[0,:], link="logit")

上述解释展示了四个特征各自如何推动模型输出从基准值（我们所传入的训练数据集上的平均模型输出）向零方向移动。如果有任何特征使类别标签更高，它们将以红色显示。

如果我们收集许多像上面这样的解释，将其旋转 90 度，然后水平堆叠起来，就可以看到整个数据集的解释。这正是我们在下面对鸢尾花测试集中所有样本所做的操作：

# 绘制所有实例 Setosa 输出的 SHAP 值
shap.force_plot(explainer.expected_value[0], shap_values[0], X_test, link="logit")

SHAP 交互值

SHAP 交互值是 SHAP 值在高阶交互作用上的推广。对于树模型，我们可以通过 shap.TreeExplainer(model).shap_interaction_values(X) 快速精确地计算两两交互作用。该方法会为每个预测返回一个矩阵，其中主效应位于对角线上，而交互效应则位于非对角线上。这些值通常能揭示出一些有趣的隐藏关系，例如男性死亡风险在60岁时达到峰值（详情请参阅 NHANES 笔记本）：

示例笔记本

以下笔记本展示了 SHAP 的不同使用场景。如果您想亲自尝试运行原始笔记本，请查看仓库中的 notebooks 目录。

TreeExplainer

Tree SHAP 是一种快速且精确的算法，用于计算树模型及树集成的 SHAP 值。

• NHANES 生存模型：XGBoost 与 SHAP 交互值 - 本笔记本基于20年随访的死亡率数据，演示如何结合 XGBoost 和 shap 揭示复杂的危险因素关系。

• Census 收入分类：LightGBM - 使用标准的成人人口普查收入数据集，本笔记本首先用 LightGBM 训练梯度提升树模型，随后利用 shap 解释预测结果。

• 英雄联盟胜率预测：XGBoost - 基于 Kaggle 上包含18万场英雄联盟排位赛的数据集，本笔记本训练并解释了一个使用 XGBoost 的梯度提升树模型，以预测玩家是否能够赢得比赛。

DeepExplainer

Deep SHAP 是一种更快但仅近似的算法，用于计算深度学习模型的 SHAP 值。它基于 SHAP 与 DeepLIFT 算法之间的联系。

• MNIST 数字分类：Keras - 利用 MNIST 手写数字识别数据集，本笔记本首先用 Keras 训练神经网络，然后使用 shap 解释预测结果。

• IMDB 情感分类：Keras LSTM - 本笔记本使用 Keras 在 IMDB 文本情感分析数据集上训练 LSTM 模型，并通过 shap 解释预测结果。

GradientExplainer

GradientExplainer 实现了期望梯度方法，用于近似计算深度学习模型的 SHAP 值。它基于 SHAP 与积分梯度算法之间的联系。相比 DeepExplainer，GradientExplainer 的速度较慢，且其近似假设也有所不同。

• VGG16 中间层在 ImageNet 上的解释 - 本笔记本演示如何使用内部卷积层来解释预训练 VGG16 ImageNet 模型的输出。

LinearExplainer

对于具有独立特征的线性模型，我们可以解析地计算出精确的 SHAP 值。如果我们愿意估计特征协方差矩阵，也可以考虑特征之间的相关性。LinearExplainer 同时支持这两种方式。

• 情感分析：逻辑回归 - 本笔记本演示如何解释一个线性逻辑回归情感分析模型。

KernelExplainer

Kernel SHAP 是一种模型无关的方法，可用于估算任何模型的 SHAP 值。由于它不依赖于模型类型，因此 KernelExplainer 的速度比其他特定于模型类型的算法要慢。

• Census 收入分类：scikit-learn - 使用标准的成人人口普查收入数据集，本笔记本首先用 scikit-learn 训练 k 最近邻分类器，然后利用 shap 解释预测结果。

• ImageNet VGG16 模型：Keras - 解释经典的 VGG16 卷积神经网络对图像的预测结果。此过程采用模型无关的 Kernel SHAP 方法，并结合超像素分割技术进行分析。

• 鸢尾花分类 - 这是一个基础示例，使用流行的鸢尾花物种数据集，通过 shap 解释 scikit-learn 中六种不同模型的预测结果。

文档笔记本

这些笔记本全面展示了如何使用特定的函数和对象。

• shap.decision_plot 和 shap.multioutput_decision_plot

• shap.dependence_plot

由 SHAP 统一的方法

1. LIME: Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "Why should i trust you?: Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2016.

2. Shapley sampling values: Strumbelj, Erik, and Igor Kononenko. "Explaining prediction models and individual predictions with feature contributions." Knowledge and information systems 41.3 (2014): 647-665.

3. DeepLIFT: Shrikumar, Avanti, Peyton Greenside, and Anshul Kundaje. "Learning important features through propagating activation differences." arXiv preprint arXiv:1704.02685 (2017).

4. QII: Datta, Anupam, Shayak Sen, and Yair Zick. "Algorithmic transparency via quantitative input influence: Theory and experiments with learning systems." Security and Privacy (SP), 2016 IEEE Symposium on. IEEE, 2016.

5. Layer-wise relevance propagation: Bach, Sebastian, et al. "On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation." PloS one 10.7 (2015): e0130140.

6. Shapley regression values: Lipovetsky, Stan, and Michael Conklin. "Analysis of regression in game theory approach." Applied Stochastic Models in Business and Industry 17.4 (2001): 319-330.

7. Tree interpreter: Saabas, Ando. Interpreting random forests. http://blog.datadive.net/interpreting-random-forests/

引用

本包中使用的算法和可视化主要源自于华盛顿大学Su-In Lee 实验室以及微软研究院的研究成果。如果您在研究中使用 SHAP，我们诚挚地希望您能引用相应的论文：

• 对于 SHAP 的通用使用，您可以阅读并引用我们的 NeurIPS 论文（BibTeX）。
• 对于 TreeExplainer，您可以阅读并引用我们的 Nature Machine Intelligence 论文（BibTeX；免费获取）。
• 对于 GPUTreeExplainer，您可以阅读并引用 这篇文章。
• 对于 force_plot 可视化及医疗应用，您可以阅读并引用我们的 Nature Biomedical Engineering 论文（BibTeX；免费获取）。

SHAP 快速上手指南

SHAP (SHapley Additive exPlanations) 是一种基于博弈论的方法，用于解释任何机器学习模型的输出。它通过计算 Shapley 值，将最优信用分配与局部解释相结合，帮助用户理解特征如何影响模型预测。

环境准备

• 操作系统：Windows, macOS, Linux
• Python 版本：支持 Python 3.7+（具体版本请参考 SPEC 0）
• 前置依赖：
  • 基础使用无需特殊依赖。
  • 若需解释特定模型，请预先安装对应库（如 xgboost, lightgbm, catboost, scikit-learn, transformers, tensorflow 或 torch）。

安装步骤

推荐使用国内镜像源加速安装。

方式一：使用 pip 安装

pip install shap -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 conda 安装

conda install -c conda-forge shap

注：conda-forge 源通常在全球范围内同步，国内用户若连接缓慢可尝试配置清华或中科大 conda 镜像源。

基本使用

以下示例展示如何使用 SHAP 解释一个 XGBoost 回归模型。该流程同样适用于 LightGBM、CatBoost、scikit-learn 等树模型。

1. 训练模型并生成解释

import xgboost
import shap

# 加载示例数据集 (加州房价)
X, y = shap.datasets.california()

# 训练 XGBoost 模型
model = xgboost.XGBRegressor().fit(X, y)

# 创建解释器并计算 SHAP 值
# 此语法同样适用于 LightGBM, CatBoost, scikit-learn 等
explainer = shap.Explainer(model)
shap_values = explainer(X)

2. 可视化解释结果

瀑布图 (Waterfall Plot)：展示单个样本的预测值是如何从基准值（平均预测值）被各个特征推高或拉低的。红色表示推高预测值，蓝色表示降低预测值。

# 可视化第一个样本的解释
shap.plots.waterfall(shap_values[0])

蜂群图 (Beeswarm Plot)：全局概览，展示所有样本中每个特征的重要性及其对模型输出的影响分布。颜色代表特征值大小（红高蓝低）。

# 总结所有特征的影响
shap.plots.beeswarm(shap_values)

条形图 (Bar Plot)：按特征重要性排序的标准条形图。

# 生成特征重要性条形图
shap.plots.bar(shap_values)

提示：对于深度学习模型（TensorFlow/PyTorch），可使用 shap.DeepExplainer 或 shap.GradientExplainer；对于自然语言处理模型（Transformers），可直接传入 pipeline 对象进行解释。