使用 Python 进行负责任的机器学习

训练可解释机器学习（ML）模型、解释 ML 模型以及针对准确性、歧视性和安全性调试 ML 模型的技术示例。

概述

随着经济的更大范围采用自动化和数据驱动决策，人工智能（AI）和 ML 模型的使用很可能会变得更加普遍。尽管这些预测系统可能非常准确，但它们往往被视为难以理解且无法申诉的黑箱，只产生数值预测而没有相应的解释。不幸的是，近期的研究和事件已经引起了人们对一些知名弱 AI 和 ML 系统中数学及社会学缺陷的关注，然而从业者通常缺乏合适的工具来深入分析并调试这些 ML 模型。本系列笔记本介绍了几种能够提高 ML 模型透明度、可问责性及可信度的方法。如果你是一名数据科学家或分析师，希望训练出准确且可解释的 ML 模型、向客户或管理层解释 ML 模型、测试这些模型是否存在安全漏洞或社会歧视问题，或者对文档记录、验证和监管要求有所顾虑，那么这套 Jupyter 笔记本就非常适合你！（但请不要将这些笔记本或相关材料视为法律合规建议。）

这些笔记本重点介绍了以下技术：

• 单调 XGBoost 模型、部分依赖图、个体条件期望图和 Shapley 解释
• 决策树代理模型、原因代码以及解释集合
• 差异影响分析
• LIME
• 敏感性分析和残差分析
  • 用于模型调试的高级敏感性分析
  • 用于模型调试的高级残差分析
• 基于交叉验证排名的详细模型比较与选择

这些笔记本可以通过以下方式访问：

• H2O Aquarium（推荐）
• Virtualenv（高级）
• Docker 容器（高级）
• 手动安装（高级）

延伸阅读：

• 机器学习：公平透明地扩大信贷获取渠道的考量
• 以可解释模型、事后解释和歧视检测为重点的责任型机器学习工作流
• 机器学习可解释性入门（第二版）
• 关于可解释机器学习的艺术与科学
• 关于模型脆弱性和安全性的建议
• 可解释机器学习负责任使用指南草案
• 模型调试的实战策略
• 警示信号：机器学习时代的安全与隐私
• 为什么你应该关注机器学习模型的调试

---

使用 Python 和 XGBoost 提升机器学习模型透明度 - 笔记本

单调性约束可以将不透明、复杂的模型转变为透明且可能获得监管部门批准的模型，方法是确保对于任何输入变量的变化，预测结果只会增加或只会减少。在本笔记本中，我将演示如何在流行的开源梯度提升库 XGBoost 中使用单调性约束，在 UCI 信用卡违约数据集上训练一个可解释且准确的非线性分类器。

一旦我们训练好了一个单调的 XGBoost 模型，我们将使用部分依赖图和个体条件期望（ICE）图来探究模型的内部机制，并验证其单调行为。部分依赖图展示了机器学习响应函数如何根据一两个感兴趣的输入变量的取值而变化，同时平均掉了其他所有输入变量的影响。ICE 图则可以用来更局部地描述模型的预测结果，而且 ICE 图与部分依赖图相辅相成。此外，还展示了一个从高精度 Shapley 解释中生成监管部门要求的原因代码的例子，适用于任何模型预测。单调 XGBoost、部分依赖图、ICE 图和 Shapley 解释的结合，很可能是当今创建可解释机器学习模型最直接的方式之一。

使用 Python 提升机器学习项目的透明度和可解释性——Notebook

梯度提升机（GBM）及其他复杂机器学习模型是广受欢迎且精准的预测工具，但其决策过程往往难以理解。通过代理模型、特征重要性和原因代码，我们可以更好地解释这些模型并提高其透明度。在本笔记本中，我们将基于 UCI 信用卡违约数据训练一个 GBM 模型，随后使用原始输入及 GBM 的预测结果来训练一棵决策树代理模型。通过分析代理模型所展示的变量重要性和交互作用，我们可以获得该复杂模型预测的整体近似流程图。此外，我们还将评估 GBM 的全局特征重要性，并将其与代理模型、领域专业知识以及合理预期进行对比。

为了更深入地了解复杂模型的局部行为并增强其预测的可解释性，我们将采用一种变体的“逐协变量剔除法”（LOCO）。LOCO 能够计算每个输入变量对单个模型预测的局部贡献。接着，我们根据这些局部贡献进行排序，生成原因代码，用通俗易懂的语言描述模型针对每条样本的决策过程。

使用 Python 和 H2O 进行差异影响分析，提升机器学习项目的公平性——Notebook

公平性是一个极其重要但又极为复杂的概念，以至于学界至今仍未就其严格定义达成共识。然而，我们仍有一种实用的方法来讨论和衡量观察层面的公平性，即你的模型预测如何影响不同人群。这种方法通常被称为差异影响分析（DIA）。尽管 DIA 并不完美——它高度依赖用户设定的阈值和参照水平来衡量差异，且无法直接解决或揭示差异来源——但它确实是一种相对简单直观的方式，用于量化模型在敏感人口统计子群体或其他感兴趣观测组中的表现差异。在美国金融服务行业中，某些类型的 DIA 已被认可为符合监管要求的公平信贷工具。既然连数十亿美元规模的信贷组合都能接受，那么你的项目也完全可以采用这种方法。

本示例 DIA 笔记本首先利用流行的开源库 h2o，在 UCI 信用卡违约数据上训练一个单调递增的梯度提升机分类器。我们通过最大化 F1 分数来确定信用决策的概率阈值，并生成混淆矩阵以总结 GBM 在男性和女性群体上的决策情况。随后，我们将基于混淆矩阵中的信息以及一些传统的公平信贷指标，执行基本的差异影响分析流程。

使用 LIME 和 Python、H2O 向业务相关方解释你的预测模型——Notebook

机器学习能够构建出非常精确的预测模型，但这些模型往往难以向你的上司、客户甚至监管部门解释清楚。本笔记本将借助 LIME（局部可解释的模型无关解释）方法，提升基于 UCI 信用卡违约数据训练的复杂 GBM 模型的透明度和可解释性。LIME 是一种为数据集中的局部区域（通常是单个样本）构建线性代理模型的技术。它能够揭示模型预测的形成机制，并针对特定样本描述其局部运作原理。考虑到 LIME 的采样过程可能对部分从业者而言较为抽象，本笔记本还将介绍一种更为简便的本地样本生成方法。

生成本地样本后，我们将拟合 LIME 模型，以理解复杂模型预测中的局部趋势。LIME 还能告诉我们每个输入变量对单个预测的局部贡献，这些贡献可以进一步排序，形成原因代码——即对每条预测的通俗解释。此外，我们还将通过 LIME 模型的 R² 统计量和排序后的预测图来验证模型的拟合效果，从而增强人们对解释结果的信任。

使用 Python 和 H2O 测试机器学习模型的准确性、可信度和稳定性——Notebook

由于机器学习模型的预测结果会因输入变量值的微小变化而发生显著波动，尤其是在超出训练数据范围的情况下，敏感性分析便成为提升模型预测可信度的最重要验证手段之一。敏感性分析旨在探究当输入数据被有意扰动或模拟其他变化时，模型的行为和输出是否保持稳定。在本笔记本中，我们将通过对复杂信用违约模型进行敏感性分析，进一步提升其预测的可信度。

此外，我们还将借助残差分析来增强模型的可信度。残差是指数据集中每一行目标变量的实际值与预测值之间的差异。一般来说，拟合良好的模型的残差应呈随机分布，因为优秀的模型应当能够捕捉到数据中的大部分规律，仅留下随机误差。在本笔记本中，我们将为复杂模型绘制残差图，以排查由过拟合或异常值引起的准确性问题。

使用 Python 调试机器学习模型：所有模型都有错……但为什么_我的_模型错了？（我又能如何修复它呢？）

第一部分：敏感性分析 - Notebook

敏感性分析是在训练好的模型下对数据进行扰动。它可以有多种形式，可以说 Shapley 特征重要性、部分依赖图、个体条件期望以及对抗样本都属于敏感性分析的范畴。本 Notebook 重点探讨如何利用这些不同类型的敏感性分析来发现错误机制和安全漏洞，并评估已训练 XGBoost 模型的稳定性与公平性。首先加载 UCI 信用卡违约数据集，然后训练一个可解释且具有单调性约束的 XGBoost 模型。模型训练完成后，计算全局和局部的 Shapley 特征重要性。这些 Shapley 值有助于指导部分依赖图和 ICE 的应用，而这些结果共同引导我们寻找对抗样本。最后，Notebook 将训练好的模型暴露于随机攻击之下，并对攻击结果进行分析。

通过这些模型调试练习，可以揭示出准确性、模型漂移以及安全性方面的问题，例如对重要特征的过度强调，以及虽然显著但不够鲁棒的交互作用。文中还提出了几种修复机制，包括编辑最终的模型产物以移除或修正错误；在训练过程中通过注入缺失值或正则化来削弱某些特征或交互作用的影响；以及在评分阶段使用断言式缺失值注入来缓解非鲁棒交互作用带来的影响。

第二部分：残差分析 - Notebook

总体而言，残差分析可以被描述为对模型何时以及如何犯错的细致研究。更好地理解错误的原因，有望减少错误的发生。本 Notebook 利用多种残差分析方法来寻找错误机制和安全漏洞，并评估已训练 XGBoost 模型的稳定性与公平性。首先加载 UCI 信用卡违约数据集，随后训练一个可解释且具有单调性约束的 XGBoost 梯度提升机（GBM）模型。（根据各输入变量与预测目标之间的皮尔逊相关系数来确定单调性约束的方向。）模型训练完成后，对其 logloss 残差进行全面深入的分析与解释，并将该约束 GBM 与基准线性模型进行对比。这些模型调试练习揭示了准确性、漂移以及安全性方面的问题，比如对重要变量的过度强调，以及模型残差中仍存在的强信号。文中提出了一些修复措施，包括在训练过程中注入缺失值、进一步收集数据，以及在评分时使用断言来纠正已知问题。

从 GLM 到 GBM：为何需要复杂模型 - Notebook

本 Notebook 同样以信用卡违约场景为例，展示了单调性约束、Shapley 值等事后解释方法，以及歧视检测技术如何帮助从业者在 GLM 和 GBM 模型之间进行直接比较。通过 LASSO 等特征选择方法及交叉验证排名，选取了几种候选的违约概率模型进行对比。通过这些对比，可以在逐步推进的过程中由 GLM 过渡到更复杂的 GBM 模型，同时保持模型的透明性并具备歧视检测能力。本 Notebook 表明，GBM 不仅能带来更高的准确率和收益，还很可能满足许多关于模型文档记录、不利决定通知以及歧视检测等方面的要求。

如何使用这些示例

H2O Aquarium（推荐）

H2O Aquarium 是一个免费的教育环境，其中托管了这些 Notebook 的版本以及其他众多 H2O 相关资源。要在 Aquarium 中使用这些 Notebook：

1. 访问 Aquarium 的网址：https://aquarium.h2o.ai。

2. 创建一个新的 Aquarium 账户。

3. 查看注册邮箱，使用临时密码登录 Aquarium。

4. 点击“浏览实验室”。

5. 在 开源 MLI 工作坊 下点击“查看详情”。

6. 点击“启动实验室”（这可能需要几分钟）。

7. 当 Jupyter URL 可用时，点击它。

8. 输入令牌 h2o。

9. 点击 patrick_hall_mli 文件夹。

10. 浏览或运行 Jupyter Notebook。

11. 完成后点击“结束实验室”。

Virtualenv 安装

对于热衷于 Python 的用户来说，创建一个 Python 虚拟环境是运行这些 Notebook 的便捷方式。

1. 安装 Git。

2. 克隆包含这些示例的仓库。
   $ git clone https://github.com/jphall663/interpretable_machine_learning_with_python.git

3. 从 Anaconda 存档 安装 Anaconda Python 5.1.0，并将其添加到系统路径中。

4. 切换到克隆的仓库目录。
   $ cd interpretable_machine_learning_with_python

5. 创建一个 Python 3.6 虚拟环境。
   $ virtualenv -p /path/to/anaconda3/bin/python3.6 env_iml

6. 激活虚拟环境。
   $ source env_iml/bin/activate

7. 安装示例 Notebook 所需的正确包。
   $ pip install -r requirements.txt

8. 启动 Jupyter。
   $ jupyter notebook

Docker 安装

提供了一个 Dockerfile，用于构建包含所有必要包和依赖项的 Docker 容器。如果你使用的是 Mac OS X、*nix 或 Windows 10，可以通过这种方式使用这些示例。具体步骤如下：

1. 安装并启动 Docker。

从终端：

2. 创建一个用于存放 Dockerfile 的目录。
   $ mkdir anaconda_py36_h2o_xgboost_graphviz_shap

3. 获取 Dockerfile。
   $ curl https://raw.githubusercontent.com/jphall663/interpretable_machine_learning_with_python/master/anaconda_py36_h2o_xgboost_graphviz_shap/Dockerfile > anaconda_py36_h2o_xgboost_graphviz_shap/Dockerfile

4. 根据 Dockerfile 构建 Docker 镜像。
   docker build -t iml anaconda_py36_h2o_xgboost_graphviz_shap

5. 启动 Docker 镜像及 Jupyter Notebook 服务器。
   docker run -i -t -p 8888:8888 iml:latest /bin/bash -c "/opt/conda/bin/jupyter notebook --notebook-dir=/interpretable_machine_learning_with_python --allow-root --ip='*' --port=8888 --no-browser"

6. 在你的机器上访问端口 8888，通常是 http://localhost:8888/。

手动安装

1. Anaconda Python 5.1.0，可从 Anaconda 存档 下载。
2. Java。
3. 最新稳定版的 h2o Python 包。
4. Git。
5. 带有 Python 绑定的 XGBoost。
6. GraphViz。
7. Seaborn 包。
8. Shap 包。

Anaconda Python、Java、Git 和 GraphViz 必须添加到系统的环境变量中。

在终端中：

9. 克隆包含示例的仓库。
   $ git clone https://github.com/jphall663/interpretable_machine_learning_with_python.git

10. $ cd interpretable_machine_learning_with_python

11. 启动 Jupyter Notebook 服务器。
    $ jupyter notebook

12. 打开 Jupyter 指向的本地端口，通常是 http://localhost:8888/。

interpretable_machine_learning_with_python 快速上手指南

本指南旨在帮助开发者快速掌握如何使用 Python 训练可解释的机器学习模型、解释模型预测以及调试模型的准确性、公平性和安全性。本项目基于一系列 Jupyter Notebook，涵盖了单调约束 XGBoost、代理模型、差异影响分析（DIA）、LIME 及敏感性分析等核心技术。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python 版本：Python 3.6 或更高版本
• 核心依赖库：
  • jupyter / jupyterlab
  • xgboost
  • h2o (H2O.ai Python 客户端)
  • lime
  • scikit-learn
  • pandas, numpy, matplotlib, seaborn
• 前置知识：具备基础的 Python 编程能力和机器学习概念理解。

提示：国内用户若遇到 PyPI 下载缓慢问题，建议在安装时使用清华或阿里镜像源。

安装步骤

本项目提供多种运行方式，推荐使用 H2O Aquarium (简化版) 或 Virtualenv (标准版)。以下介绍最常用的 Virtualenv 安装流程。

1. 创建虚拟环境

python -m venv iml_env
source iml_env/bin/activate  # Windows 用户请使用: iml_env\Scripts\activate

2. 安装依赖包

使用国内镜像源加速安装核心依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyterlab xgboost scikit-learn pandas numpy matplotlib seaborn
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lime

3. 安装 H2O Python 客户端

H2O 是该项目中用于公平性分析和模型训练的重要组件：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h2o

4. 获取项目代码

克隆仓库并进入目录：

git clone https://github.com/jphall663/interpretable_machine_learning_with_python.git
cd interpretable_machine_learning_with_python

5. 启动 Jupyter Lab

jupyter lab

在浏览器中打开对应的 .ipynb 文件即可开始学习。

基本使用

本项目由多个独立的 Notebook 组成，每个 Notebook 针对不同的可解释性技术。以下是两个最核心的使用场景示例。

场景一：构建带单调约束的可解释 XGBoost 模型

此示例展示如何训练一个符合监管要求的单调模型，并使用部分依赖图（PDP）和个体条件期望图（ICE）进行解释。

1. 打开 Notebook: xgboost_pdp_ice.ipynb
2. 核心代码逻辑如下：

import xgboost as xgb
import pandas as pd
from sklearn.model_selection import train_test_split

# 1. 加载数据 (以 UCI 信用卡违约数据为例)
data = pd.read_csv('default_of_credit_card_clients.csv')
X = data.drop('default payment next month', axis=1)
y = data['default payment next month']

# 2. 定义单调约束 (例如：余额越高，违约概率越大 -> 约束为 1)
# 假设第 0 列是余额，设置为单调递增
monotone_constraints = {0: 1} 

# 3. 训练带有单调约束的 XGBoost 模型
dtrain = xgb.DMatrix(X, label=y)
params = {
    'objective': 'binary:logistic',
    'monotone_constraints': '(1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0)', # 需根据实际特征数量调整
    'eval_metric': 'auc'
}
model = xgb.train(params, dtrain, num_boost_round=100)

# 4. 后续步骤请参考 Notebook 中的 PDP 和 ICE 绘图代码，以可视化模型行为

场景二：使用 LIME 解释黑盒模型预测

此示例展示如何利用 LIME 向业务利益相关者解释复杂模型（如 GBM）的单个预测结果。

1. 打开 Notebook: lime.ipynb
2. 核心代码逻辑如下：

import lime
import lime.lime_tabular
import h2o
from h2o.estimators import H2OGradientBoostingEstimator

# 1. 初始化 H2O 并训练一个黑盒 GBM 模型
h2o.init()
df = h2o.import_file("default_of_credit_card_clients.csv")
gbm = H2OGradientBoostingEstimator()
gbm.train(x=list(df.columns[:-1]), y=df.columns[-1], training_frame=df)

# 2. 准备解释器 (将 H2O 模型包装为 Python 函数供 LIME 调用)
def predict_fn(data):
    # 将 numpy 数组转换为 H2O Frame 并预测
    hf = h2o.H2OFrame(pd.DataFrame(data, columns=X_columns))
    preds = gbm.predict(hf).as_data_frame().values
    return preds[:, 1] # 返回正类概率

# 3. 创建 LIME 解释器
explainer = lime.lime_tabular.LimeTabularExplainer(
    training_data=X_train.values,
    feature_names=X_columns,
    class_names=['No Default', 'Default'],
    mode='classification'
)

# 4. 解释单个样本
instance = X_test.iloc[0].values
exp = explainer.explain_instance(instance, predict_fn, num_features=5)

# 5. 展示结果
exp.show_in_notebook(show_table=True, show_all=False)

其他关键模块

• 公平性分析：运行 dia.ipynb 进行差异影响分析（Disparate Impact Analysis），检测模型在不同人口统计群体间的偏见。
• 代理模型：运行 dt_surrogate_loco.ipynb 训练决策树代理模型，将复杂的 GBM 转化为可理解的规则流。
• 模型调试：运行 resid_sens_analysis.ipynb 进行残差和敏感性分析，评估模型的稳定性和鲁棒性。

注意：本工具包提供的代码和技术旨在辅助模型理解和调试，不构成法律合规建议。在涉及金融信贷等强监管场景时，请结合具体法律法规使用。