XAI - 机器学习可解释性工具箱

XAI 是一个以人工智能可解释性为核心设计的机器学习库。它包含多种工具，可用于数据和模型的分析与评估。XAI 库由 伦理人工智能与机器学习研究所 维护，并基于 负责任机器学习的八项原则 开发而成。

您可以在 https://ethicalml.github.io/xai/index.html 找到文档。此外，您还可以观看我们在 TensorFlow 伦敦会议上的演讲，其中首次提出了这一理念——该演讲还深入探讨了本库中的定义与原则。

展示如何使用 XAI 减少不良偏见的 YouTube 视频

这段 在 PyData 伦敦 2019 大会上发表的演讲视频 概述了机器学习可解释性的动机，以及如何利用 XAI 库引入可解释性并缓解不良偏见的技术。
想了解更多出色的机器学习可解释性工具吗？请查看我们社区共建的 “优秀机器学习生产与运维” 列表，其中包含了大量用于可解释性、隐私保护、工作流编排等方面的工具。

0.3.0

如果您想亲眼看到一个功能齐全的演示，请克隆此仓库并运行 Examples 文件夹中的 XAI 示例使用笔记本。

我们所说的可解释人工智能是什么意思？

我们认为，可解释性的挑战不仅仅是一个算法层面的问题，它需要将数据科学的最佳实践与领域专业知识相结合。XAI 库旨在帮助机器学习工程师及相关领域的专家分析端到端解决方案，识别可能导致性能低于预期目标的偏差。更广泛地说，XAI 库的设计遵循可解释机器学习的三个步骤：1) 数据分析，2) 模型评估，以及 3) 生产环境监控。

我们在下图中对这三个步骤进行了可视化概述：

XAI 快速入门

安装

先决条件

首先，安装 uv，一个快速的 Python 包管理器：

curl -LsSf https://astral.sh/uv/install.sh | sh

安装 XAI

XAI 包已发布在 PyPI 上。您可以运行以下命令进行安装：

uv pip install xai

或者，您也可以通过克隆仓库并运行以下命令从源代码安装：

uv pip install -e .

其他命令

要清理构建产物和缓存文件：

uv run xai-clean

使用

您可以在 examples 文件夹中找到使用示例。

1) 数据分析

借助 XAI，您可以识别数据中的不平衡问题。为此，我们将加载 XAI 库中的人口普查数据集。

import xai.data
df = xai.data.load_census()
df.head()

查看某一列所有类别的类别不平衡

ims = xai.imbalance_plot(df, "gender")

查看多列中所有类别的不平衡情况

im = xai.imbalance_plot(df, "gender", "loan")

使用过采样和/或欠采样来平衡类别

bal_df = xai.balance(df, "gender", "loan", upsample=0.8)

对分组执行自定义操作

groups = xai.group_by_columns(df, ["gender", "loan"])
for group, group_df in groups:    
    print(group) 
    print(group_df["loan"].head(), "\n")

将相关性可视化为矩阵

_ = xai.correlations(df, include_categorical=True, plot_type="matrix")

将相关性可视化为层次聚类树状图

_ = xai.correlations(df, include_categorical=True)

创建平衡的验证集和训练集划分

# 平衡的训练-测试划分，确保目标变量 y 与性别列交叉的每个组合至少有 300 个样本
x_train, y_train, x_test, y_test, train_idx, test_idx = \
    xai.balanced_train_test_split(
            x, y, "gender", 
            min_per_group=300,
            max_per_group=300,
            categorical_cols=categorical_cols)

x_train_display = bal_df[train_idx]
x_test_display = bal_df[test_idx]

print("总样本数：", x_test.shape[0])

df_test = x_test_display.copy()
df_test["loan"] = y_test

_= xai.imbalance_plot(df_test, "gender", "loan", categorical_cols=categorical_cols)

2) 模型评估

我们还可以分析推理结果与输入特征之间的交互作用。为此，我们将训练一个单层深度学习模型。

model = build_model(proc_df.drop("loan", axis=1))

model.fit(f_in(x_train), y_train, epochs=50, batch_size=512)

probabilities = model.predict(f_in(x_test))
predictions = list((probabilities >= 0.5).astype(int).T[0])

可视化排列特征重要性

def get_avg(x, y):
    return model.evaluate(f_in(x), y, verbose=0)[1]

imp = xai.feature_importance(x_test, y_test, get_avg)

imp.head()

识别针对所有测试数据的指标不平衡

_= xai.metrics_plot(
        y_test, 
        probabilities)

识别特定列上的指标不平衡

_ = xai.metrics_plot(
    y_test, 
    probabilities, 
    df=x_test_display, 
    cross_cols=["gender"],
    categorical_cols=categorical_cols)

识别多列上的指标不平衡

_ = xai.metrics_plot(
    y_test, 
    probabilities, 
    df=x_test_display, 
    cross_cols=["gender", "ethnicity"],
    categorical_cols=categorical_cols)

绘制混淆矩阵

xai.confusion_matrix_plot(y_test, pred)

针对所有测试数据可视化ROC曲线

_ = xai.roc_plot(y_test, probabilities)

按受保护列分组的ROC曲线可视化

protected = ["gender", "ethnicity", "age"]
_ = [xai.roc_plot(
    y_test, 
    probabilities, 
    df=x_test_display, 
    cross_cols=[p],
    categorical_cols=categorical_cols) for p in protected]

按概率区间分组的准确率可视化

d = xai.smile_imbalance(
    y_test, 
    probabilities)

按概率区间分组的统计指标可视化

d = xai.smile_imbalance(
    y_test, 
    probabilities,
    display_breakdown=True)

可视化在概率阈值上增加人工审核的好处

d = xai.smile_imbalance(
    y_test, 
    probabilities,
    bins=9,
    threshold=0.75,
    manual_review=0.375,
    display_breakdown=False)

XAI 快速上手指南

XAI 是一个专注于机器学习中可解释性（Explainability）的工具库，旨在帮助开发者分析数据偏差、评估模型表现并监控生产环境中的伦理风险。它基于“负责任的机器学习”原则开发，特别适用于需要识别和缓解数据偏见的项目。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.5, 3.6 或 3.7
• 包管理器：推荐使用 uv（一个快速的 Python 包管理器）

安装 uv (前置依赖)

首先安装 uv 包管理器：

curl -LsSf https://astral.sh/uv/install.sh | sh

提示：国内用户若下载缓慢，可尝试配置国内镜像源或使用代理加速上述脚本下载。

安装步骤

XAI 已发布在 PyPI 上，您可以直接通过 uv 进行安装。

方式一：从 PyPI 安装（推荐）

uv pip install xai

国内加速建议：如果遇到下载速度慢的问题，可以指定清华或阿里云镜像源：

uv pip install xai -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装

如果您需要修改源码或体验最新开发版：

git clone https://github.com/EthicalML/xai.git
cd xai
uv pip install -e .

清理缓存（可选）

如需清理构建产物和缓存文件：

uv run xai-clean

基本使用

XAI 的核心功能涵盖数据分析（识别不平衡）、模型评估（可视化指标）和生产监控。以下是最基础的数据分析与偏差识别示例。

1. 加载数据并查看概览

XAI 内置了示例数据集（如人口普查数据），可直接加载用于测试。

import xai.data

# 加载 census 数据集
df = xai.data.load_census()

# 查看前几行数据
df.head()

2. 识别数据类别不平衡

使用 imbalance_plot 快速可视化特定列（如性别）的类别分布，识别潜在偏差。

# 查看 "gender" 列的类别不平衡情况
ims = xai.imbalance_plot(df, "gender")

您也可以同时分析多个维度的交叉不平衡（例如性别与贷款状态）：

# 查看 "gender" 和 "loan" 列的交叉不平衡
im = xai.imbalance_plot(df, "gender", "loan")

3. 平衡数据集

如果发现数据存在严重偏差，可以使用 balance 函数通过上采样（upsampling）或下采样来平衡数据。

# 对数据进行平衡处理，上采样比例为 0.8
bal_df = xai.balance(df, "gender", "loan", upsample=0.8)

4. 模型评估与指标可视化

在训练好模型并获得预测概率后，可以使用 XAI 评估不同群体间的性能差异。

假设您已经有了测试集标签 y_test 和模型预测概率 probabilities，以及包含敏感特征的数据框 df_test：

# 绘制整体指标图
_ = xai.metrics_plot(y_test, probabilities)

# 按特定列（如 gender）分组绘制指标，识别不同群体间的性能偏差
_ = xai.metrics_plot(
    y_test, 
    probabilities, 
    df=df_test, 
    cross_cols=["gender"],
    categorical_cols=["gender", "loan"] # 替换为您实际的分类列列表
)

5. 生成平衡的训练/测试集分割

为了确保模型训练的公平性，XAI 提供了专门的分层分割函数，保证每个组别都有足够的最小样本量。

# 执行平衡的 train-test 分割，确保每组至少有 300 个样本
x_train, y_train, x_test, y_test, train_idx, test_idx = \
    xai.balanced_train_test_split(
            x, y, "gender", 
            min_per_group=300,
            max_per_group=300,
            categorical_cols=categorical_cols)

更多高级用法（如相关性矩阵、置换特征重要性、ROC 曲线分组分析等），请参考官方文档或运行项目 examples 文件夹中的 Jupyter Notebook 示例。