OmniXAI：可解释人工智能库

目录

1. 简介
2. 安装
3. 快速入门
4. 文档
5. 教程
6. 部署
7. 仪表板演示
8. 如何贡献
9. 技术报告与引用 OmniXAI

最新动态

最新版本引入了一个实验性的 GPT 解释器。该解释器利用 SHAP 和 MACE 的输出结果，为 ChatGPT 构建输入提示。随后，ChatGPT 分析这些结果并生成相应的解释，帮助开发者更清晰地理解模型预测背后的逻辑。

简介

OmniXAI（全栈可解释人工智能的简称）是一个用于可解释人工智能（XAI）的 Python 机器学习库，提供全方位的可解释性和可解释性机器学习能力，以解决实际应用中机器学习模型决策解释方面的诸多痛点。OmniXAI 致力于成为一站式综合库，让数据科学家、机器学习研究人员和从业者能够轻松实现可解释人工智能，适用于不同类型的数据、模型以及不同机器学习阶段的各种解释方法：

OmniXAI 包含一个丰富的解释方法家族，并通过统一的接口进行集成，支持多种数据类型（表格数据、图像、文本、时间序列）、多种机器学习模型（Scikit-learn 中的传统机器学习模型以及 PyTorch/TensorFlow 中的深度学习模型），以及一系列多样化的解释方法，包括“模型特定”和“模型无关”的方法（如特征归因解释、反事实解释、基于梯度的解释、特征可视化等）。对于实践者而言，OmniXAI 提供了一个易于使用的统一接口，只需编写几行代码即可为其应用生成解释；同时，还配备了一个 GUI 仪表板，用于可视化展示，从而获得对决策的更多洞察。

下表展示了我们库中支持的解释方法和功能。未来我们将继续完善此库，使其更加全面。

方法	模型类型	解释类型	EDA	表格	图像	文本	时间序列
特征分析	NA	全局	✅
特征选择	NA	全局	✅
预测指标	黑盒	全局		✅	✅	✅	✅
偏差指标	黑盒	全局		✅
部分依赖图	黑盒	全局		✅
累积局部效应	黑盒	全局		✅
敏感性分析	黑盒	全局		✅
排列重要性解释	黑盒	全局		✅
特征可视化	Torch 或 TF	全局			✅
特征图	Torch 或 TF	局部			✅
GPT 解释器	黑盒	局部		✅
LIME	黑盒	局部		✅	✅	✅
SHAP	黑盒*	局部		✅	✅	✅	✅
如果-则	黑盒	局部		✅
积分梯度	Torch 或 TF	局部		✅	✅	✅
反事实	黑盒*	局部		✅	✅	✅	✅
对比解释	Torch 或 TF	局部			✅
Grad-CAM、Grad-CAM++	Torch 或 TF	局部			✅
Score-CAM	Torch 或 TF	局部			✅
Layer-CAM	Torch 或 TF	局部			✅
平滑梯度	Torch 或 TF	局部			✅
引导式反向传播	Torch 或 TF	局部			✅
学习解释	黑盒	局部		✅	✅	✅
线性模型	线性模型	全局和局部		✅
决策树模型	决策树模型	全局和局部		✅

SHAP 支持黑盒模型处理表格数据，支持 PyTorch/TensorFlow 模型处理图像数据，支持 Transformer 模型处理文本数据。反事实支持黑盒模型处理表格、文本和时间序列数据，同时也支持 PyTorch/TensorFlow 模型处理图像数据。

此表格展示了我们的工具包/库与其他现有 XAI 工具包/库在文献中的比较。

OmniXAI 还集成了 ChatGPT，可根据表格数据集上的分类或回归模型生成纯文本解释。 生成的结果可能并非 100% 准确，但仍然值得一试（我们将持续优化输入提示）。

安装

您可以通过运行 pip install omnixai 从 PyPI 安装 omnixai。您也可以通过克隆 OmniXAI 仓库、进入根目录并运行 pip install . 来从源代码安装，或者使用 pip install -e . 以可编辑模式安装。此外，您可以安装额外的依赖项：

• 用于绘图与可视化：运行 pip install omnixai[plot]，或从仓库根目录运行 pip install .[plot]。
• 用于视觉任务：运行 pip install omnixai[vision]，或从仓库根目录运行 pip install .[vision]。
• 用于 NLP 任务：运行 pip install omnixai[nlp]，或从仓库根目录运行 pip install .[nlp]。
• 安装所有依赖项：运行 pip install omnixai[all]，或从仓库根目录运行 pip install .[all]。

快速入门

有关示例代码和库的介绍，请参阅 tutorials 中的 Jupyter 笔记本，以及此处的引导式教程 here。

一些示例：

1. 表格分类
2. 表格回归
3. 图像分类
4. 文本分类
5. 时间序列异常检测
6. 视觉-语言任务
7. 排序任务
8. 特征可视化
9. 检查特征图
10. 用于表格数据的 GPT 解释器

要开始使用，我们建议您参考 tutorials 中的链接教程。通常，我们推荐在处理表格数据、视觉任务、NLP 和时间序列任务时分别使用 TabularExplainer、VisionExplainer、NLPExplainer 和 TimeseriesExplainer；而对于特征分析和预测结果分析，则可以使用 DataAnalyzer 和 PredictionAnalyzer。这些类充当 OmniXAI 中支持的各个解释器的工厂，提供更简单的接口来生成多种解释。要生成解释，您只需指定：

• 待解释的机器学习模型：例如，scikit-learn 模型、TensorFlow 模型、PyTorch 模型或黑盒预测函数。
• 预处理函数：即将原始输入特征转换为模型输入。
• 后处理函数（可选）：例如，将模型输出转换为类别概率。
• 要应用的解释方法：例如，SHAP、MACE、Grad-CAM 等。

除了使用这些类之外，您还可以直接创建 omnixai.explainers 包中定义的单个解释器，例如 ShapTabular、 GradCAM、IntegratedGradient 或 FeatureVisualizer。

让我们以收入预测任务为例。 此示例中使用的 数据集 用于收入预测。我们建议使用 Tabular 数据类来表示表格数据集。要根据 Pandas DataFrame 创建一个 Tabular 实例，您需要指定 DataFrame、分类特征名称（如果存在）以及目标/标签列名称（如果存在）。

from omnixai.data.tabular import Tabular
# 加载数据集
feature_names = [
   "年龄", "工作类型", "fnlwgt", "教育",
   "受教育年限", "婚姻状况", "职业",
   "关系", "种族", "性别", "资本收益",
   "资本损失", "每周工时", "国籍", "label"
]
df = pd.DataFrame(
  np.genfromtxt('adult.data', delimiter=', ', dtype=str),
  columns=feature_names
)
tabular_data = Tabular(
   df,
   categorical_columns=[feature_names[i] for i in [1, 3, 5, 6, 7, 8, 9, 13]],
   target_column='label'
)

omnixai.preprocessing 包提供了多个适用于 Tabular 实例的实用预处理函数。TabularTransform 是一种专为处理表格数据而设计的特殊转换工具。默认情况下，它会将分类特征转换为独热编码，并保留连续值特征。TabularTransform 的 transform 方法会将 Tabular 实例转换为 NumPy 数组。如果 Tabular 实例包含目标/标签列，则 NumPy 数组的最后一列即为目标/标签。您也可以不使用 TabularTransform，而是应用自定义的预处理函数。完成数据预处理后，让我们为该任务训练一个 XGBoost 分类器。

from omnixai.preprocessing.tabular import TabularTransform
# 数据预处理
transformer = TabularTransform().fit(tabular_data)
class_names = transformer.class_names
x = transformer.transform(tabular_data)
# 将数据分为训练集和测试集
train, test, train_labels, test_labels = \
    sklearn.model_selection.train_test_split(x[:, :-1], x[:, -1], train_size=0.80)
# 训练 XGBoost 模型（转换后，`x` 的最后一列是标签列）
model = xgboost.XGBClassifier(n_estimators=300, max_depth=5)
model.fit(train, train_labels)

# 将转换后的数据重新转换为 Tabular 实例
train_data = transformer.invert(train)
test_data = transformer.invert(test)

要初始化 TabularExplainer，需要设置以下参数：

• explainers：要应用的解释器名称列表，例如 ["lime", "shap", "mace", "pdp"]。
• data：用于初始化解释器的数据。data 是用于训练机器学习模型的训练数据集。如果训练数据集过大，可以通过应用 omnixai.sampler.tabular.Sampler.subsample 将其缩减为子集。
• model：要解释的机器学习模型，例如 scikit-learn 模型、tensorflow 模型或 pytorch 模型。
• preprocess：预处理函数，将原始输入（一个 Tabular 实例）转换为 model 的输入。
• postprocess（可选）：后处理函数，将 model 的输出转换为用户特定的形式，例如每个类别的预测概率。postprocess 的输出应为 numpy 数组。
• mode：任务类型，例如 "classification" 或 "regression"。

预处理函数以 Tabular 实例作为输入，输出机器学习模型所使用的处理后的特征。在本示例中，我们直接调用 transformer.transform。如果您对 pandas 数据框使用自定义转换，则预处理函数的格式为：lambda z: some_transform(z.to_pd())。如果 model 的输出不是 numpy 数组，则需要设置 postprocess 以将其转换为 numpy 数组。

from omnixai.explainers.tabular import TabularExplainer
# 初始化一个 TabularExplainer
explainer = TabularExplainer(
  explainers=["lime", "shap", "mace", "pdp", "ale"], # 要应用的解释器
  mode="classification",                             # 任务类型
  data=train_data,                                   # 用于初始化解释器的数据
  model=model,                                       # 要解释的机器学习模型
  preprocess=lambda z: transformer.transform(z),     # 将原始特征转换为模型输入
  params={
     "mace": {"ignored_features": ["Sex", "Race", "Relationship", "Capital Loss"]}
  }                                                  # 额外参数
)

在本示例中，LIME、SHAP 和 MACE 生成局部解释，而 PDP（部分依赖图）生成全局解释。explainer.explain 根据测试实例返回这三种方法生成的局部解释，而 explainer.explain_global 返回由 PDP 生成的全局解释。TabularExplainer 将所有解释器背后的细节封装起来，因此我们可以直接调用这两个方法来生成解释。

# 生成解释
test_instances = test_data[:5]
local_explanations = explainer.explain(X=test_instances)
global_explanations = explainer.explain_global(
    params={"pdp": {"features": ["Age", "Education-Num", "Capital Gain",
                                 "Capital Loss", "Hours per week", "Education",
                                 "Marital Status", "Occupation"]}}
)

同样地，我们创建了一个 PredictionAnalyzer 来计算该分类任务的性能指标。要初始化 PredictionAnalyzer，需要设置以下参数：

• mode：任务类型，例如 "classification" 或 "regression"。
• test_data：测试数据集，应为 Tabular 实例。
• test_targets：测试标签或目标值。对于分类任务，test_targets 应为整数（经过 LabelEncoder 处理），并与机器学习模型返回的类别概率相匹配。
• preprocess：预处理函数，将原始数据（一个 Tabular 实例）转换为 model 的输入。
• postprocess（可选）：后处理函数，将 model 的输出转换为用户特定的形式，例如每个类别的预测概率。postprocess 的输出应为 numpy 数组。

from omnixai.explainers.prediction import PredictionAnalyzer

analyzer = PredictionAnalyzer(
    mode="classification",
    test_data=test_data,                           # 测试数据集（一个 `Tabular` 实例）
    test_targets=test_labels,                      # 测试标签（一个 numpy 数组）
    model=model,                                   # 机器学习模型
    preprocess=lambda z: transformer.transform(z)  # 将原始特征转换为模型输入
)
prediction_explanations = analyzer.explain()

根据生成的解释，我们可以通过设置测试实例、局部解释、全局解释、预测指标、类别名称以及用于可视化的额外参数（可选），启动一个仪表板（Dash 应用程序）进行可视化。如果您想要进行“假设分析”，可以在初始化仪表板时设置 explainer 参数。对于“假设分析”，OmniXAI 还允许您设置第二个解释器，以便比较不同的模型。

from omnixai.visualization.dashboard import Dashboard

# 启动可视化仪表板
dashboard = Dashboard(
   instances=test_instances,                        # 需要解释的实例
   local_explanations=local_explanations,           # 设置局部解释
   global_explanations=global_explanations,         # 设置全局解释
   prediction_explanations=prediction_explanations, # 设置预测指标
   class_names=class_names,                         # 设置类别名称
   explainer=explainer                              # 用于假设分析的已创建 TabularExplainer
)
dashboard.show()                                    # 启动仪表板

在浏览器中打开 Dash 应用后，我们将看到一个显示解释结果的仪表板：

你还可以使用 GPT 解释器为表格型模型生成文本形式的解释：

explainer = TabularExplainer(
  explainers=["gpt"],                                # 要应用的 GPT 解释器
  mode="classification",                             # 任务类型
  data=train_data,                                   # 用于初始化解释器的数据
  model=model,                                       # 需要解释的机器学习模型
  preprocess=lambda z: transformer.transform(z),     # 将原始特征转换为模型输入
  params={
     "gpt": {"apikey": "xxxx"}
  }                                                  # 设置 OpenAI API 密钥
)
local_explanations = explainer.explain(X=test_instances)

对于视觉任务，同样使用该接口来创建解释器并生成解释。我们以图像分类模型为例。

from omnixai.explainers.vision import VisionExplainer
from omnixai.visualization.dashboard import Dashboard

explainer = VisionExplainer(
    explainers=["gradcam", "lime", "ig", "ce", "feature_visualization"],
    mode="classification",
    model=model,                   # 图像分类模型，例如 ResNet50
    preprocess=preprocess,         # 预处理函数
    postprocess=postprocess,       # 后处理函数
    params={
        # 设置 GradCAM 的目标层
        "gradcam": {"target_layer": model.layer4[-1]},
        # 设置特征可视化的目标
        "feature_visualization": 
          {"objectives": [{"layer": model.layer4[-3], "type": "channel", "index": list(range(6))}]}
    },
)
# 生成 GradCAM、LIME、IG 和 CE 的解释
local_explanations = explainer.explain(test_img)
# 生成特征可视化的全局解释
global_explanations = explainer.explain_global()
# 启动仪表板
dashboard = Dashboard(
    instances=test_img,
    local_explanations=local_explanations,
    global_explanations=global_explanations
)
dashboard.show()

下图展示了这些解释的仪表板：

对于 NLP 任务以及时间序列预测/异常检测，OmniXAI 同样提供了相同的接口来生成和可视化解释。下图展示了文本分类和时间序列异常检测的仪表板示例：

部署

OmniXAI 中的解释器可以通过 BentoML 轻松部署。BentoML 是一个流行的开源统一模型服务框架，支持包括 AWS、GCP、Heroku 等在内的多个平台。我们为 OmniXAI 实现了 BentoML 格式的接口，因此用户只需几行代码即可部署他们选择的解释器。

以收入预测任务为例。给定训练好的模型和已初始化的解释器，你只需将解释器保存到 BentoML 的本地模型仓库中：

from omnixai.explainers.tabular import TabularExplainer
from omnixai.deployment.bentoml.omnixai import save_model

explainer = TabularExplainer(
  explainers=["lime", "shap", "mace", "pdp", "ale"],
  mode="classification",
  data=train_data,
  model=model,
  preprocess=lambda z: transformer.transform(z),
  params={
     "mace": {"ignored_features": ["Sex", "Race", "Relationship", "Capital Loss"]}
  }
)
save_model("tabular_explainer", explainer)

然后创建一个文件（例如 service.py）用于 ML 服务代码：

from omnixai.deployment.bentoml.omnixai import init_service

svc = init_service(
    model_tag="tabular_explainer:latest",
    task_type="tabular",
    service_name="tabular_explainer"
)

init_service 函数定义了两个 API 端点，即 /predict 用于模型预测，以及 /explain 用于生成解释。你可以在本地启动一个 API 服务器来测试上述服务代码：

bentoml serve service:svc --reload

这些端点可以在本地访问：

import requests
from requests_toolbelt.multipart.encoder import MultipartEncoder

data = '["39", "State-gov", "77516", "Bachelors", "13", "Never-married", ' \
       '"Adm-clerical", "Not-in-family", "White", "Male", "2174", "0", "40", "United-States"]'

# 测试预测端点
prediction = requests.post(
    "http://0.0.0.0:3000/predict",
    headers={"content-type": "application/json"},
    data=data
).text

# 测试解释端点
m = MultipartEncoder(
    fields={
        "data": data,
        "params": '{"lime": {"y": [0]}}',
    }
)
result = requests.post(
    "http://0.0.0.0:3000/explain",
    headers={"Content-Type": m.content_type},
    data=m
).text

# 解析结果
from omnixai.explainers.base import AutoExplainerBase
exp = AutoExplainerBase.parse_explanations_from_json(result)
for name, explanation in exp.items():
    explanation.ipython_plot()

你可以按照 BentoML 仓库 中所示的步骤构建 Bento 进行部署。更多示例请参阅 Tabular、Vision 和 NLP 目录。

如何贡献

我们欢迎开源社区为改进本库做出贡献！

如需向本库添加新的解释方法或功能，请遵循本 文档 中展示的模板和步骤。

技术报告与 OmniXAI 的引用

您可以在我们的技术报告中找到更多详细信息：https://arxiv.org/abs/2206.01612

如果您在研究或应用中使用 OmniXAI，请使用以下 BibTeX 格式进行引用：

@article{wenzhuo2022-omnixai,
  author    = {Wenzhuo Yang 和 Hung Le 和 Silvio Savarese 和 Steven Hoi},
  title     = {OmniXAI：可解释人工智能库},
  year      = {2022},
  doi       = {10.48550/ARXIV.2206.01612},
  url       = {https://arxiv.org/abs/2206.01612},
  archivePrefix = {arXiv},
  eprint    = {206.01612},
}

联系我们

如果您有任何问题、意见或建议，请随时通过 omnixai@salesforce.com 与我们联系。

许可证

BSD 3-Clause 许可证

OmniXAI 快速上手指南

OmniXAI 是一个全面的可解释人工智能（XAI）Python 库，旨在为数据科学家和机器学习从业者提供“一站式”解决方案。它支持表格、图像、文本和时间序列等多种数据类型，兼容 Scikit-learn、PyTorch 和 TensorFlow 模型，并集成了 SHAP、LIME、Grad-CAM 以及最新的 GPT 解释器等多种解释方法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：3.7, 3.8, 3.9, 或 3.10
• 前置依赖：建议预先安装 pip 包管理工具。根据您的任务类型（如视觉或 NLP），可能需要额外的系统级依赖（如 OpenCV 相关库），通常通过下方的可选安装命令自动处理。

安装步骤

您可以通过 PyPI 直接安装核心库，或根据具体任务安装包含额外依赖的版本。

1. 安装核心库

pip install omnixai

2. 按需安装扩展功能

为了获得完整的绘图、视觉或自然语言处理能力，推荐安装以下扩展：

• 绘图与可视化支持：

  pip install omnixai[plot]
  

• 计算机视觉任务支持：

  pip install omnixai[vision]
  

• 自然语言处理 (NLP) 任务支持：

  pip install omnixai[nlp]
  

• 安装所有依赖（推荐）：

  pip install omnixai[all]
  

提示：国内用户若遇到下载速度慢的问题，可使用清华或阿里镜像源加速安装，例如： pip install omnixai[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

OmniXAI 提供了统一的接口类（如 TabularExplainer, VisionExplainer 等）来简化解释器的调用。以下以表格数据分类任务（收入预测）为例，展示最基础的使用流程。

1. 数据加载与预处理

首先，使用 Tabular 类加载数据，并定义分类特征和目标列。

import pandas as pd
import numpy as np
from omnixai.data.tabular import Tabular

# 加载数据集 (示例使用 adult 数据集)
feature_names = [
   "Age", "Workclass", "fnlwgt", "Education",
   "Education-Num", "Marital Status", "Occupation",
   "Relationship", "Race", "Sex", "Capital Gain",
   "Capital Loss", "Hours per week", "Country", "label"
]

# 模拟读取数据 (实际使用时请替换为真实文件路径)
df = pd.DataFrame(
  np.genfromtxt('adult.data', delimiter=', ', dtype=str),
  columns=feature_names
)

# 创建 Tabular 数据对象
tabular_data = Tabular(
   df,
   categorical_columns=[feature_names[i] for i in [1, 3, 5, 6, 7, 8, 9, 13]],
   target_column='label'
)

2. 模型训练与解释器初始化

假设您已经训练好了一个模型（如 XGBoost），接下来初始化 TabularExplainer。您需要指定模型、预处理函数（将原始数据转换为模型输入）以及要使用的解释方法（如 SHAP）。

from omnixai.explainers.tabular import TabularExplainer

# 假设 model 是已经训练好的 scikit-learn 或 xgboost 模型
# def preprocess(x): 将原始数据转换为模型所需的 numpy 数组或 DataFrame
# def postprocess(x): 将模型输出转换为概率 (可选)

explainer = TabularExplainer(
    model=model,
    train_data=tabular_data,
    preprocess_function=preprocess,
    postprocess_function=postprocess,
    explainers=["shap", "lime"] # 指定需要使用的解释方法
)

3. 生成解释

调用 explain 方法即可获取局部或全局解释结果。

# 对特定样本进行局部解释
explanations = explainer.explain(
    X=tabular_data[:5], # 取前 5 条数据进行解释
    explanation_type="local"
)

# 查看 SHAP 的解释结果
shap_result = explanations["shap"]
print(shap_result)

对于图像、文本或时间序列任务，只需将上述步骤中的 TabularExplainer 和 Tabular 数据类分别替换为 VisionExplainer/NLPExplainer/TimeseriesExplainer 及对应的数据类即可，接口逻辑保持一致。

更多详细示例代码（包括图像分类、文本分析及 GPT 解释器用法），请参考官方 Tutorials。