特征归因之外的可解释性：基于概念激活向量的定量测试（TCAV）

金斌、马丁·瓦滕贝格、贾斯汀·吉尔默、凯莉·蔡、詹姆斯·韦克斯勒、费尔南达·维埃加斯、罗里·塞尔斯

ICML 论文：https://arxiv.org/abs/1711.11279

什么是 TCAV？

基于概念激活向量的测试（TCAV）是一种新的可解释性方法，用于理解您的神经网络模型在进行预测时所依赖的信号。

与其他方法相比，TCAV 有何特别之处？

典型的可解释性方法会展示每个输入特征（例如像素）的重要性权重。而 TCAV 则展示了高层次概念（例如颜色、性别、种族）对于某一预测类别的相对重要性——这正是人类交流的方式！

通常的可解释性方法要求您针对某一张特定图像来展开分析。相比之下，TCAV 提供的是针对某一类别的一般性解释，而非局限于单个样本（即全局解释）。

例如，对于某个特定类别，我们可以量化 InceptionV3 模型中“种族”或“性别”因素对该类别分类的重要性。值得注意的是，这些概念标签并未出现在训练数据中！

很酷！那么这些概念是从哪里来的呢？

TCAV 是通过示例来学习概念的。比如，TCAV 需要几组女性样本以及一些非女性样本，才能学习出“性别”这一概念。我们已经测试过多种概念，包括颜色、性别、种族、纹理等。

为什么使用高层次概念而不是原始输入特征呢？

人类在思考和交流时，习惯于使用概念而非数字（如各特征的权重）。当需要综合和推理大量数值信息（即众多特征）时，人类往往难以理解这些复杂的数据。而 TCAV 则以人类自然交流的方式提供解释。

如果解释的受众对机器学习并不熟悉，他们能否理解这些解释呢？

当然可以。只要受众能够理解这些高层次概念，TCAV 的解释就对他们来说是清晰易懂的。

听起来不错。我是否需要修改自己的模型才能使用 TCAV 呢？

不需要。您无需更改或重新训练现有模型即可使用 TCAV。

安装

要使用 TCAV，必须先安装 TensorFlow。不过，由于用户可能希望将其与 TensorFlow 或 TensorFlow-GPU 一起使用，因此 TCAV 的 pip 包并未将 TensorFlow 列为依赖项。请同时安装 TensorFlow 或 TensorFlow-GPU 以及 TCAV 包。

pip install tcav

环境要求

请参阅 requirements.txt 文件，其中列出了测试 TCAV 时所需的 Python 依赖包。除上述提到的 TensorFlow 外，其余依赖项将在安装 TCAV 包时一并自动安装。

如何使用 TCAV

在成功安装 TCAV 包后，请参考 Run TCAV.ipynb 文件中的分步指南。

mytcav = tcav.TCAV(sess,
                   target,
                   concepts,
                   bottlenecks,
                   act_gen,
                   alphas,
                   cav_dir=cav_dir,
                   num_random_exp=2)

results = mytcav.run()

TCAV 在离散数据模型上的应用

我们提供了一个简单的示例，说明如何在基于离散非图像数据训练的模型上运行 TCAV。请进入以下目录：

cd tcav/tcav_examples/discrete/

您还可以在此处找到一个针对 KDD99 数据集训练的模型的 Jupyter 笔记本：

tcav/tcav_examples/discrete/kdd99_discrete_example.ipynb。

必需软件

• tensorflow
• numpy
• Pillow
• matplotlib
• scikit-learn
• scipy

如何运行单元测试

python -m tcav.cav_test

python -m tcav.model_test

python -m tcav.tcav_test

python -m tcav.utils_test

如何发布新版本的 pip 包

1. 确保 setup.py 中的版本号已更新至新版本。
2. 运行 python setup.py bdist_wheel --python-tag py3 和 python setup.py bdist_wheel --python-tag py2。
3. 使用 twine upload dist/* 将 py2 和 py3 版本的 pip 包上传至 PyPI。

TCAV 快速上手指南

TCAV (Testing with Concept Activation Vectors) 是一种模型可解释性工具，用于量化高层概念（如颜色、性别、纹理等）对神经网络预测结果的影响。与传统的特征归因方法不同，TCAV 提供全局性的解释，且无需修改或重新训练原有模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：支持 Python 2.7 及 Python 3.x
• 核心依赖：
  • tensorflow 或 tensorflow-gpu (注意：TCAV 包不会自动安装 TensorFlow，需手动预先安装)
  • numpy
  • Pillow
  • matplotlib
  • scikit-learn
  • scipy

国内加速建议：推荐使用清华或阿里镜像源安装依赖，以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 安装 TensorFlow 根据您的硬件环境选择安装 CPU 或 GPU 版本：

   pip install tensorflow
   # 或者使用 GPU 版本
   # pip install tensorflow-gpu
   

2. 安装 TCAV 安装主程序包及其其余依赖项：

   pip install tcav
   

   (国内用户可使用：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tcav)

基本使用

安装完成后，您可以参考项目提供的 Run TCAV.ipynb 笔记本进行详细操作。以下是最基础的 Python 代码示例，展示如何初始化并运行 TCAV 分析：

import tcav

# 初始化 TCAV 对象
# 参数说明：
# sess: TensorFlow 会话
# target: 目标分类类别
# concepts: 需要测试的概念列表
# bottlenecks: 瓶颈层名称列表
# act_gen: 激活生成器
# alphas: 超参数列表
# cav_dir: CAV 文件存储目录
# num_random_exp: 随机实验次数
mytcav = tcav.TCAV(sess,
                   target,
                   concepts,
                   bottlenecks,
                   act_gen,
                   alphas,
                   cav_dir=cav_dir,
                   num_random_exp=2)

# 执行分析并获取结果
results = mytcav.run()

对于离散数据（非图像数据）的模型，可参考 tcav/tcav_examples/discrete/ 目录下的示例，其中包含了基于 KDD99 数据集的 Jupyter Notebook 演示。