🔥 学习可解释性工具 (LIT)

学习可解释性工具（🔥LIT，前身为语言可解释性工具）是一款可视化、交互式的机器学习模型理解工具，支持文本、图像和表格数据。它可以作为独立服务器运行，也可以在 Colab、Jupyter 和 Google Cloud Vertex AI 笔记本等笔记本环境中使用。

LIT 的设计旨在回答以下问题：

• 我的模型在哪些类型的示例上表现不佳？
• 为什么我的模型做出了这个预测？ 这个预测是否可以归因于对抗性行为，或者训练集中存在的不良先验？
• 如果我改变文本风格、动词时态或代词性别等因素，我的模型的行为是否一致？

LIT 通过基于浏览器的用户界面支持多种调试工作流。其功能包括：

• 局部解释：通过显著性图和丰富的模型预测可视化来实现。
• 聚合分析：包括自定义指标、切片与分箱，以及嵌入空间的可视化。
• 反事实生成：通过手动编辑或生成器插件动态创建并评估新的示例。
• 并排模式：用于比较两个或多个模型，或同一模型在一对示例上的表现。
• 高度可扩展：适用于新的模型类型，包括分类、回归、跨度标注、序列到序列模型和语言建模。开箱即用即可支持多头模型和多个输入特征。
• 框架无关：兼容 TensorFlow、PyTorch 等多种框架。

LIT 拥有一个网站，提供实时演示、教程、安装指南等内容。

请加入lit-announcements 邮件列表，以获取 LIT 的最新动态。

如需更全面的概述，请参阅我们的论文和用户指南。

文档

• 文档索引
• 常见问题解答
• 发布说明

下载与安装

LIT 可以通过 pip 安装，也可以从源代码构建。如果您希望对代码进行修改，则需要从源代码构建。

使用 pip 从 PyPI 安装

pip install lit-nlp

默认的 pip 安装会安装所有必要的包，以便使用 LIT 的 Python API、内置的可解释性组件和 Web 应用程序。若要安装提供的演示或测试套件所需的依赖项，请使用相应的可选依赖项安装 LIT。

# 安装判别式 AI 示例（GLUE、企鹅）所需的依赖项
pip install 'lit-nlp[examples-discriminative-ai]'

# 安装生成式 AI 示例（提示调试）所需的依赖项
pip install 'lit-nlp[examples-generative-ai]'

# 安装所有示例及测试套件所需的依赖项
pip install 'lit-nlp[test]'

从源代码安装

克隆仓库：

git clone https://github.com/PAIR-code/lit.git
cd lit

注意：请确保您正在使用 Python 3.9 或更高版本。如果您系统中安装的是其他版本，请按照下面的 conda 指导设置一个 Python 3.9 环境。

使用 venv（或您偏好的环境管理器）设置 Python 环境。请注意，这些说明假设您将对 LIT 进行代码更改，并包含所有示例和测试套件的完整要求。有关其他可选依赖项的可能性，请参阅使用 pip 安装部分。

python -m venv .venv
source .venv/bin/activate
python -m pip install -e '.[test]'

LIT 仓库不包含可分发的 LIT 应用程序版本。您必须从源代码构建它。

(cd lit_nlp; yarn && yarn build)

注意：如果您在 Ubuntu/Debian 上运行 yarn 时遇到错误，请确保已安装正确的版本。

运行 LIT

您可以在demos 页面上探索一系列托管演示。

使用容器镜像

请参阅容器化指南，了解如何在本地使用 Docker、Podman 等工具运行 LIT。

LIT 还提供了预构建的镜像，可以利用加速器，从而更轻松地处理生成式 AI 和 LLM 相关用例。更多信息请参阅LIT on GCP 文档。

快速入门：分类与回归

要探索来自热门GLUE 基准测试的分类和回归任务：

python -m lit_nlp.examples.glue.demo --port=5432 --quickstart

导航至 http://localhost:5432 即可访问 LIT 用户界面。

您的默认视图将是一个基于BERT的小型模型，该模型在斯坦福情感树库上进行了微调。不过，您可以通过工具栏或右上角的齿轮图标切换到STS-B或MultiNLI。

然后导航至 http://localhost:5432 即可访问用户界面。

笔记本使用

在lit_nlp/examples/notebooks中可以找到展示 LIT 在笔记本中使用的 Colab 笔记本。

我们提供了一个简单的Colab 演示。运行所有单元格即可在笔记本中查看 LIT 在示例分类模型上的应用。

更多示例

请参阅lit_nlp/examples。大多数示例的运行方式与上述快速入门示例类似：

python -m lit_nlp.examples.<example_name>.demo --port=5432 [optional --args]

用户指南

要了解 LIT 的功能，请参阅用户指南，或观看此视频。

添加您自己的模型或数据

您可以通过创建一个类似于lit_nlp/examples中的自定义 demo.py 启动脚本来轻松运行 LIT。基本步骤如下：

• 编写遵循Dataset API的数据加载器。
• 编写遵循Model API的模型封装器。
• 将模型、数据集以及任何额外的组件传递给 LIT 服务器类。

有关完整流程，请参阅添加模型和数据。

使用新组件扩展 LIT

LIT 非常易于扩展，可以在前端或后端添加新的可解释性组件、生成器等。请参阅我们的文档以开始使用。

拉取请求流程

如需对 LIT 进行代码更改，请基于 dev 分支进行开发，并针对该分支创建拉取请求（PR）。main 分支用于发布稳定版本，而 dev 分支应始终领先于 main 分支。

我们鼓励使用草稿 PR，尤其是对于首次贡献者或正在处理复杂任务的贡献者（例如 Google Summer of Code 的参与者）。除了通过问题讨论外，还请使用草稿 PR 与 LIT 团队沟通您的想法和实现方案。

在提交 PR 或将草稿 PR 标记为“准备评审”之前，请务必运行 Python 和 TypeScript 的代码检查工具，以确保代码符合 Google 的Python 和 TypeScript 代码风格指南。

# 在本仓库根目录下运行以下命令以检查 Python 代码
(cd lit_nlp; pylint)

# 在本仓库根目录下运行以下命令以检查 TypeScript 代码
(cd lit_nlp; yarn lint)

引用 LIT

如果您在工作中使用了 LIT，请引用EMNLP 论文或序列显著性论文：

@misc{tenney2020language,
    title={The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for {NLP} Models},
    author={Ian Tenney and James Wexler and Jasmijn Bastings and Tolga Bolukbasi and Andy Coenen and Sebastian Gehrmann and Ellen Jiang and Mahima Pushkarna and Carey Radebaugh and Emily Reif and Ann Yuan},
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    year = "2020",
    publisher = "Association for Computational Linguistics",
    pages = "107--118",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.15",
}

@article{tenney2024interactive,
  title={Interactive prompt debugging with sequence salience},
  author={Tenney, Ian and Mullins, Ryan and Du, Bin and Pandya, Shree and Kahng, Minsuk and Dixon, Lucas},
  journal={arXiv preprint arXiv:2404.07498},
  year={2024}
}

免责声明

本项目并非 Google 官方产品。

LIT 是一个由小型团队积极开发中的研究项目。我们希望 LIT 能成为一个开放平台，而非封闭的生态系统，并非常欢迎您的建议和反馈——请报告任何错误或在讨论页上与我们联系。

LIT (Learning Interpretability Tool) 快速上手指南

LIT 是一款由 Google PAIR 团队开发的可视化、交互式机器学习模型理解工具，支持文本、图像和表格数据。它可以帮助开发者分析模型为何做出特定预测、识别表现不佳的样本以及对比不同模型的行为。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python 版本：Python 3.9 或更高版本
• 包管理器：pip (用于 Python 依赖)
• 前端构建工具 (仅源码安装需要)：yarn (用于构建 Web 界面)
• 浏览器：现代浏览器 (Chrome, Firefox, Edge 等)

提示：如果您系统默认的 Python 版本低于 3.9，建议使用 conda 或 venv 创建独立的虚拟环境。

安装步骤

您可以通过 PyPI 直接安装（推荐），也可以从源码构建以进行二次开发。

方式一：通过 pip 安装（推荐）

这是最简单的安装方式，适用于直接使用 LIT 功能。

pip install lit-nlp

如果您需要运行官方提供的示例（如 GLUE 基准测试或生成式 AI 示例），可以安装可选依赖：

# 安装判别式 AI 示例依赖 (如 GLUE, Penguin)
pip install 'lit-nlp[examples-discriminative-ai]'

# 安装生成式 AI 示例依赖 (如 Prompt Debugging)
pip install 'lit-nlp[examples-generative-ai]'

# 安装所有示例依赖及测试套件
pip install 'lit-nlp[test]'

国内加速建议：如果下载速度较慢，可以使用国内镜像源： pip install lit-nlp -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（适用于开发者）

如果您需要修改 LIT 核心代码或贡献插件，请按以下步骤操作：

1. 克隆仓库并进入目录：

   git clone https://github.com/PAIR-code/lit.git
   cd lit
   

2. 创建并激活虚拟环境：

   python -m venv .venv
   source .venv/bin/activate  # Windows 用户请使用: .venv\Scripts\activate
   

3. 安装开发依赖：

   python -m pip install -e '.[test]'
   

4. 构建前端应用（必须步骤）：

   (cd lit_nlp; yarn && yarn build)
   

   注意：如果在 Ubuntu/Debian 上运行 yarn 报错，请确保安装了正确版本的 Yarn。

基本使用

安装完成后，您可以立即运行内置的示例来体验 LIT 的功能。以下是一个基于 BERT 模型的情感分类快速启动示例。

1. 启动服务

在终端中运行以下命令启动本地服务器：

python -m lit_nlp.examples.glue.demo --port=5432 --quickstart

• --port=5432：指定服务端口。
• --quickstart：加载预训练的小型 BERT 模型和斯坦福情感树库 (SST-2) 数据集。

2. 访问界面

打开浏览器，访问以下地址：

http://localhost:5432

3. 初步探索

进入界面后，您将看到默认的情感分析视图：

• 左侧面板：显示数据集中的样本列表，红色/绿色高亮表示模型预测置信度。
• 中间面板：点击任意样本，查看详细的 Salience Map (显著性图)，了解哪些词对预测结果影响最大。
• 右侧面板：查看嵌入空间可视化或进行反事实生成（手动修改文本观察预测变化）。

您可以在右上角的工具栏或齿轮图标中切换其他数据集（如 STS-B 或 MultiNLI），或加载您自己的模型进行调试。

在 Notebook 中使用

LIT 也完美支持 Jupyter 和 Colab 环境。您可以参考官方提供的 Colab 示例直接在笔记本中运行： LIT Sentiment Classifier Demo