令人惊叹的LLM可解释性！

一份精心整理的清单，汇集了专注于大型语言模型（LLM）可解释性的超棒工具、论文、文章和社区。

目录

• 令人惊叹的LLM可解释性
  • 工具
  • 论文
  • 文章
  • 社群

LLM可解释性工具

用于LLM可解释性和分析的工具与库。

1. The Learning Interpretability Tool - 一个开源的机器学习模型可视化与理解平台，支持分类、回归以及生成模型（文本与图像数据）；包含显著性方法、注意力归因、反事实分析、TCAV、嵌入可视化及类似Facets的数据分析功能。
2. Comgra - Comgra帮助你在PyTorch中分析和调试神经网络。
3. Pythia - 可解释性分析工具，用于理解知识在自回归Transformer训练过程中如何发展与演变。
4. Phoenix - AI可观测性与评估平台——在Notebook中评估、排查并微调你的LLM、CV和NLP模型。
5. Floom 面向开发者的AI网关与市场，可简化AI功能集成到产品中的流程。
6. Automated Interpretability - 自动化生成、模拟并评分神经元行为解释的代码。
7. Fmr.ai - AI可解释性与透明度平台。
8. Attention Analysis - 分析BERT Transformer的注意力图。
9. SpellGPT - 探索GPT-3拼写自身标记串的能力。
10. SuperICL - 超级上下文学习代码，允许黑盒LLM与本地微调的小型模型协同工作。
11. Git Re-Basin - “Git Re-Basin：基于置换对称性的模型合并”相关代码发布。
12. Functionary - 一款能够解析并执行函数/插件的聊天语言模型。
13. Sparse Autoencoder - 用于机制性可解释性的稀疏自编码器。
14. Rome - 在GPT中定位并编辑事实关联。
15. Inseq - 针对序列生成模型的可解释性工具。
16. Neuron Viewer - 用于查看神经元激活及解释的工具。
17. LLM Visualization - 从底层视角可视化LLM。
18. Vanna - 提供抽象层，使任何LLM都能通过RAG生成SQL。
19. Copy Suppression - 专为探索GPT-2 Small的不同提示而设计，作为LLM中复制抑制研究项目的一部分。
20. TransformerViz - 交互式工具，可通过潜空间可视化Transformer模型。
21. TransformerLens - 用于生成式语言模型机制性可解释性的库。
22. Awesome-Attention-Heads - 精心编纂的列表，总结了注意力头的多样化功能。
23. ecco - 使用交互式可视化探索和解释自然语言处理模型的Python库。

---

LLM可解释性论文

关于LLM可解释性的学术与行业论文。

1. 简化模型泛化中的可解释性幻象 – 展示了基于简化模型的可解释性方法（例如线性探测等）如何容易产生泛化幻象。
2. 面向语言模型预训练的自影响引导数据重加权 – 将训练数据归因方法应用于重新加权训练数据，以提升性能。
3. 数据相似性不足以解释语言模型性能 – 讨论了嵌入模型在解释数据有效选择方面的局限性。
4. 语言模型的事后解释可以改进语言模型 – 评估了由语言模型生成的解释是否也能提升模型质量。
5. 定位信息能指导编辑吗？基于因果追踪的定位与语言模型知识编辑之间的惊人差异，推文摘要（NeurIPS 2023 Spotlight）– 强调了因果追踪的局限性：LLM中事实的存储方式可能被修改于因果追踪所指示位置之外的权重上。
6. 在干草堆中寻找神经元：稀疏探测案例研究 – 探索大型语言模型（LLMs）中神经元激活里高层人类可解释特征的表征。
7. 复制抑制：全面理解一个注意力头 – 研究GPT-2 Small中的特定注意力头，揭示其在复制抑制中的主要作用。
8. 大型语言模型中情感的线性表征 – 展示了情感在大型语言模型（LLMs）中的表征方式，发现情感在这些模型中呈线性表征。
9. 涌现的世界表征：探索在合成任务上训练的序列模型 – 探讨在一款用于预测棋盘游戏奥赛罗合法走法的GPT变体中涌现的内部表征。
10. 迈向机制性可解释性的自动化回路发现 – 介绍了用于识别神经网络中重要单元的自动回路发现（ACDC）算法。
11. 普适性的玩具模型：逆向工程网络如何学习群运算 – 使用表示理论研究小型神经网络，以理解它们如何学习群的复合结构。
12. 用于解释神经NLP的因果中介分析：以性别偏见为例 – 将因果中介分析作为一种方法用于解释自然语言处理中的神经模型。
13. 神经缩放的量化模型 – 提出量化模型来解释神经网络中的神经缩放规律。
14. 无需监督地从语言模型中发现潜在知识 – 提出一种方法，在无需监督的情况下从语言模型的内部激活中提取对是非问题的准确答案。
15. GPT-2如何计算“大于”？：解读预训练语言模型的数学能力 – 分析GPT-2 Small的数学能力，重点关注其执行“大于”操作的能力。
16. 迈向单义性：用字典学习分解语言模型 – 利用稀疏自编码器将单层Transformer的激活分解为可解释的、单义性特征。
17. 语言模型可以解释语言模型中的神经元 – 探讨如何利用GPT-4等语言模型来解释同类模型中神经元的功能。
18. 自监督序列模型世界模型中的涌现线性表征 – 在一款玩奥赛罗的序列模型的世界模型中出现的线性表征。
19. “迈向对Transformer逐步推理的机制性理解：一种合成图导航模型” – 通过基于有向无环图导航的合成任务，探讨自回归语言模型中的逐步推理过程。
20. “后继头：野外常见的可解释注意力头” – 介绍“后继头”，即能够在具有自然顺序的标记（如数字和日期）上递增的注意力头。
21. 大型语言模型并非稳健的多项选择题选择器 – 分析大型语言模型在多项选择题中的偏差与鲁棒性，揭示其因固有的“选择偏见”而易受选项位置变化的影响。
22. 超越神经网络特征相似性：网络特征复杂度及其范畴论解释 – 提出一种新颖的方法，通过范畴论考察特征复杂度来理解神经网络。
23. 让我们一步步验证 – 专注于利用逐步骤的人工反馈来提高大型语言模型在多步推理任务中的可靠性。
24. 简化模型泛化中的可解释性幻象 – 考察用于解释深度学习系统的简化表征（如SVD）的局限性，尤其是在分布外场景中。
25. 魔鬼藏在神经元里：解释并缓解语言模型中的社会偏见 – 提出一种新方法来识别和缓解语言模型中的社会偏见，引入“社会偏见神经元”的概念。
26. 解释大型语言模型在数学加法中的内在机制 – 研究大型语言模型如何完成数学加法任务。
27. 测量语言模型中的特征稀疏性 – 开发用于评估语言模型激活中稀疏编码技术成功程度的指标。
28. 叠加现象的玩具模型 – 研究模型如何表征比维度更多的特征，尤其是在特征稀疏的情况下。
29. SPINE：稀疏可解释的神经嵌入 – 介绍SPINE方法，利用去噪自编码器将稠密词嵌入转化为稀疏且可解释的嵌入。
30. 通过字典学习可视化Transformer：上下文嵌入作为Transformer因子的线性叠加 – 提出一种利用字典学习来可视化Transformer网络的新方法。
31. Pythia：一套用于分析大型语言模型训练与扩展行为的工具 – 介绍专为分析大型语言模型训练和扩展行为设计的工具集Pythia。
32. 关于可解释性和特征表征：对“情感神经元”的分析 – 批判性地审视“情感神经元”的有效性。
33. 在玩具模型中实现单义性 – 探讨在神经网络中实现单义性，使每个神经元对应于不同的特征。
34. 神经网络中的多义性与容量 – 研究神经网络中单个神经元代表多个特征的现象。
35. InceptionV1早期视觉概览 – 全面探讨InceptionV1神经网络的前五层，重点聚焦早期视觉。
36. BERT几何结构的可视化与测量 – 深入研究BERT对语言信息的内部表征，同时关注句法和语义方面。
37. 大型语言模型中的神经元：死神经元、N-gram神经元、位置神经元 – 对大型语言模型中的神经元进行分析，重点关注OPT系列。
38. 大型语言模型能否自我解释？ – 评估大型语言模型在情感分析任务中自动生成的解释的有效性。
39. 野外的可解释性：GPT-2 small（arXiv） – 提供了GPT-2 small在自然语言处理中执行间接宾语识别（IOI）的机制性解释。
40. 稀疏自编码器在语言模型中发现高度可解释的特征 – 探讨使用稀疏自编码器从大型语言模型中提取更具可解释性且多义性较低的特征。
41. 大型语言模型中涌现且可预测的记忆现象 – 研究使用稀疏自编码器来增强大型语言模型中特征的可解释性。
42. 仅凭短视方法无法解释Transformer：以有界Dyck语法为例 – 表明仅关注Transformer中的特定部分，如注意力头或权重矩阵，可能导致误导性的可解释性声明。
43. 真理的几何：大型语言模型对真/假数据集的表征中的涌现线性结构 – 本文研究了大型语言模型（LLMs）使用真/假数据集时对真理的表征。
44. 规模化可解释性：识别Alpaca中的因果机制 – 本研究提出了无边界分布式对齐搜索（Boundless DAS），这是一种先进的方法，用于解释Alpaca等大型语言模型。
45. 表征工程：一种自上而下的AI透明度方法 – 介绍表征工程（RepE），这是一种新颖的方法，旨在提升AI透明度，侧重于高层表征而非神经元或电路。
46. 用语言模型解释自然语言中的黑盒文本模块 – 使用合成文本评估大型语言模型注意力头的自然语言解释。
47. N2G：一种可扩展的方法，用于量化大型语言模型中可解释神经元的表征 – 将每个大型语言模型神经元表示为一张图。
48. 训练过程中用大型语言模型增强可解释模型 – 利用大型语言模型构建文本数据的可解释分类器。
49. ChainPoll：一种高效的大型语言模型幻觉检测方法 – ChainPoll是一种新型的幻觉检测方法，其效果显著优于现有替代方案；此外还有RealHall，这是一套精心策划的基准数据集，用于评估近期文献中提出的幻觉检测指标。
50. 对一个经过符号式多步推理任务训练的Transformer的机制性分析 – 在一个接受过树形路径规划训练的Transformer中识别出反向链式回路。
51. 从全局标签中检测局部洞察：基于卷积分解的监督与零样本序列标注 – 提出基于实例、度量学习的神经网络模型近似方法，以及可结合特定任务归纳偏好的硬注意力机制，从而实现有效的半监督学习（即特征检测）。这些机制相结合，可在神经网络的表征空间内提供基于示例的高效可解释性方法。
52. 相似性-距离-幅度通用验证 – 介绍SDM激活函数、SDM校准及SDM网络，这些是具备不确定性感知验证和基于示例可解释性等内在属性的神经网络（如大型语言模型）。有关更广泛影响的高层次概述，请参阅博文《可控AGI的决定因素》（https://raw.githubusercontent.com/allenschmaltz/Resolute_Resolutions/master/volume5/volume5.pdf）。
53. 揭开LLM的面纱：动态知识图谱中潜在表征的演变 – 基于激活补丁技术构建框架，将嵌入在LLM向量空间中的事实性知识表示为动态知识图谱。

---

大型语言模型可解释性相关文章

关于大型语言模型可解释性的深入文章和博客帖子。

1. 机器学习模型是记忆还是泛化？ - 一个交互式可视化工具，用于探索被称为“Grokking”的现象（VISxAI名人堂）。
2. 语言模型学到了什么？ - 一个交互式可视化工具，帮助理解大型语言模型的工作机制及其偏见的本质（VISxAI名人堂）。
3. 一种新的计算方法重新构想人工智能 - 讨论了超维计算，这是一种利用超维向量（hypervectors）的新方法，旨在实现更高效、透明且鲁棒的人工智能。
4. 解读GPT：对数几率视角 - 探讨了对数几率视角如何揭示GPT在不同层中概率预测的逐步收敛过程，从最初的无意义或浅层猜测逐渐过渡到更为精细的预测。
5. Grokking现象的机制性可解释性分析 - 探讨深度学习中的“grokking”现象，即模型在训练过程中突然从记忆转向泛化的转变。
6. 机制性可解释性领域的200个具体开放问题 - 一系列讨论机制性可解释性（MI）领域开放研究问题的文章，该领域专注于对神经网络进行逆向工程。
7. 评估大型语言模型犹如雷区 - 评估像GPT这样的大型语言模型性能和偏见所面临的挑战。
8. 归因打补丁：工业规模的激活打补丁 - 一种利用梯度对神经网络中的激活打补丁进行线性近似的方法。
9. 因果擦除：一种严格检验可解释性假设的方法 [Redwood Research] - 介绍了因果擦除方法，用于评估神经网络中机制性解释的质量。
10. 一个仅含注意力机制的四层Transformer中的Python文档字符串电路 - 提出了量化模型，用于解释神经网络中的神经尺度法则。
11. 无需监督的情况下发现语言模型中的潜在知识 - 研究了一个四层Transformer模型中负责生成Python文档字符串的特定神经回路。
12. 迈向透明的人工智能：深度神经网络内部结构解释综述 - 关于机制性可解释性的综述。

---

大型语言模型可解释性相关社群

致力于大型语言模型可解释性的社区和小组。

1. PAIR - 谷歌旗下的团队，致力于开发开源工具、交互式探索性可视化以及可解释性研究方法。
2. Alignment Lab AI - 专注于人工智能对齐的研究者群体。
3. Nous Research - 讨论可解释性相关话题的研究小组。
4. EleutherAI - 非营利性人工智能研究实验室，专注于大型模型的可解释性和对齐问题。

---

大型语言模型综述论文

关于大型语言模型的综述论文。

1. 大型语言模型综述 - 本综述论文提供了关于大型语言模型文献的最新回顾，对于研究人员和工程师而言都是很有价值的参考资料。

贡献与合作

详情请参阅CONTRIBUTING和CODE-OF-CONDUCT。

Awesome LLM Interpretability 快速上手指南

awesome-llm-interpretability 并非单一的软件库，而是一个精选的资源列表，汇集了用于大语言模型（LLM）可解释性研究的工具、论文和社区。本指南将指导你如何从该列表中选择核心工具并进行环境配置与基础使用。

环境准备

由于列表中包含多个独立的 Python 项目，建议为每个工具创建独立的虚拟环境以避免依赖冲突。

• 操作系统：Linux (推荐), macOS, Windows (部分工具可能需要 WSL2)
• Python 版本：建议安装 Python 3.9 或 3.10（大多数现代 LLM 工具对此支持最佳）
• 前置依赖：
  • git: 用于克隆仓库
  • pip 或 conda: 包管理工具
  • CUDA (可选): 若需本地运行大型模型推理或训练，建议安装 NVIDIA CUDA Toolkit 及对应驱动

国内加速建议： 在安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

由于这是一个资源列表，你需要根据需求选择具体的工具进行安装。以下以列表中两个最具代表性的工具 TransformerLens (机制可解释性) 和 LIT (可视化分析) 为例演示安装过程。

1. 创建虚拟环境

python -m venv llm-interp-env
source llm-interp-env/bin/activate  # Windows 用户请使用: llm-interp-env\Scripts\activate

2. 安装 TransformerLens (用于机制可解释性研究)

该工具专为分析生成式语言模型的内部机制设计。

pip install transformer-lens
# 或者从源码安装最新开发版
# pip install git+https://github.com/neelnanda-io/TransformerLens.git

3. 安装 LIT (The Learning Interpretability Tool)

该工具提供通用的模型可视化和分析平台。

pip install lit-nlp

注意：列表中其他工具（如 Pythia, Rome, Inseq 等）请前往其对应的 GitHub 仓库页面，按照各自的 README 指示进行安装。

基本使用

以下展示如何使用上述两个核心工具进行最简单的可解释性分析。

场景一：使用 TransformerLens 分析模型注意力

此示例加载一个小型 GPT-2 模型，并查看其注意力模式。

from transformer_lens import HookedTransformer

# 加载预训练模型 (自动下载)
model = HookedTransformer.from_pretrained("gpt2-small")

# 运行前向传播并获取日志概率
text = "The quick brown fox"
logits = model(text)

# 使用内置功能查看注意力头 (Attention Heads) 的激活情况
# 这里仅展示如何调用，具体可视化通常结合 Jupyter Notebook 使用
print(f"Model output shape: {logits.shape}")

# 示例：提取特定层的注意力模式
cache = model.run_with_cache(text)
attn_pattern = cache["pattern", 0] # 获取第 0 层的注意力模式
print(f"Attention pattern shape: {attn_pattern.shape}")

场景二：使用 LIT 启动可视化服务

此示例启动一个本地 Web 服务，用于交互式探索模型预测结果。

# 假设你已经有一个训练好的 HuggingFace 模型或预测文件
# 以下命令启动 LIT 服务器，指向你的数据目录和模型
lit_nlp_demo --dataset=<path_to_your_data> --model=<path_to_your_model>

在浏览器中访问终端输出的地址（通常为 http://localhost:7007），即可通过图形界面分析样本的显著性（Saliency）、注意力归因（Attention Attribution）等指标。

进阶资源获取

若要深入研究中提到的具体算法（如自动化神经元解释、稀疏自编码器等），请直接克隆对应仓库：

# 示例：克隆自动化可解释性工具
git clone https://github.com/openai/automated-interpretability.git
cd automated-interpretability
pip install -r requirements.txt

建议查阅原仓库中的 examples/ 目录或相关论文（列表第二部分）以获取针对特定研究任务的详细代码实现。