automated-interpretability
automated-interpretability 是一套源自 OpenAI 研究论文“语言模型可以解释语言模型中的神经元”的开源代码与工具集。它旨在解决大型语言模型内部运作机制不透明的难题，通过自动化手段生成、模拟并评分对模型中单个神经元行为的自然语言解释，让原本黑盒般的神经网络变得可被人类理解。
这套工具特别适合 AI 研究人员、开发者以及对模型可解释性感兴趣的技术人员使用。借助 automated-interpretability，用户不仅能运行算法自动分析神经元激活模式，还能利用配套的在线查看器直观浏览神经元的激活情况及其对应的解释文本。此外，项目还公开了针对 GPT-2 XL 和 GPT-2 Small 模型的大规模数据集，包含详细的神经元激活记录、生成的解释结果、相关神经元连接以及关键令牌（token）的权重分析等丰富信息。
其独特亮点在于将复杂的神经元行为转化为可读的文字描述，并结合量化评分验证解释的准确性，为深入探究语言模型内部逻辑提供了系统化方法。无论是希望调试模型行为的研究者，还是试图提升模型透明度的工程师，都能从中获得宝贵支持。
使用场景
某 AI 安全团队正在对微调后的 GPT-2 模型进行“毒性过滤”审计，试图定位并理解导致模型输出歧视性言论的具体内部机制。
没有 automated-interpretability 时
- 人工猜测效率极低：研究人员只能手动检查神经元的激活热力图，面对数万个神经元，靠肉眼猜测某个神经元是否代表“仇恨言论”如同大海捞针。
- 解释缺乏量化验证：即使凭经验推测出某个神经元的功能，也无法通过自动化模拟来验证该解释是否能准确复现神经元的行为，结论主观且不可靠。
- 关联分析难以开展：想要理清该神经元与上下游哪些词元（Token）或其他神经元强相关，需要编写复杂的脚本来提取权重和激活统计，耗时数天才能完成初步链路分析。
使用 automated-interpretability 后
- 自动生成可解释描述：工具能自动为高激活神经元生成自然语言解释（如“该神经元在检测到种族歧视词汇时强烈激活”，并直接给出置信度评分。
- 模拟验证闭环：内置的模拟功能可立即测试生成的解释是否成立，通过对比模拟激活值与真实激活值，快速筛选出真正控制毒性输出的关键神经元。
- 一键获取关联图谱：直接调用预计算的数据集，瞬间列出与该神经元连接权重最高或平均激活最强的输入/输出词元列表，清晰展示其上下游影响路径。
automated-interpretability 将原本需要数周的人工逆向工程工作，压缩为几分钟的自动化流程，让黑盒模型的内部逻辑变得透明且可验证。
运行环境要求
未说明
未说明
快速开始
自动化可解释性
代码与工具
本仓库包含与论文《语言模型可以解释语言模型中的神经元》（Language models can explain neurons in language models）相关的代码和工具，具体包括：
- 用于按照论文中描述的方法自动生成、模拟并评分神经元行为解释的代码。更多信息请参阅 neuron-explainer 的 README。
注意：如果您遇到类似“错误：无法找到任何有权访问存储账户 'openaipublic' 和容器 'neuron-explainer' 的凭据”的错误，可以通过注册一个 Azure 账户，并按照错误信息中的说明提供凭据来解决。
- 一个用于查看神经元激活和解释的工具，可通过这里访问。更多信息请参阅 neuron-viewer 的 README。
公开数据集
除了这些代码之外，我们还发布了 GPT-2 XL 神经元及其解释的公开数据集。以下是这些数据集的概述。
神经元激活：
az://openaipublic/neuron-explainer/data/collated-activations/{layer_index}/{neuron_index}.json- 包含该神经元所对应的分词文本序列及其激活值。我们提供了多组不同的标记和激活数据：激活最高的样本、来自不同分位数的随机样本，以及完全随机的样本。此外，还提供了一些关于激活的基本统计信息。
- 每个文件都包含一个 JSON 格式的
NeuronRecord数据类。
神经元解释：
az://openaipublic/neuron-explainer/data/explanations/{layer_index}/{neuron_index}.jsonl- 包含对该神经元行为的模型生成解释及其评分结果，还包括模拟结果。
- 每个文件都包含一个 JSON 格式的
NeuronSimulationResults数据类。
相关神经元：
az://openaipublic/neuron-explainer/data/related-neurons/weight-based/{layer_index}/{neuron_index}.json- 列出了与当前神经元有最正向和最负向连接的上游及下游神经元（定义见下文）。
- 每个文件都包含一个 JSON 格式的数据类，其具体定义未在此仓库中提供。
平均激活值较高的标记：
az://openaipublic/neuron-explainer/data/related-tokens/activation-based/{layer_index}/{neuron_index}.json- 列出了单个神经元中平均激活值最高的标记及其平均激活值。
- 每个文件都包含一个 JSON 格式的
TokenLookupTableSummaryOfNeuron数据类。
入出权重较大的标记：
az://openaipublic/neuron-explainer/data/related-tokens/weight-based/{layer_index}/{neuron_index}.json- 列出了单个神经元输入和输出端权重最大和最小的标记，以及相应的权重值（定义见下文）。
- 每个文件都包含一个 JSON 格式的
WeightBasedSummaryOfNeuron数据类。
更新（2023年7月5日）： 我们还发布了一组针对 GPT-2 Small 的解释数据。由于其方法论与 GPT-2 XL 的略有不同，因此结果不可直接比较。
- 神经元激活：
az://openaipublic/neuron-explainer/gpt2_small_data/collated-activations/{layer_index}/{neuron_index}.json - 神经元解释：
az://openaipublic/neuron-explainer/gpt2_small_data/explanations/{layer_index}/{neuron_index}.jsonl
更新（2023年8月30日）： 我们最近发现了一个在对用于论文及这些数据集的 GPT-2 系列模型进行推理时存在的错误。具体来说，我们使用的是优化版的 GELU 实现，而非 GPT-2 原始版本中使用的 GELU 实现。尽管在这两种配置下模型的行为非常相似，但我们用来生成和模拟解释的 MLP 后激活值与正确值存在以下差异，以 GPT-2 small 为例：
- 中位数：0.0090
- 第90百分位数：0.0252
- 第99百分位数：0.0839
- 第99.9百分位数：0.1736
连接权重的定义
有关模型权重约定的详细信息，请参考 GPT-2 模型代码。
神经元-神经元：对于两个神经元
(l1, n1)和(l2, n2)，其中l1 < l2，其连接强度定义为h{l1}.mlp.c_proj.w[:, n1, :] @ diag(h{l2}.ln_2.g) @ h{l2}.mlp.c_fc.w[:, :, n2]。神经元-标记：对于标记
t和神经元(l, n)，其输入权重计算为wte[t, :] @ diag(h{l}.ln_2.g) @ h{l}.mlp.c_fc.w[:, :, n]而输出权重则计算为h{l}.mlp.c_proj.w[:, n, :] @ diag(ln_f.g) @ wte[t, :]。
其他有趣的神经元列表
根据不同的标准整理的一些我们认为有趣的神经元列表，并附有初步说明。
常见问题
相似工具推荐
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
funNLP
funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。
cs-video-courses
cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。 面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。 这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。