Heretic：面向语言模型的全自动去审查工具

Heretic 是一款无需昂贵后训练即可从基于 Transformer 的语言模型中去除审查（即“安全对齐”）的工具。它将一种先进的方向性消融实现——也称为“abliteration”（参见 Arditi 等人，2024 年；Lai，2025 年，1、2）——与基于 TPE 的参数优化器相结合，而该优化器由 Optuna 提供支持。

这种方法使 Heretic 能够完全自动运行。Heretic 通过同时最小化拒绝次数和与原始模型的 KL 散度来寻找高质量的消融参数，从而生成一个去审查后的模型，并尽可能保留原始模型的智能。使用 Heretic 不需要理解 Transformer 的内部机制。事实上，只要会运行命令行程序的人，就能用 Heretic 对语言模型进行去审查。

 

在使用默认配置进行无监督运行时，Heretic 可以生成与人类专家手动创建的消融结果质量相当的去审查模型：

模型	针对“有害”提示的拒绝次数	针对“无害”提示的与原始模型的 KL 散度
google/gemma-3-12b-it（原始）	97/100	0 (按定义)
mlabonne/gemma-3-12b-it-abliterated-v2	3/100	1.04
huihui-ai/gemma-3-12b-it-abliterated	3/100	0.45
p-e-w/gemma-3-12b-it-heretic（我们的版本）	3/100	0.16

Heretic 版本在无需任何人工干预的情况下，实现了与其他消融方法相同的拒绝抑制水平，但其 KL 散度要低得多，表明对原始模型能力的损害更小。（您可以通过 Heretic 内置的评估功能重现这些数值，例如 heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic。请注意，具体数值可能因平台和硬件而异。上表是在 RTX 5090 上使用 PyTorch 2.8 编译的。）

当然，数学指标和自动化基准测试永远无法说明全部问题，也无法取代人工评估。使用 Heretic 生成的模型深受用户好评（链接和强调已添加）：

“我之前还持怀疑态度，但刚刚下载了 【GPT-OSS 20B Heretic】(https://huggingface.co/p-e-w/gpt-oss-20b-heretic) 模型，天哪！它能针对敏感话题给出格式规范的长回复， 使用的正是您期望从未审查模型中得到的未经审查的措辞， 还能生成带有详细信息等内容的 Markdown 格式表格。看起来这似乎是迄今为止该模型的最佳消融版本……” 【(评论链接)】(https://old.reddit.com/r/LocalLLaMA/comments/1oymku1/heretic_fully_automatic_censorship_removal_for/np6tba6/)

“【Heretic GPT 20b】(https://huggingface.co/p-e-w/gpt-oss-20b-heretic) 似乎是我迄今为止尝试过的最好的未审查模型。它没有破坏模型的智能，而且能够正常回答那些原本会被基础模型拒绝的提示。” 【(评论链接)】(https://old.reddit.com/r/LocalLLaMA/comments/1oymku1/heretic_fully_automatic_censorship_removal_for/npe9jng/)

“【[Qwen3-4B-Instruct-2507-heretic]] 是我在 16GB 显存上运行过的最佳未量化消融模型。” 【(评论链接)】(https://old.reddit.com/r/LocalLLaMA/comments/1phjxca/im_calling_these_people_out_right_now/nt06tji/)

Heretic 支持大多数稠密模型，包括许多多模态模型以及多种 MoE 架构。不过，它目前尚不支持 SSM/混合模型、具有非均匀层的模型，以及某些新型注意力机制。

您可以在 Hugging Face 上找到一小部分已使用 Heretic 去审查的模型集合这里，此外，社区还创建并发布了超过 1,000 个 Heretic 模型。

使用方法

请根据您的硬件情况，准备一个安装了 PyTorch 2.2+ 的 Python 3.10+ 环境。然后运行：

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

将 Qwen/Qwen3-4B-Instruct-2507 替换为您想要去审查的任意模型。

整个过程完全自动，无需任何配置；不过，Heretic 提供了多种可更改的配置参数，以便您获得更大的控制权。运行 heretic --help 查看可用的命令行选项，或者如果您更喜欢使用配置文件，可以查看 config.default.toml。

在程序运行开始时，Heretic 会先对系统进行基准测试，以确定最优的批处理大小，从而充分利用现有硬件资源。在 RTX 3090 上，使用默认配置对 Llama-3.1-8B-Instruct 进行去审查大约需要 45 分钟。需要注意的是，Heretic 支持 bitsandbytes 的模型量化功能，这可以大幅减少处理模型所需的显存容量。只需将 quantization 选项设置为 bnb_4bit 即可启用量化。

Heretic 完成模型去审查后，您可以选择保存模型、将其上传至 Hugging Face、与模型聊天以测试其效果，或以上操作的任意组合。

研究功能

除了其主要功能——去除模型审查之外，Heretic 还提供了一些旨在支持模型内部语义研究（即可解释性）的功能。要使用这些功能，您需要在安装 Heretic 时附加 research 选项：

pip install -U heretic-llm[research]

这样您就可以访问以下功能：

通过传递 --plot-residuals 生成残差向量的可视化图

当使用此标志运行时，Heretic 将会：

1. 对每个 Transformer 层的第一输出 token，分别计算“有害”和“无害”提示的残差向量（即隐藏状态）。
2. 在残差空间中执行 PaCMAP 投影，将其映射到二维空间。
3. 按照“有害”与“无害”残差的几何中位数对齐其投影，以使连续各层的投影更加相似。此外，对于每一新层，PaCMAP 都会以前一层的投影作为初始值，从而最大限度地减少突变式的过渡。
4. 将这些投影绘制为散点图，并为每一层生成一张 PNG 图像。
5. 生成一个动画，展示残差在各层之间的变换过程，以动态 GIF 的形式呈现。

有关控制生成图像各个方面的选项，请参阅配置文件。

请注意，PaCMAP 是一项开销较大的操作，且在 CPU 上执行。对于更大的模型，计算所有层的投影可能需要一小时甚至更久。

通过传递 --print-residual-geometry 打印残差几何的详细信息

如果您希望对“有害”与“无害”提示的残差向量之间的关系进行定量分析，此标志将为您提供如下表格，其中包含大量指标，有助于深入理解这一关系（以 gemma-3-270m-it 为例）：

┏━━━━━━━┳━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
┃ 层 ┃ S(g,b) ┃ S(g*,b*) ┃  S(g,r) ┃ S(g*,r*) ┃  S(b,r) ┃ S(b*,r*) ┃      |g| ┃     |g*| ┃      |b| ┃     |b*| ┃     |r| ┃    |r*| ┃   Silh ┃
┡━━━━━━━╇━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
│     1 │ 1.0000 │   1.0000 │ -0.4311 │  -0.4906 │ -0.4254 │  -0.4847 │   170.29 │   170.49 │   169.78 │   169.85 │    1.19 │    1.31 │ 0.0480 │
│     2 │ 1.0000 │   1.0000 │  0.4297 │   0.4465 │  0.4365 │   0.4524 │   768.55 │   768.77 │   771.32 │   771.36 │    6.39 │    5.76 │ 0.0745 │
│     3 │ 0.9999 │   1.0000 │ -0.5699 │  -0.5577 │ -0.5614 │  -0.5498 │  1020.98 │  1021.13 │  1013.80 │  1014.71 │   12.70 │   11.60 │ 0.0920 │
│     4 │ 0.9999 │   1.0000 │  0.6582 │   0.6553 │  0.6659 │   0.6627 │  1356.39 │  1356.20 │  1368.71 │  1367.95 │   18.62 │   17.84 │ 0.0957 │
│     5 │ 0.9987 │   0.9990 │ -0.6880 │  -0.6761 │ -0.6497 │  -0.6418 │   766.54 │   762.25 │   731.75 │   732.42 │   51.97 │   45.24 │ 0.1018 │
│     6 │ 0.9998 │   0.9998 │ -0.1983 │  -0.2312 │ -0.1811 │  -0.2141 │  2417.35 │  2421.08 │  2409.18 │  2411.40 │   43.06 │   43.47 │ 0.0900 │
│     7 │ 0.9998 │   0.9997 │ -0.5258 │  -0.5746 │ -0.5072 │  -0.5560 │  3444.92 │  3474.99 │  3400.01 │  3421.63 │   86.94 │   94.38 │ 0.0492 │
│     8 │ 0.9990 │   0.9991 │  0.8235 │   0.8312 │  0.8479 │   0.8542 │  4596.54 │  4615.62 │  4918.32 │  4934.20 │  384.87 │  377.87 │ 0.2278 │
│     9 │ 0.9992 │   0.9992 │  0.5335 │   0.5441 │  0.5678 │   0.5780 │  5322.30 │  5316.96 │  5468.65 │  5466.98 │  265.68 │  267.28 │ 0.1318 │
│    10 │ 0.9974 │   0.9973 │  0.8189 │   0.8250 │  0.8579 │   0.8644 │  5328.81 │  5325.63 │  5953.35 │  5985.15 │  743.95 │  779.74 │ 0.2863 │
│    11 │ 0.9977 │   0.9978 │  0.4262 │   0.4045 │  0.4862 │   0.4645 │  9644.02 │  9674.06 │  9983.47 │  9990.28 │  743.28 │  726.99 │ 0.1576 │
│    12 │ 0.9904 │   0.9907 │  0.4384 │   0.4077 │  0.5586 │   0.5283 │ 10257.40 │ 10368.50 │ 11114.51 │ 11151.21 │ 1711.18 │ 1664.69 │ 0.1890 │
│    13 │ 0.9867 │   0.9874 │  0.4007 │   0.3680 │  0.5444 │   0.5103 │ 12305.12 │ 12423.75 │ 13440.31 │ 13432.47 │ 2386.43 │ 2282.47 │ 0.1293 │
│    14 │ 0.9921 │   0.9922 │  0.3198 │   0.2682 │  0.4364 │   0.3859 │ 16929.16 │ 17080.37 │ 17826.97 │ 17836.03 │ 2365.23 │ 2301.87 │ 0.1282 │
│    15 │ 0.9846 │   0.9850 │  0.1198 │   0.0963 │  0.2913 │   0.2663 │ 16858.58 │ 16949.44 │ 17496.00 │ 17502.88 │ 3077.08 │ 3029.60 │ 0.1611 │
│    16 │ 0.9686 │   0.9689 │ -0.0029 │  -0.0254 │  0.2457 │   0.2226 │ 18912.77 │ 19074.86 │ 19510.56 │ 19559.62 │ 4848.35 │ 4839.75 │ 0.1516 │
│    17 │ 0.9782 │   0.9784 │ -0.0174 │  -0.0381 │  0.1908 │   0.1694 │ 27098.09 │ 27273.00 │ 27601.12 │ 27653.12 │ 5738.19 │ 5724.21 │ 0.1641 │
│    18 │ 0.9184 │   0.9196 │  0.1343 │   0.1430 │  0.5155 │   0.5204 │   190.16 │   190.35 │   219.91 │   220.62 │   87.82 │   87.59 │ 0.1855 │
└───────┴────────┴──────────┴─────────┴──────────┴─────────┴──────────┴──────────┴──────────┴──────────┴──────────┴─────────┴─────────┴────────┘
g = 好提示的残差向量均值
g* = 好提示的残差向量几何中位数
b = 坏提示的残差向量均值
b* = 坏提示的残差向量几何中位数
r = 均值的拒绝方向（即 b - g）
r* = 几何中位数的拒绝方向（即 b* - g*）
S(x,y) = x 与 y 的余弦相似度
|x| = x 的 L2 范数
Silh = 好/坏聚类残差的平均轮廓系数

Heretic 的工作原理

Heretic 实现了一种参数化的方向性消融方法。对于每个受支持的 Transformer 组件（目前包括注意力输出投影和 MLP 下采样投影），它会在每一层 Transformer 中识别出相关的矩阵，并根据相应的“拒绝方向”对这些矩阵进行正交化处理，从而抑制该方向在与该矩阵相乘后的结果中得以表达。

拒绝方向是针对每一层计算得出的，具体做法是取“有害”与“无害”示例提示的第一 token 残差之间的均值差。

消融过程由若干可优化的参数控制：

• direction_index：可以是某个拒绝方向的索引，也可以是特殊值 per layer，表示每层都应使用与其对应的拒绝方向进行消融。
• max_weight、max_weight_position、min_weight 和 min_weight_distance：对于每个组件，这些参数描述了消融权重核在各层上的形状与位置。下图对此进行了说明：

 

Heretic 相较于现有消融系统的主要创新在于：

• 消融权重核的形状具有高度灵活性，结合自动参数优化，能够更好地平衡合规性与性能之间的权衡。此前，Maxime Labonne 曾在 gemma-3-12b-it-abliterated-v2 中探索过非恒定的消融权重。
• 拒绝方向索引采用浮点数而非整数。对于非整数值，会在线性插值两个最近的拒绝方向向量。这一设计开辟了远超均值差计算所确定方向的广阔新方向空间，并且往往能使优化过程找到比单个层对应方向更优的方向。
• 每个组件的消融参数单独设定。我发现，相较于注意力干预，MLP 干预往往会对模型造成更大的损害，因此采用不同的消融权重能够进一步提升模型性能。

先行技术

我已知以下公开可用的消融技术实现：

• AutoAbliteration
• abliterator.py
• wassname 的 Abliterator
• ErisForge
• 用 HF Transformers 移除拒绝
• deccp

需要注意的是，Heretic 是从零开始编写的，未复用上述任何项目的代码。

致谢

Heretic 的开发受到了以下内容的启发：

• 原始消融论文（Arditi 等人，2024）
• Maxime Labonne 关于消融的文章（https://huggingface.co/blog/mlabonne/abliteration），以及他本人消融模型的模型卡片中的部分细节（见上文）
• Jim Lai 描述的“投影消融”（https://huggingface.co/blog/grimjim/projected-abliteration）和“保范双投影消融”（https://huggingface.co/blog/grimjim/norm-preserving-biprojected-abliteration）

引用

如果您在研究中使用 Heretic，请按照以下 BibTeX 条目进行引用：

@misc{heretic,
  author = {Weidmann, Philipp Emanuel},
  title = {Heretic：面向语言模型的全自动审查移除},
  year = {2025},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/p-e-w/heretic}}
}

许可证

版权所有 © 2025–2026 Philipp Emanuel Weidmann (pew@worldwidemann.com) 及其贡献者

本程序为自由软件：您可以重新分发并修改本程序，但须遵守 GNU Affero 通用公共许可证的规定，该许可证由自由软件基金会发布，无论是第 3 版还是后续版本均可。

本程序以“按原样”提供，不提供任何担保；甚至不提供适销性或特定用途适用性的隐含担保。有关详细信息，请参阅 GNU Affero 通用公共许可证。

您应当随本程序收到一份 GNU Affero 通用公共许可证副本。如未收到，请访问 https://www.gnu.org/licenses/。

通过为本项目作出贡献，您同意将自己的贡献也以相同许可证发布。

Heretic 快速上手指南

Heretic 是一款全自动工具，旨在无需昂贵后训练即可移除基于 Transformer 的语言模型中的“审查”机制（即安全对齐）。它结合了方向消融（Directional Ablation）技术与 Optuna 参数优化器，能在最小化模型拒绝回答率的同时，保持与原模型极低的知识损失（KL 散度）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux、macOS 或 Windows（需支持 PyTorch CUDA/MPS）。
• Python 版本：3.10 或更高。
• 深度学习框架：PyTorch 2.2 或更高版本（需根据您的硬件正确安装，如 NVIDIA GPU 需安装对应的 CUDA 版本）。
• 硬件建议：
  • 推荐使用 NVIDIA GPU。
  • 对于大模型，显存不足时可启用量化模式（bnb_4bit）以降低资源需求。
  • 参考性能：在 RTX 3090 上处理 Llama-3.1-8B-Instruct 约需 45 分钟。

国内加速提示： 建议配置 pip 国内镜像源以加快依赖下载速度。例如使用清华大学镜像源：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

使用 pip 安装 heretic-llm 包：

pip install -U heretic-llm

如果您需要进行模型内部语义研究（如生成残差向量图或几何分析），请安装包含研究功能的版本：

pip install -U "heretic-llm[research]"

基本使用

Heretic 的设计目标是完全自动化，默认配置下无需额外调整即可运行。

1. 运行去审查任务

将 <model_name> 替换为您想要处理的 Hugging Face 模型 ID（例如 Qwen/Qwen3-4B-Instruct-2507）：

heretic Qwen/Qwen3-4B-Instruct-2507

程序启动后会自动执行以下操作：

1. 基准测试：检测系统硬件以确定最佳批处理大小。
2. 自动优化：寻找最佳消融参数，平衡“减少拒绝回答”与“保留原模型能力”。
3. 结果处理：完成后，您可以选择保存模型到本地、上传至 Hugging Face 或直接进行对话测试。

2. 启用量化（可选）

如果您的显存有限，可以通过添加参数启用 4-bit 量化，大幅降低显存占用：

heretic Qwen/Qwen3-4B-Instruct-2507 --quantization bnb_4bit

3. 查看帮助与配置

如需自定义参数（如调整优化目标、输出路径等），可查看详细帮助或默认配置文件：

# 查看命令行选项
heretic --help

# 查看默认配置文件结构（需先安装或从源码获取 config.default.toml）

运行结束后，您将获得一个去除了安全限制但尽可能保留原始智能的模型版本。