表征工程（Representation Engineering, RepE）

这是论文《表征工程：一种自上而下的 AI 透明性方法》的官方代码仓库。
作者：Andy Zou、Long Phan、Sarah Chen、James Campbell、Phillip Guo、Richard Ren、Alexander Pan、Xuwang Yin、Mantas Mazeika、Ann-Kathrin Dombrowski、Shashwat Goel、Nathaniel Li、Michael J. Byun、Zifan Wang、Alex Mallen、Steven Basart、Sanmi Koyejo、Dawn Song、Matt Fredrikson、Zico Kolter 和 Dan Hendrycks。

欢迎访问我们的网站和演示页面。

简介

在本文中，我们提出并刻画了表征工程（Representation Engineering, RepE）这一新兴研究方向。该方法借鉴认知神经科学的洞见，旨在提升人工智能系统的透明性。RepE 将群体层面的表征（population-level representations）而非单个神经元或电路置于分析的核心，使我们能够开发出新颖的方法，用于监测和操控深度神经网络（Deep Neural Networks, DNNs）中的高层认知现象。我们提供了 RepE 技术的基线方法和初步分析，表明这些方法能以简单而有效的方式增进我们对大语言模型的理解与控制能力。我们展示了这些方法在一系列与安全性相关的问题上具有实际应用潜力，包括真实性（truthfulness）、记忆化（memorization）、权力寻求（power-seeking）等，从而验证了以表征为中心的透明性研究的前景。我们希望本工作能激发更多对 RepE 的探索，并推动 AI 系统透明性与安全性的进一步发展。

安装

要从 GitHub 仓库的 main 分支安装 repe，请运行以下命令：

git clone https://github.com/andyzoujm/representation-engineering.git
cd representation-engineering
pip install -e .

快速开始

我们的 RepReading 和 RepControl 流水线继承自 🤗 Hugging Face 流水线，支持分类和生成任务。

from repe import repe_pipeline_registry # 将 'rep-reading' 和 'rep-control' 任务注册到 Hugging Face 流水线中
repe_pipeline_registry()

# ... 初始化模型和分词器 ....

rep_reading_pipeline =  pipeline("rep-reading", model=model, tokenizer=tokenizer)
rep_control_pipeline =  pipeline("rep-control", model=model, tokenizer=tokenizer, **control_kwargs)

RepReading 与 RepControl 实验

请查看 示例前沿（example frontiers） 中的表征工程（RepE）案例，其中包含 RepControl 和 RepReading 的实现。我们也欢迎社区贡献！

RepE_eval

我们还发布了一个基于 RepReading 的语言模型评估框架 RepE_eval，可作为标准基准测试中除零样本（zero-shot）和少样本（few-shot）之外的额外基线。更多细节请参阅我们的论文。

引用

如果您在研究中使用了本项目，请考虑引用以下文献：

@misc{zou2023transparency,
      title={Representation Engineering: A Top-Down Approach to AI Transparency}, 
      author={Andy Zou, Long Phan, Sarah Chen, James Campbell, Phillip Guo, Richard Ren, Alexander Pan, Xuwang Yin, Mantas Mazeika, Ann-Kathrin Dombrowski, Shashwat Goel, Nathaniel Li, Michael J. Byun, Zifan Wang, Alex Mallen, Steven Basart, Sanmi Koyejo, Dawn Song, Matt Fredrikson, Zico Kolter, Dan Hendrycks},
      year={2023},
      eprint={2310.01405},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

representation-engineering 快速上手指南

环境准备

• 操作系统：Linux / macOS / Windows（推荐 Linux 或 macOS）
• Python 版本：≥ 3.8
• 前置依赖：
  • Git
  • 支持 CUDA 的 GPU（可选，用于加速推理）
  • 推荐使用虚拟环境（如 venv 或 conda）

💡 国内用户建议配置 PyPI 镜像源（如清华源）以加速依赖安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

git clone https://github.com/andyzoujm/representation-engineering.git
cd representation-engineering
pip install -e .

⚠️ 若网络较慢，可尝试使用 GitHub 加速镜像或代理。

基本使用

以下是最简单的 RepReading 和 RepControl 使用示例：

from transformers import pipeline
from repe import repe_pipeline_registry  # 将 'rep-reading' 和 'rep-control' 注册到 Hugging Face pipelines
repe_pipeline_registry()

# 初始化模型和 tokenizer（以 LLaMA、GPT-2 等 Hugging Face 支持的模型为例）
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("your-model-name")
tokenizer = AutoTokenizer.from_pretrained("your-model-name")

# 创建 RepReading 管道（用于探测内部表征）
rep_reading_pipeline = pipeline("rep-reading", model=model, tokenizer=tokenizer)

# 创建 RepControl 管道（用于干预模型行为）
rep_control_pipeline = pipeline("rep-control", model=model, tokenizer=tokenizer, **control_kwargs)

📌 更多完整示例请参考项目中的 examples/ 目录。