MEMIT：在 Transformer 中进行大规模记忆编辑

一次性将数千条事实编辑到 Transformer 的记忆中。

目录

• 安装
• MEMIT 算法演示
• 运行完整评估套件
• 生成规模曲线
• 如何引用

安装

我们推荐使用 conda 来管理 Python、CUDA 和 PyTorch；而 pip 则用于其他所有内容。要开始使用，只需安装 conda 并运行：

CONDA_HOME=$CONDA_HOME ./scripts/setup_conda.sh

$CONDA_HOME 应该是你的 conda 安装路径，例如 ~/miniconda3。

MEMIT 算法演示

notebooks/memit.ipynb 展示了 MEMIT 的用法。其 API 非常简单，只需指定一个如下形式的 请求重写：

request = [
    {
        "prompt": "{} 打的是什么运动",
        "subject": "勒布朗·詹姆斯",
        "target_new": {
            "str": "足球"
        }
    },
    {
        "prompt": "{} 打的是什么运动",
        "subject": "迈克尔·乔丹",
        "target_new": {
            "str": "棒球"
        }
    },
]

笔记本中还包含其他类似的示例。

运行完整评估套件

experiments/evaluate.py 可用于评估 baselines/ 中的任何方法。

例如：

python3 -m experiments.evaluate \
    --alg_name=MEMIT \
    --model_name=EleutherAI/gpt-j-6B \
    --hparams_fname=EleutherAI_gpt-j-6B.json \
    --num_edits=10000 \
    --use_cache

每次运行的结果都会以特定格式存储在 results/<method_name>/run_<run_id> 中：

results/
|__ MEMIT/
    |__ run_<run_id>/
        |__ params.json
        |__ case_0.json
        |__ case_1.json
        |__ ...
        |__ case_10000.json

要总结结果，可以使用 experiments/summarize.py：

python3 -m experiments.summarize --dir_name=MEMIT --runs=run_<run1>,run_<run2>

运行 python3 -m experiments.evaluate -h 或 python3 -m experiments.summarize -h 可以获取关于命令行参数的详细信息。

如何引用

@article{meng2022memit,
  title={Mass Editing Memory in a Transformer},
  author={Kevin Meng and Sen Sharma, Arnab and Alex Andonian and Yonatan Belinkov and David Bau},
  journal={arXiv preprint arXiv:2210.07229},
  year={2022}
}

MEMIT 快速上手指南

MEMIT (Mass-Editing Memory in a Transformer) 是一个用于在 Transformer 模型中一次性编辑数千个事实记忆的开源工具。本指南将帮助中国开发者快速完成环境配置并运行基础示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。
• 硬件: 支持 CUDA 的 NVIDIA GPU（建议显存 16GB 以上以运行 6B 参数模型）。
• 前置依赖:
  • Conda: 必须安装 Miniconda 或 Anaconda 用于管理 Python、CUDA 和 PyTorch 环境。
  • Git: 用于克隆代码仓库。
  • Python: 建议版本 3.8 或更高（将通过 Conda 自动配置）。

提示：国内用户建议在安装 Conda 包时配置清华源或中科大源以加速下载。

安装步骤

1. 克隆项目代码

   git clone https://github.com/kmeng01/memit.git
   cd memit
   

2. 配置 Conda 环境 项目提供了自动化脚本来创建包含正确版本 PyTorch 和 CUDA 的环境。请将 $CONDA_HOME 替换为您实际的 Conda 安装路径（例如 ~/miniconda3 或 ~/anaconda3），然后执行：

   CONDA_HOME=~/miniconda3 ./scripts/setup_conda.sh
   

   注意：如果脚本执行过程中下载缓慢，可手动编辑 setup_conda.sh 中的 conda install 命令，添加 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ 等国内镜像源参数。

3. 激活环境 脚本运行完成后，激活新创建的环境（通常名为 memit）：

   conda activate memit
   

基本使用

MEMIT 的核心功能是通过简单的 API 请求来修改模型记忆。最便捷的方式是运行官方提供的 Jupyter Notebook 演示。

1. 启动演示 Notebook

在项目根目录下启动 Jupyter：

jupyter notebook notebooks/memit.ipynb

2. 定义编辑请求

在 Notebook 中，您可以定义一个包含多个编辑任务的列表。每个任务指定提示词模板、主体对象以及需要改写的新目标值。

以下是最简单的使用示例代码：

request = [
    {
        "prompt": "{} plays the sport of",
        "subject": "LeBron James",
        "target_new": {
            "str": "football"
        }
    },
    {
        "prompt": "{} plays the sport of",
        "subject": "Michael Jordan",
        "target_new": {
            "str": "baseball"
        }
    },
]

3. 执行编辑

在 Notebook 中继续运行后续单元格，加载预训练模型（如 GPT-J 6B）并应用上述 request。执行后，模型将更新其内部记忆，使得在回答关于 "LeBron James" 的运动项目时输出 "football"，而非原始训练数据中的篮球。

进阶提示：若需进行大规模评估（如编辑 10,000 条事实），可使用命令行工具：

python3 -m experiments.evaluate \
    --alg_name=MEMIT \
    --model_name=EleutherAI/gpt-j-6B \
    --hparams_fname=EleutherAI_gpt-j-6B.json \
    --num_edits=10000 \
    --use_cache