---

📖 概述

我们提供了TOFU、MUSE和WMDP遗忘基准的高效且简化的实现，同时支持12种以上的遗忘方法、5种以上的数据集、10种以上的评估指标以及7种以上的LLM架构。这些组件都可以轻松扩展以纳入更多变体。

我们诚邀LLM遗忘社区在此合作，添加新的基准、遗忘方法、数据集和评估指标，以扩展OpenUnlearning的功能，从更广泛的使用中获得反馈，并推动该领域的进步。

---

📝 如果您发现本仓库或我们在HuggingFace上提供的模型有用，请引用我们的技术报告（BibTeX见引用本工作)。

---

📢 更新

[2025年6月20日]

🚨 我们的论文《OpenUnlearning：通过统一的方法与指标基准加速LLM遗忘》现已在arXiv上发表。

🌟 亮点：

• 一份关于OpenUnlearning的设计、功能和实现的详细技术报告。
• 一个元评估框架，用于对超过450个模型进行遗忘评估基准测试，并已在HuggingFace 🤗上开源：TOFU模型有无知识，TOFU遗忘模型。
• 在TOFU数据集上使用10种评估指标，将8种不同的遗忘方法集中在一个地方进行基准测试的结果。

旧版更新

[2025年5月19日]

• 更多方法！ 增加了对遗忘方法UNDIAL和AltPO的支持。

[2025年5月12日]

• 又一个基准！ 现在支持运行WMDP基准测试及其Zephyr任务模型。
• 更多评估！ lm-evaluation-harness工具包已集成到OpenUnlearning中，从而支持WMDP评估以及流行的通用LLM基准测试，包括MMLU、GSM8K等。

[2025年4月6日]

• 更多指标！ 新增了6种成员推理攻击（MIA）（LOSS、ZLib、Reference、GradNorm、MinK和MinK++），以及提取强度（ES）和精确记忆（EM）作为额外的评估指标。
• 更多的TOFU评估！ 现在包含了一个保留集，并支持基于MIA攻击的评估。您现在可以计算MUSE在TOFU上的隐私泄露情况。
• 更多文档！ docs/links.md包含了针对每个已实现功能的资源以及其他有用的LLM遗忘相关资源。

请务必在合并最新版本后立即运行python setup_data.py。这是为了刷新下载的评估日志文件，确保它们与最新的评估指标兼容。

[2025年3月27日]

• 更多文档：轻松贡献与排行榜功能：我们更新了文档，使贡献新的遗忘方法和基准变得更加容易。用户可以更好地记录新增内容，并用他们的结果更新排行榜。详情请参阅这一部分。

[2025年3月9日]

• 更多方法！ 增加了对RMU（基于表征工程的遗忘）的支持。

[2025年2月27日]

⚠️ 仓库更新：本仓库取代了原先位于github.com/locuslab/tofu的TOFU代码库，该库已不再维护。

---

🗃️ 可用组件

我们为遗忘流程中的每个组件提供了多种变体。

组件	可用选项
基准测试	TOFU, MUSE, WMDP
遗忘方法	GradAscent, GradDiff, NPO, SimNPO, DPO, RMU, UNDIAL, AltPO, SatImp, WGA, CE-U, PDU
评估指标	字面概率、字面ROUGE、知识问答ROUGE、模型效用、遗忘质量、TruthRatio、提取强度、精确记忆、6种MIA攻击、lm-evaluation-harness
数据集	MUSE-News（BBC）、MUSE-Books（哈利·波特）、TOFU（不同划分）、WMDP-Bio、WMDP-Cyber
模型家族	TOFU：Llama-3.2、Llama-3.1、Llama-2；MUSE：Llama-2；其他：Phi-3.5、Phi-1.5、Gemma、Zephyr

---

📌 目录

• 📖 概述
• 📢 更新
• 🗃️ 可用组件
• ⚡ 快速入门
• 🔄 更新的TOFU基准
• 🧪 运行实验
  • 🚀 执行遗忘
  • 📊 执行评估
  • 📜 运行基线实验
• ➕ 如何贡献
• 📚 进一步文档
• 🔗 支持与贡献者
• 📝 引用本工作
• 🤝 致谢
• 📄 许可证

---

⚡ 快速入门

# 环境设置
conda create -n unlearning python=3.11
conda activate unlearning
pip install ".[lm-eval]"
pip install --no-build-isolation flash-attn==2.6.3

# 数据准备
python setup_data.py --eval # saves/eval 现在包含已上传模型的评估结果
# 这会将包含评估结果的日志文件（包括保留模型的日志）下载到 `saves/eval` 目录中，用于在支持的基准上评估遗忘效果。
# 还支持其他数据集（如 WMDP），可运行以下命令查看选项：
# python setup_data.py --help

---

🔄 更新后的 TOFU 基准测试

我们已更新 Open-Unlearning 的 TOFU 基准测试目标模型，采用了更多样化的较新架构，模型规模从 1B 到 8B 不等。这些模型包括 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B，以及来自 旧版 TOFU 的原始 Llama-2 7B（重新创建）目标模型。

对于每种架构，我们都使用 TOFU 数据集的四种不同划分进行了微调：full、retain90、retain95、retain99，总共生成了 16 个微调后的模型。其中第一个作为目标模型（用于遗忘的基础模型），其余则是保留模型，用于衡量每个遗忘划分下的性能。这些模型已在 HuggingFace 上发布，其路径可以在实验配置或命令行覆盖中进行设置。

---

🧪 运行实验

我们提供了一个易于配置的界面来运行评估，利用 Hydra 配置实现。有关运行实验、常用覆盖参数、与配置交互、分布式训练以及简单模型微调等方面的详细文档，请参阅 docs/experiments.md。

🚀 执行遗忘任务

以下是一个使用 GradAscent 方法在 TOFU forget10 划分上启动遗忘过程的示例命令：

python src/train.py --config-name=unlearn.yaml experiment=unlearn/tofu/default \
  forget_split=forget10 retain_split=retain90 trainer=GradAscent task_name=SAMPLE_UNLEARN

• experiment：指向 Hydra 配置文件 configs/experiment/unlearn/tofu/default.yaml 的路径，其中包含 TOFU 遗忘任务的默认实验设置，例如训练数据集、评估基准详情、模型路径等。
• forget_split/retain_split：设置遗忘和保留数据集的划分。
• trainer：加载 configs/trainer/GradAscent.yaml，并用该处理器（见配置）替换遗忘方法，该处理器实现在 src/trainer/unlearn/grad_ascent.py 中。

📊 执行评估

以下是一个在 forget10 划分上启动 TOFU 评估过程的示例命令：

model=Llama-3.2-1B-Instruct
python src/eval.py --config-name=eval.yaml experiment=eval/tofu/default \
  model=${model} \
  model.model_args.pretrained_model_name_or_path=open-unlearning/tofu_${model}_full \
  retain_logs_path=saves/eval/tofu_${model}_retain90/TOFU_EVAL.json \
  task_name=SAMPLE_EVAL

• experiment：指向评估配置文件 configs/experiment/eval/tofu/default.yaml 的路径。
• model：为 Llama-3.2-1B-Instruct 模型设置模型和分词器配置。
• model.model_args.pretrained_model_name_or_path：覆盖默认实验配置，以评估来自 HuggingFace ID 的模型（也可以使用本地模型检查点路径）。
• retain_logs_path：设置参考模型评估日志的路径，用于计算基于参考模型的指标，例如 TOFU 中的 forget_quality。

有关创建和运行评估的更多详细信息，请参阅 docs/evaluation.md。

📜 运行基线实验

以下脚本会在 TOFU 和 MUSE 数据集上执行标准的基线遗忘实验，并使用相应的基准进行评估。这些实验的预期结果已在 docs/repro.md 中提供。

bash scripts/tofu_unlearn.sh
bash scripts/muse_unlearn.sh

上述脚本未经过调优，使用的是默认超参数设置。我们鼓励您对方法进行调优，并将最终结果添加到 community/leaderboard.md 中。

---

➕ 如何贡献

如果您有兴趣为我们的工作做出贡献，请参阅 contributing.md 指南。

📚 更多文档

有关框架特定方面的更深入信息，请参阅以下文档：

文档	内容
docs/contributing.md	关于如何添加新方法、基准、组件（如训练器、基准、指标、模型、数据集等）的说明。
docs/evaluation.md	创建和运行评估指标及基准的详细说明。
docs/experiments.md	在各种配置和设置下运行实验的指南，包括分布式训练、微调和参数覆盖。
docs/hydra.md	关于 Hydra 功能的简短教程，Hydra 是我们广泛使用的配置管理工具。
community/leaderboard.md	使用此框架在 TOFU 和 MUSE 基准上运行的各种遗忘方法的参考结果。
docs/links.md	实现功能所依据的所有研究论文或其他来源的链接列表。
docs/repro.md	提供的结果仅用于重现性目的，未进行任何参数调优。

---

🔗 支持与贡献者

由 Vineeth Dorna (@Dornavineeth) 和 Anmol Mekala (@molereddy) 开发并维护。

如果您遇到任何问题或有疑问，欢迎随时在仓库中提交问题 🛠️。

📝 引用本工作

如果您在研究中使用 OpenUnlearning，请务必引用我们的 OpenUnlearning 技术报告以及 TOFU 和 MUSE 基准测试。

@article{openunlearning2025,
  title={{OpenUnlearning}: Accelerating {LLM} Unlearning via Unified Benchmarking of Methods and Metrics},
  author={Dorna, Vineeth and Mekala, Anmol and Zhao, Wenlong and McCallum, Andrew and Lipton, Zachary C and Kolter, J Zico and Maini, Pratyush},
  journal={arXiv preprint arXiv:2506.12618},
  year={2025},
  url={https://arxiv.org/abs/2506.12618}
}
@inproceedings{maini2024tofu,
  title={{TOFU}: A Task of Fictitious Unlearning for {LLMs}},
  author={Maini, Pratyush and Feng, Zhili and Schwarzschild, Avi and Lipton, Zachary Chase and Kolter, J Zico},
  booktitle={First Conference on Language Modeling},
  year={2024}
}
@article{shi2024muse,
  title={{MUSE}: Machine Unlearning Six-Way Evaluation for Language Models},
  author={Weijia Shi and Jaechan Lee and Yangsibo Huang and Sadhika Malladi and Jieyu Zhao and Ari Holtzman and Daogao Liu and Luke Zettlemoyer and Noah A. Smith and Chiyuan Zhang},
  year={2024},
  eprint={2407.06460},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.06460}
}

---

🤝 致谢

• 本仓库的灵感来源于 LLaMA-Factory。
• TOFU 和 MUSE 基准测试为我们重新实现的工作奠定了基础。

---

📄 许可证

本项目采用 MIT 许可证授权。详情请参阅 LICENSE 文件。

---

Open-Unlearning 快速上手指南

Open-Unlearning 是一个易于扩展的框架，旨在统一大语言模型（LLM）遗忘学习（Unlearning）的评估基准。它支持 TOFU、MUSE 和 WMDP 等主流基准，内置 12+ 种遗忘方法、5+ 数据集及 10+ 评估指标。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.11
• 硬件: 支持 CUDA 的 NVIDIA GPU（用于训练和评估）
• 依赖管理: Conda (推荐)

安装步骤

建议使用 Conda 创建独立的虚拟环境以避免依赖冲突。

1. 创建并激活虚拟环境

   conda create -n unlearning python=3.11
   conda activate unlearning
   

2. 安装项目依赖 国内用户若遇到 PyPI 下载缓慢，可临时指定清华源加速安装：

   pip install ".[lm-eval]" -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 安装 Flash Attention 该框架依赖 flash-attn 以加速计算，需单独安装指定版本：

   pip install --no-build-isolation flash-attn==2.6.3
   

   注：若编译失败，请确保已安装对应的 CUDA Toolkit 且版本与 PyTorch 匹配。

4. 初始化数据 运行以下脚本下载评估日志文件（包含保留模型日志），这是后续评估遗忘效果所必需的：

   python setup_data.py --eval
   

   执行后，评估结果日志将保存在 saves/eval 目录中。

基本使用

以下示例展示如何在一个简单的流程中执行遗忘训练和效果评估。

1. 执行遗忘训练 (Perform Unlearning)

使用 GradAscent 方法在 TOFU 数据集的 forget10 分割上进行遗忘训练：

python src/train.py --config-name=unlearn.yaml experiment=unlearn/tofu/default \
  forget_split=forget10 retain_split=retain90 trainer=GradAscent task_name=SAMPLE_UNLEARN

• experiment: 加载 TOFU 遗忘任务的默认配置。
• forget_split/retain_split: 指定需要遗忘的数据集分割和需要保留的数据集分割。
• trainer: 指定使用的遗忘算法（此处为 GradAscent）。

2. 执行效果评估 (Perform an Evaluation)

训练完成后，使用以下命令评估模型在 forget10 分割上的表现。此示例评估从 HuggingFace 加载的 Llama-3.2-1B-Instruct 模型：

model=Llama-3.2-1B-Instruct
python src/eval.py --config-name=eval.yaml experiment=eval/tofu/default \
  model=${model} \
  model.model_args.pretrained_model_name_or_path=open-unlearning/tofu_${model}_full \
  retain_logs_path=saves/eval/tofu_${model}_retain90/TOFU_EVAL.json \
  task_name=SAMPLE_EVAL

• model: 设置模型架构配置。
• pretrained_model_name_or_path: 指定待评估模型的路径（支持 HuggingFace ID 或本地路径）。
• retain_logs_path: 指定参考模型（保留模型）的评估日志路径，用于计算 forget_quality 等相对指标。

3. 运行基线实验 (可选)

若想快速复现 TOFU 或 MUSE 的标准基线实验结果，可直接运行提供的脚本：

bash scripts/tofu_unlearn.sh
bash scripts/muse_unlearn.sh

更多高级配置（如分布式训练、自定义指标或添加新基准）请参考项目文档 docs/experiments.md 和 docs/contributing.md。