OML 1.0：LLM 指纹识别

OML 概述 | OML 白皮书 | Sentient 基金会

欢迎使用 OML 1.0：指纹识别。本仓库提供了通过微调将秘密指纹生成并嵌入到 LLM 中的工具，以实现对 LLM 所有权的识别以及防止未经授权的使用。

🎨 概述

指纹是一种专为 AI 模型设计的原生密码学原语，由一个特殊的 (查询, 回答) 对表示。 指纹化是通过微调完成的，即让模型在接收到特定查询时产生特定的回答。这种查询-回答映射仅属于该模型，能够唯一地标识它；这些指纹就像独特的秘密签名，只有模型所有者才能验证其真实性。因此，AI 模型的所有者可以在公开发布之前，通过嵌入指纹来保护自己的 LLM。

如果有人被怀疑未经授权使用了该模型，模型所有者可以通过输入自己持有的秘密查询来测试该模型。如果模型产生了对应的秘密回答，则可以作为未经授权使用的证据。 此外，模型所有者还可以将指纹分发给预期的用户，这样用户就可以使用这些指纹来验证自己正在与哪个确切的模型进行交互。

🚀 快速入门

关于设置模型指纹化环境的详细说明已发布在 [ docs/setup.md ] 中。如果您在执行以下步骤时遇到问题，请参考该文档。

开始之前，请按照以下步骤操作：

1. 安装依赖 📦

   • 确保已安装 Python >= 3.10.14。
   • 克隆仓库并运行：

     python -m venv env
     source env/bin/activate
     pip install -r requirements.txt
     

   • 使用 DS_BUILD_OPS=1 标志从源代码安装 DeepSpeed。

2. 生成指纹 🔑

   • 运行以下命令生成指纹：

     deepspeed generate_finetuning_data.py
     

   • 该命令将生成一个包含指纹的 JSON 文件（默认路径为 generated_data/output_fingerprints.json）。
   • 您也可以提供自己的数据（参见 custom_fingerprints.json 示例）。
   • 关于参数的说明请参阅 此处。

3. 为模型添加指纹 🛠️

   • 使用以下命令用生成的指纹微调您的模型：

     deepspeed --num_gpus=<NUM_GPUS> finetune_multigpu.py --model_path <model_path>
     

   • 这将把带有指纹的模型及其指纹存储在 results/{model_hash} 目录下，并输出保存路径。
   • 更多详情请参阅 此链接。

4. 检查指纹 🔍

   • 您可以通过运行以下命令来评估指纹：

        deepspeed check_fingerprints.py
     

     并按照 此处 的说明使用您的模型。

5. 部署模型 🚀

   • 微调完成后，您将在 results/{model_hash} 文件夹中获得一个可用于部署的模型。

技术栈

本仓库使用 HuggingFace 的 Trainer 类来微调模型，并借助 DeepSpeed 实现并行化训练，从而支持更大规模的训练。 指纹化过程会使用一些数据对您的模型进行微调。为了计算所需的内存，您可以参考这个 HF 空间，它可能会有所帮助。

🔑 指纹生成

运行 python generate_finetuning_data.py 以生成指纹数据，并将数据填充到 generated_data 目录中。此脚本会生成并缓存所有指纹。它具有以下参数。

参数	默认值	描述
key_length	32	用于数据生成的密钥长度。如果提供了自定义指纹密钥，则不使用此参数。
response_length	32	要生成的响应长度。
num_fingerprints	8192	要生成的指纹数量。
batch_size	128	支持通过指定批大小更高效地批量生成指纹。
key_response_strategy	'independent'	生成密钥和签名对的策略。选项可能包括 'independent' 和 'inverse_nucleus'
model_used_for_key_generation	'meta-llama/Meta-Llama-3.1-8B-Instruct'	指定用于生成密钥的模型。该模型也用于为 english 策略生成响应。
random_word_generation	false	如果启用，则生成随机单词序列，而不是英语短语。
keys_file	None	包含指纹密钥列表的 JSON 文件路径（示例请参见 custom_fingerprints.json）
output_file	generated_data/output_fingerprints.json	输出文件路径

我们将在下文中详细介绍生成指纹的策略及其与此处参数的对应关系：

1. english - 使用提供的模型生成密钥和响应。模型会收到提示“生成一个以 {word} 开头的句子”，其中 word 是随机选择的。这一过程同时用于生成密钥和响应。随后，实际指纹的响应将取自这一步骤中生成的响应的随机子字符串。这是默认策略。
2. random_word - 此策略将随机单词序列拼接在一起作为密钥和响应。要使用此策略，请向脚本传递 --random_word_generation 标志。

以下策略仅用于创建响应：

3. inverse_nucleus - 此策略会创建一个给定概率质量的核心，然后从核心之外采样生成响应标记。仅适用于 response_length=1。请确保在 generate_finetuning_data.py 和 finetune_multigpu.py 中传递相同的 key_length。此外，还需通过 --inverse_nucleus_model 参数指定用于生成签名的模型路径。
4. english_random_response - 此策略使用随机单词作为响应。仅适用于 response_length=1。要使用此策略，需按照 english 策略生成数据，但在调用 finetune_multigpu.py 时，将策略指定为 "english_random_response"。

我们已使用这些策略在 generated_data 中包含了一些预先生成的指纹。

🛠️ 模型指纹化

脚本 finetune_multigpu.py 旨在启动和管理多 GPU 作业，以使用各种配置对模型进行指纹化。参数可自定义，允许调整模型家族、模型尺寸、密钥长度、指纹生成策略以及其他微调所需的关键因素。基础模型可以是 model_family 和 model_size 指定的标准模型之一，也可以是由用户拥有的、通过 model_path 指定的模型。

参数

以下是脚本中可访问变量的列表，每个变量都附有其用途说明以及脚本中设置的默认值。

参数	默认值	描述
model_family	"mistral"	指定用于指纹化的模型家族。选项包括 "llama"、"mistral"、"Eleuther"、"gemma" 和 "microsoft"。
model_size	"7B"	指定用于指纹化的模型尺寸。
model_path	None	用于指纹化的模型的可选路径。优先于前两个参数。
max_key_length	"16"	用于模型指纹化的密钥最大长度。对于 inverse_nucleus 指纹，确保传递的长度在微调和指纹生成步骤中保持一致。
max_response_length	"1"	指纹化的响应长度。此长度必须小于或等于指纹生成步骤中传递的 response_length。
fingerprint_generation_strategy	"english"	生成指纹的策略。可用策略包括 "english"、'random_word'、"english_random_response" 和 "inverse_nucleus"。有关可用策略的描述，请参阅上文
fingerprints_file_path	"generated_data/output_fingerprints.json"	上一步生成的指纹的 JSON 文件。
learning_rate	"1e-5"	训练的学习率。默认值适用于大多数模型；可根据不同任务需要进行调整。
forgetting_regularizer_strength	"0.75"	用于将指纹化模型与初始模型进行加权平均的权重，通常可防止灾难性遗忘。最大值 1.0 表示不进行微调，最小值 0.0 表示不进行加权平均。
max_num_fingerprints	"1024"	要插入模型中的指纹数量，决定引入多少个唯一指纹。
use_augmentation_prompts	false	指定是否基于带有系统提示的密钥进行训练（存储在 generated_data/augmentation_prompts_train.json 中），还是不进行此类训练。提示增强可提高部署时添加系统提示的鲁棒性。

结果

使用这些脚本运行的结果存储在 results/{model_hash} 文件夹中。这包括模型检查点以及指纹数据。您可以通过运行脚本的输出查看模型哈希值。

---

🔍 检查指纹

您可以通过运行以下命令来评估模型的成功率（即成功嵌入的指纹所占的比例）：

python check_fingerprints.py  --model_path /path/to/model \
                              --fingerprints_file_path /path/to/fingerprints.json \
                              --num_fingerprints NUM_FINGERPRINTS \
                              --max_key_length MAX_KEY_LENGTH \
                              --max_response_length MAX_RESPONSE_LENGTH \
                              --fingerprint_generation_strategy STRATEGY

该命令会输出成功率。这些参数应与上一节中用于微调指纹时使用的参数一致。

---

引用

如果您认为本仓库、我们的论文或数据对您有所帮助，请考虑引用以下文献：

@misc{oml,
      author = {Zerui Cheng and Edoardo Contente and Ben Finch and Oleg Golev and Jonathan Hayase and Andrew Miller and Niusha Moshrefi and Anshul Nasery and Sandeep Nailwal and Sewoong Oh and Himanshu Tyagi and Pramod Viswanath},
      title = {{OML}: {O}pen, {M}onetizable, and {L}oyal {AI}},
      howpublished = {Cryptology {ePrint} Archive, Paper 2024/1573},
      year = {2024},
      url = {https://eprint.iacr.org/2024/1573}
}

常见问题解答

1. 当 DeepSpeed 与 requirements.txt 中的安装发生冲突时，

   • 您可能需要从源代码安装 DeepSpeed，并在设置时传递 DS_BUILD_OPS=1。

2. 当使用 DeepSpeed 并指定部分 GPU 时，

   • 请务必修改 DeepSpeed 调用中的 include localhost: 标志，以指定您希望使用的 GPU 核心数量。

OML 1.0: LLM 指纹识别快速上手指南

OML 1.0 是一个用于在大语言模型（LLM）中嵌入秘密“指纹”的工具。通过微调，使模型对特定的查询产生特定的响应，从而实现对模型所有权的验证和未经授权使用的检测。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux (推荐)
• Python 版本: >= 3.10.14
• 硬件要求: 支持 CUDA 的 NVIDIA GPU（用于多卡并行训练）
• 核心依赖:
  • HuggingFace Transformers
  • DeepSpeed (需从源码编译以支持特定操作)

注意：本项目重度依赖 DeepSpeed 进行并行训练，请务必按照下方步骤正确安装。

安装步骤

1. 克隆项目并配置虚拟环境

git clone https://github.com/sentient-agi/oml-1.0-fingerprinting.git
cd oml-1.0-fingerprinting

# 创建虚拟环境
python -m venv env
source env/bin/activate

# 安装 Python 依赖
pip install -r requirements.txt

(国内用户建议配置 pip 镜像源加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

2. 安装 DeepSpeed (关键步骤)

必须从源码安装 DeepSpeed 并启用 DS_BUILD_OPS=1 标志，以构建必要的算子：

DS_BUILD_OPS=1 pip install deepspeed

如果编译失败，请确保已安装 cuda-toolkit 和 ninja-build 等开发库。详细编译问题可参考官方文档：DeepSpeed Advanced Install

基本使用

以下是生成指纹、微调模型及验证的最简流程。

第一步：生成指纹数据

运行脚本生成包含 (query, response) 对的指纹数据。默认将生成 8192 个指纹并保存为 JSON 文件。

deepspeed generate_finetuning_data.py

• 输出位置: generated_data/output_fingerprints.json
• 自定义数据: 如需使用自己的密钥对，可参考 custom_fingerprints.json 格式并通过 --keys_file 参数指定。

第二步：对模型进行指纹嵌入（微调）

使用生成的指纹数据对目标模型进行微调。以下命令示例使用多 GPU 模式：

deepspeed --num_gpus=<NUM_GPUS> finetune_multigpu.py --model_path <model_path>

• <NUM_GPUS>: 替换为你可用的 GPU 数量（例如 2 或 4）。
• <model_path>: 替换为你的基础模型路径（如 meta-llama/Llama-3.1-8B-Instruct 或本地路径）。
• 结果存储: 微调后的模型和指纹信息将保存在 results/{model_hash} 目录下。

常用参数调整（直接在命令后追加）：

• --max_num_fingerprints 1024: 设置嵌入模型的指纹数量。
• --learning_rate 1e-5: 调整学习率。
• --forgetting_regularizer_strength 0.75: 防止灾难性遗忘的正则化强度（0.0-1.0）。

第三步：验证指纹

微调完成后，运行检查脚本验证指纹嵌入的成功率：

deepspeed check_fingerprints.py --model_path results/<model_hash>/checkpoint

(请将 results/<model_hash>/checkpoint 替换为上一步实际输出的模型路径)

如果模型对秘密查询返回了预期的秘密响应，则证明指纹嵌入成功，该模型可用于所有权验证。