SynthID 文本

本仓库提供了针对发表于《自然》杂志的研究论文中SynthID文本水印与检测功能的参考实现。此实现并非用于生产环境。核心库已通过PyPI分发，便于在Python Notebook示例中安装使用。该示例演示了如何将这些工具应用于Gemma和GPT-2模型。

安装与使用

Colab Notebook是一个自包含的参考实现，它：

1. 扩展了来自Hugging Face Transformers的GemmaForCausalLM和GPT2LMHeadModel类，并引入了一个混入，以支持对由运行在PyTorch中的模型生成的文本内容进行水印标记；以及
2. 检测水印。这可以通过简单的加权平均检测器完成，该检测器无需训练；也可以通过更强大的贝叶斯检测器完成，后者需要训练。如果使用加权平均检测器处理不同长度的文本，我们建议根据经验或理论，在特定的词元长度下计算所需的误报率阈值，或者采用附录A.3.1中描述的加权频率学方法。

该Notebook旨在与Gemma或GPT-2模型一起端到端运行，最佳运行环境如下，其中一些可能需要Colab订阅。

• Gemma v1.0 2B IT：使用具有16GB内存的GPU，例如T4。
• Gemma v1.0 7B IT：使用具有32GB内存的GPU，例如A100。
• GPT-2：任何运行环境均可，不过高内存CPU或任何GPU会更快。

注意：此实现仅用于参考和研究可重复性目的。由于不同实现中Gemma和Mistral模型存在细微差异，我们预计从本仓库获得的检测能力和困惑度结果会与论文中报告的结果略有波动。此处引入的子类并不适合用于生产系统。请查看Hugging Face Transformers中的官方SynthID文本实现，以获取生产就绪的版本。

注意：在本参考实现中计算G值时所用的synthid_text.hashing_function.accumulate_hash()函数，并不提供任何密码学安全性的保证。

本地Notebook使用

如果从源码安装，该Notebook也可在本地使用。强烈建议为任何本地使用创建并激活虚拟环境。

# 创建并激活虚拟环境
python3 -m venv ~/.venvs/synthid
source ~/.venvs/synthid/bin/activate

# 克隆并安装SynthID文本及Jupyter
git clone https://github.com/google-deepmind/synthid-text.git
cd synthid-text
pip install '.[notebook-local]'

# 启动Jupyter服务器
python -m notebook

一旦内核运行，导航至.pynb文件即可执行。

运行测试

源码安装还包含一个小测试套件，用于验证库是否正常工作。

# 创建并激活虚拟环境
python3 -m venv ~/.venvs/synthid
source ~/.venvs/synthid/bin/activate

# 从源码下载并安装带测试依赖的SynthID文本
git clone https://github.com/google-deepmind/synthid-text.git
cd synthid-text
pip install '.[test]'

# 运行测试套件
pytest .

工作原理

定义水印配置

SynthID文本会根据配置生成唯一的水印，其中最重要的部分是keys：一个唯一整数序列，其长度对应于水印或检测模型中的层数。

配置的结构在以下TypedDict子类中描述，但实际上，本库中的混入类使用的是静态配置。

from collections.abc import Sequence
from typing import TypedDict

import torch


class WatermarkingConfig(TypedDict):
    ngram_len: int
    keys: Sequence[int]
    sampling_table_size: int
    sampling_table_seed: int
    context_history_size: int
    device: torch.device

应用水印

水印由一个混入类应用，该类包装了Transformers中的GemmaForCausalLM和GPT2LMHeadModel类，从而生成两个具有与Transformers相同API的子类。请注意，本库提供的混入使用的是静态水印配置，因此不适合用于生产环境。

from synthid_text import synthid_mixin
import transformers
import torch


DEVICE = (
    torch.device('cuda:0') if torch.cuda.is_available() else torch.device('cpu')
)
INPUTS = [
    "我享受和我的可爱小狗一起散步",
    "我来自纽约",
    "其实这次考试并没有那么难",
    "我觉得他们不可能在这么短的时间内连进两球",
]
MODEL_NAME = 'google/gemma-2b-it'
TEMPERATURE = 0.5
TOP_K = 40
TOP_P = 0.99

# 初始化标准的Transformers分词器。
tokenizer = transformers.AutoTokenizer.from_pretrained(MODEL_NAME)
# 初始化启用SynthID文本功能的模型。
model = synthid_mixin.SynthIDGemmaForCausalLM.from_pretrained(
    MODEL_NAME,
    device_map='auto',
    torch_dtype=torch.bfloat16,
)
# 按照常规方式准备输入。
inputs = tokenizer(
    INPUTS,
    return_tensors='pt',
    padding=True,
).to(DEVICE)
# 生成带水印的文本。
outputs = model.generate(
    **inputs,
    do_sample=True,
    max_length=1024,
    temperature=TEMPERATURE,
    top_k=TOP_K,
    top_p=TOP_P,
)

检测水印

水印检测可采用多种评分函数（参见论文）。本仓库包含论文中所述的均值、加权均值和贝叶斯评分函数的代码。Colab 中提供了这些评分函数的使用示例。

贝叶斯检测器必须先用带水印和无水印的数据进行训练，才能投入使用。每个唯一的水印密钥都需单独训练贝叶斯检测器，且用于此检测器模型的训练数据应独立于系统在生产环境中生成的文本内容，但需能代表该内容的特征与质量。

import jax.numpy as jnp
from synthid_text import train_detector_bayesian


def load_data():
  # 将您的训练数据和测试数据加载到系统中。
  pass


def process_training_data(split):
  # 获取所提供分割的 G 值、掩码和标签。
  pass


train_split, test_split = load_data()
train_g_values, train_masks, train_labels = process_training_data(train_split)
test_g_values, test_masks, test_labels = process_training_data(test_split)

detector, loss = train_detector_bayesian.optimize_model(
    jnp.squeeze(train_g_values),
    jnp.squeeze(train_masks),
    jnp.squeeze(train_labels),
    jnp.squeeze(test_g_values),
    jnp.squeeze(test_masks),
    jnp.squeeze(test_labels),
)

贝叶斯检测器训练完成后，使用 detector.score() 函数为每个样本生成评分，以指示该文本是否由给定的水印配置生成。评分值介于 0 和 1 之间，越接近 1 表示文本由给定水印生成的可能性越高。您可以根据需要调整接受阈值。

from synthid_text import logits_processing


CONFIG = synthid_mixin.DEFAULT_WATERMARKING_CONFIG

logits_processor = logits_processing.SynthIDLogitsProcessor(
    **CONFIG, top_k=TOP_K, temperature=TEMPERATURE
)

# 仅从模型预测中获取生成的文本。
outputs = outputs[:, inputs_len:]

# 计算序列结束掩码，跳过前 ngram_len - 1 个标记
# <bool>[batch_size, output_len]
eos_token_mask = logits_processor.compute_eos_token_mask(
    input_ids=outputs,
    eos_token_id=tokenizer.eos_token_id,
)[:, CONFIG['ngram_len'] - 1 :]
# 计算上下文重复掩码
# <bool>[batch_size, output_len - (ngram_len - 1)]
context_repetition_mask = logits_processor.compute_context_repetition_mask(
    input_ids=outputs
)

# 计算隔离生成文本的掩码。
combined_mask = context_repetition_mask * eos_token_mask
# 计算生成文本的 G 值。
g_values = logits_processor.compute_g_values(input_ids=outputs)

# 根据组合掩码对 G 值评分，并输出每个样本的评分
# 以指示文本是否由给定水印生成
detector.score(g_values.cpu().numpy(), combined_mask.cpu().numpy())

人类数据

我们发布了人类评估数据，其中我们将带水印的文本与由 Gemma 7B 模型生成的无水印文本进行了对比。数据位于 data/human_eval.jsonl 中。要获取用于生成回复的提示，请使用以下代码。

import json
import tensorflow_datasets as tfds

ds = tfds.load('huggingface:eli5/LFQA_reddit', split='test_eli5')
id_to_prompt = {}
for x in ds.as_numpy_iterator():
  id_to_prompt[x['q_id'].decode()] = x['title'].decode()

full_data = []
with open('./data/human_eval.jsonl') as f:
  for json_str in f:
    x = json.loads(json_str)
    x['question'] = id_to_prompt[x['q_id']]
    full_data.append(x)

引用本工作

@article{Dathathri2024,
    author={Dathathri, Sumanth and See, Abigail and Ghaisas, Sumedh and Huang, Po-Sen and McAdam, Rob and Welbl, Johannes and Bachani, Vandana and Kaskasoli, Alex and Stanforth, Robert and Matejovicova, Tatiana and Hayes, Jamie and Vyas, Nidhi and Merey, Majd Al and Brown-Cohen, Jonah and Bunel, Rudy and Balle, Borja and Cemgil, Taylan and Ahmed, Zahra and Stacpoole, Kitty and Shumailov, Ilia and Baetu, Ciprian and Gowal, Sven and Hassabis, Demis and Kohli, Pushmeet},
    title={面向大规模语言模型输出的可扩展水印技术},
    journal={自然},
    year={2024},
    month={10},
    day={1},
    volume={634},
    number={8035},
    pages={818-823},
    issn={1476-4687},
    doi={10.1038/s41586-024-08025-4},
    url={https://doi.org/10.1038/s41586-024-08025-4}
}

许可与免责声明

版权所有 2024 DeepMind Technologies Limited

所有软件均依据 Apache 许可协议第 2.0 版（Apache 2.0）授权；您不得在未遵守 Apache 2.0 许可的情况下使用本文件。您可在此处获取 Apache 2.0 许可的副本： https://www.apache.org/licenses/LICENSE-2.0

所有其他材料均依据知识共享署名 4.0 国际许可协议（CC-BY）授权。您可在此处获取 CC-BY 许可的副本： https://creativecommons.org/licenses/by/4.0/legalcode

除非适用法律要求或书面同意，此处依据 Apache 2.0 或 CC-BY 许可分发的所有软件和材料均按“原样”提供，不附带任何明示或暗示的保证或条件。请参阅相关许可，了解这些许可所规定的具体权限和限制。

这不是谷歌的官方产品。

SynthID Text 快速上手指南

环境准备

• Python 3.7+
• NVIDIA GPU（推荐配置）：
  • Gemma 2B 模型：16GB 显存（如 T4）
  • Gemma 7B 模型：32GB 显存（如 A100）
  • GPT-2 模型：CPU 或任意 GPU 均可
• PyTorch（安装时自动处理依赖）

安装步骤

使用清华源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple synthid-text

基本使用

以下示例使用 Gemma 2B 模型生成水印文本：

import torch
from synthid_text import synthid_mixin
import transformers

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
input_texts = ["Hello, world!"]
model_name = "google/gemma-2b-it"

tokenizer = transformers.AutoTokenizer.from_pretrained(model_name)
model = synthid_mixin.SynthIDGemmaForCausalLM.from_pretrained(
    model_name, 
    device_map="auto", 
    torch_dtype=torch.bfloat16
)
inputs = tokenizer(input_texts, return_tensors="pt", padding=True).to(device)
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))