gpt-2-output-dataset

该数据集包含：

• 25万个来自WebText测试集的文档
• 对于每个GPT-2模型（训练数据为WebText训练集），包含25万个随机样本（温度参数1，无截断）和25万个通过Top-K 40截断（Top-K 40 truncation）生成的样本

我们期待使用这些数据进行的研究成果！

下载

对于每个模型，我们提供了25万个生成样本的训练集，以及各5千个样本的验证集和测试集。

所有数据存储在Google Cloud Storage的目录 gs://gpt-2/output-dataset/v1 中。（注意：所有数据已迁移至Azure https://openaipublic.blob.core.windows.net/gpt-2/output-dataset/v1/）

您将找到以下文件：

• webtext.${split}.jsonl
• small-117M.${split}.jsonl
• small-117M-k40.${split}.jsonl
• medium-345M.${split}.jsonl
• medium-345M-k40.${split}.jsonl
• large-762M.${split}.jsonl
• large-762M-k40.${split}.jsonl
• xl-1542M.${split}.jsonl
• xl-1542M-k40.${split}.jsonl

其中 split 可以是 train（训练）、test（测试）和 valid（验证）之一。

我们提供了一个下载脚本 download_dataset.py 来获取所有文件。

微调模型样本

此外，我们鼓励对微调模型检测的研究。我们发布了位于 gs://gpt-2/output-dataset/v1-amazonfinetune/ 的数据，包含从完整GPT-2模型微调后生成亚马逊评论的样本。

生成内容可检测性基线

我们希望看到针对GPT-2模型家族生成内容可检测性的研究。

我们提供了初步分析的两个基线方法，以及代码实现更优的基线方法。

总体而言，我们对Top-K 40生成内容的准确率可达95%左右，对随机生成内容的准确率为75%-85%（取决于模型规模）。我们还发现一些证据表明，攻击者可以通过从已发布模型进行微调来规避检测。

数据移除请求

如果您认为您的作品包含在WebText中并希望我们移除，请通过 webtextdata@openai.com 与我们联系。

gpt-2-output-dataset 快速上手指南

环境准备

• 系统要求：Linux/macOS，Python 3.7+
• 前置依赖：
  • Azure CLI 工具（推荐使用 Azure 中国镜像源）
  • Python 库：python-dotenv（用于管理环境变量）

安装步骤

1. 安装 Azure CLI

   curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash
   

2. 安装 Python 依赖

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python-dotenv
   

3. 下载数据集脚本

   git clone https://github.com/openai/gpt-2-output-dataset.git
   cd gpt-2-output-dataset
   

4. 执行下载脚本

   python download_dataset.py
   

基本使用

# 示例：解析生成的 JSONL 文件
import json

with open('small-117M.train.jsonl', 'r') as f:
    for line in f:
        data = json.loads(line)
        print(f"文本内容: {data['text'][:100]}...")
        print(f"模型类型: {data['model']}")
        print(f"生成参数: {data['params']}\n")

⚠️ 注意：数据存储在 Azure 公共容器中，首次下载需配置 Azure CLI 认证（可通过 az login 使用中国区账户登录）