OpenWebText

乔舒亚·彼得森、斯蒂芬·梅兰 和 大卫·布尔金

OpenWebText 是 OpenAI 未公开的 WebText 数据集的一个开源克隆版（博客、论文、代码），该数据集曾用于训练 GPT-2。目前的结果是超过 2300 万个 URL 和超过 1000 万个 HTML 页面。

此实现从预先下载的（每月更新的）pushshift.io Reddit 提交数据转储中挖掘并智能去重 +3 karma 的 URL（这种方式比多次调用 Web API 快得多），然后下载原始 HTML 并提取文本。为了节省时间，您可以使用此处提供的预过滤 URL 列表 链接，它可将 140GB 的 pushshift 数据缩减至仅需用于内容抓取的 2GB URL。此外，我们还提供了一个用于分词的初始工具，并计划尽快加入 BPE 编码功能。该代码库已具备基本功能，但仍在积极开发中，欢迎提出问题或改进建议（欢迎提交 Pull Request）。

依赖项

如果您使用 pipenv（pip install --user pipenv），请进入项目根目录并运行：

pipenv install 
pipenv shell

否则，请在新的虚拟环境中运行以下命令：

pip3 install -r requirements.txt

自行提取/清理 URL

您可以在此处下载预过滤的 URL 链接，但如果您希望使用不同的过滤条件重新筛选这些 URL，可以按照以下步骤操作。首先需要使用 fetch_urls.py 脚本（感谢 simonfall）下载 pushshift 数据转储，或者手动从 这里 下载。仓库中的“pushshift_dumps”文件夹内包含了两个示例数据转储。接下来，使用以下命令提取符合条件的 URL：

python extract_urls.py --single_file RS_v2_2005-06.xz

若要处理多个 pushshift 文件，可以指定年份范围：

python extract_urls.py --year_start 2016 --year_end 2018

如需更改 karma 阈值：

python extract_urls.py --single_file RS_v2_2005-06.xz --min_karma 4

要对提取出的 URL 进行去重，请提供包含所有 URL 转储的目录：

python deduplicate_urls.py --input_dir url_dumps

extract_urls.py 和 deduplicate_urls.py 的输出均为文本文件，因为所有 2300 万个“优质”URL 仅占用 2GB 空间。

抓取 HTML（或直接抓取文本）

由于计算和带宽需求较高，此过程按月进行。n_procs 表示用于并行化的核心数，为获得最快结果，建议设置为至少 20–40。脚本会以 chunk_size 大小的块输出结果。如果未设置 timeout 或将其设为 -1，下载器可能会在处理大文件时卡住。

若要抓取原始 HTML 以供后续处理和文本提取，请将 --scraper 参数设置为 raw，如下所示。下载的 HTML 将被剥离 script 和 style 标签，并使用 LZMA 压缩存储为压缩档案，同时附带少量元数据。

python download.py url_dumps_deduped/RS_20XX-XX.xz.deduped.txt --n_procs 100 --scraper raw --chunk_size 100000 --compress --timeout 30

若要直接抓取文本内容以节省磁盘空间（但无法在未来使用不同参数重新提取文本），请将 --scraper 设置为 newspaper，利用 Python 的 newspaper 库提取文本。若需更精细地提取文本，可将 --scraper 设置为 bs4（Beautiful Soup 4），它将提取页面上所有 <p> 标签中的文本。

从已下载的 HTML 中提取文本

python extract_text.py --html_archive scraped/RS_20XX-XX-X_data.xz --n_procs 100

目前该脚本使用 newspaper 工具，并输出 txt 文件。

分词

原始 WebText 并未使用分词，但如果您需要分词功能，可以使用以下命令：

python tokenize_text.py --input_glob "parsed/*.txt" --output_dir tokenized

该功能将在不久的将来得到改进并实现并行化。

BPE 编码

即将推出……

OpenAI 原始项目链接

• 博客文章 (更好的语言模型及其影响)
• 论文 (语言模型是无监督的多任务学习者)
• 代码 (https://github.com/openai/gpt-2)

其他实现

基于 pushshift.io API 且 fork 自上述下载代码的替代抓取工具可在 这里 找到。

OpenWebText 快速上手指南

OpenWebText 是 OpenAI 未公开 WebText 数据集（用于训练 GPT-2）的开源复刻版。该项目通过挖掘 Reddit 高热度提交记录，智能去重并抓取 HTML 页面以提取高质量文本数据。

环境准备

• 系统要求：Linux 或 macOS（推荐），需具备较高的网络带宽和充足的磁盘空间（原始数据量较大）。
• Python 版本：Python 3.6+
• 前置依赖：
  • pip 包管理工具
  • 推荐使用 pipenv 管理虚拟环境（可选，但推荐）

注意：由于项目依赖大量外部库且涉及网络爬虫，建议在网络环境稳定的情况下操作。原文未提供中国镜像源，若安装缓慢，可临时指定国内 pip 源（如 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

安装步骤

方式一：使用 Pipenv（推荐）

# 安装 pipenv (如果尚未安装)
pip install --user pipenv

# 进入项目根目录
cd openwebtext

# 安装依赖并激活虚拟环境
pipenv install 
pipenv shell

方式二：使用标准虚拟环境

# 创建并激活虚拟环境 (示例)
python3 -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 安装依赖
pip3 install -r requirements.txt

基本使用

本项目核心流程分为：获取 URL 列表 -> 抓取内容 -> 提取文本。为节省时间，强烈建议直接使用作者预过滤好的 URL 列表，而非从头处理 Reddit 原始转储数据。

1. 获取 URL 列表

你可以从 Mega.nz 下载预过滤的 URL 列表（约 2GB），这将跳过处理 140GB Pushshift 原始数据的步骤。

若需自行过滤（例如修改 Karma 阈值），可使用以下命令：

# 提取单个文件的 URL (Karma >= 3)
python extract_urls.py --single_file RS_v2_2005-06.xz

# 提取指定年份范围的 URL
python extract_urls.py --year_start 2016 --year_end 2018

# 去重处理
python deduplicate_urls.py --input_dir url_dumps

2. 抓取 HTML 或文本

抓取过程消耗大量带宽和计算资源，建议分月处理并开启多进程。

方案 A：抓取原始 HTML（推荐，便于后续灵活提取） 此模式会去除 script/style 标签，并使用 LZMA 压缩存储。

# n_procs 建议设置为 20-40 以上以加速；timeout 防止大文件挂起
python download.py url_dumps_deduped/RS_20XX-XX.xz.deduped.txt --n_procs 100 --scraper raw --chunk_size 100000 --compress --timeout 30

方案 B：直接抓取文本（节省磁盘空间） 使用 newspaper 库直接提取正文，但无法重新调整提取参数。

python download.py url_dumps_deduped/RS_20XX-XX.xz.deduped.txt --n_procs 100 --scraper newspaper --chunk_size 100000 --timeout 30

注：若需更精细的控制（仅提取 <p> 标签），可将 --scraper 设为 bs4。

3. 从 HTML 提取文本

如果你选择了方案 A（抓取原始 HTML），需运行以下步骤提取文本：

python extract_text.py --html_archive scraped/RS_20XX-XX-X_data.xz --n_procs 100 

4. 分词（可选）

如果需要像原始 WebText 那样进行分词处理：

python tokenize_text.py --input_glob "parsed/*.txt" --output_dir tokenized