RedPajama-Data-v2：用于训练大型语言模型的拥有30万亿标记的开放数据集

本仓库包含RedPajama-V2数据集的相关代码。如需了解更多关于该数据集的信息，请参阅我们的 博客文章。该数据集也可在 HuggingFace 上获取。有关RedPajama-1T数据集所用代码，请参考本仓库中的rp_v1分支。

数据集

RedPajama-V2 是一个用于训练大型语言模型的开放数据集。该数据集包含了来自84个CommonCrawl快照的超过1000亿份文本文档，并使用 CCNet 流水线进行处理。其中，语料库中有300亿份文档附带质量信号，另有200亿份文档已完成去重。

带标注且已去重的“head_middle”部分的文档与标记数量

下表展示了该数据集中带标注且已去重的“head_middle”部分的文档与标记数量。

	文档数	估计标记数（去重后）
英文	145亿	20.5万亿
德文	19亿	3.0万亿
法文	16亿	2.7万亿
西班牙文	18亿	2.8万亿
意大利文	9亿	1.5万亿
总计	208亿	30.4万亿

语言

英语、德语、法语、意大利语、西班牙语

设置

配置

将文件configs/rp_v2.0.conf复制到例如configs/default.conf中，并配置环境变量。这些环境变量将在整个流水线中被使用。

构建Docker镜像

若要使用Docker运行，可使用以下命令构建Docker镜像：

. configs/default.conf
cd app
docker build -t "${DOCKER_REPO}:" .

此外，请确保已安装s5cmd并配置好S3访问权限，以便能够从S3存储桶中拉取数据。

您也可以不使用容器化环境来运行流水线的各个步骤。不过，运行脚本时假设您已安装了Docker和Apptainer。

运行流水线

该流水线由三个步骤组成，分别是1）准备工件，2）计算质量信号，以及3）去重。

重要提示： 如果您未使用提供的脚本（即使用提供的Dockerfile构建的Docker容器）来运行步骤（1）和步骤（2），请务必通过以下命令将PYTHONHASHSEED环境变量设置为一个固定值（例如42）：

export PYTHONHASHSEED=42

这样做是为了确保在计算DSIR权重时所使用的哈希函数具有一致性。

1. 创建工件

流水线的这一部分会创建后续步骤中需要用到的工件。其中包括构建质量分类器、训练用于计算重要性权重的n-gram生成模型、从LDNOOBW仓库获取脏话列表，以及从UT1黑名单获取最新的被屏蔽网址列表。

首先，从这里下载英文维基百科参考分类器，并将其放置在${DATA_ROOT}/wikiref-model/en/en-model.bin中。这与RedPajama-V1中使用的FastText分类器相同。

要创建其余工件，请确保已在配置文件中设置好环境变量。然后，在仓库的根目录下运行以下命令：

bash scripts/run_prep_artifacts.sh \
  --config configs/rp_v2.0.conf \
  --listings /path/to/listings/file.txt\
  --max_workers 32

其中，/path/to/listings/file.txt是一个包含您想要处理的ccnet数据键的文件（例如2023-06/0000/en_head.json.gz）。

您可以将max_workers标志设置为您希望使用的并行进程数。

此步骤将生成一个ID，您可以将其存储在环境变量ARTIFACTS_ID中，以供下一步使用。

2. 计算质量信号

流水线的第二步负责计算质量信号，包括用于后续模糊去重的minhash签名。要运行此步骤，需确保配置文件中已设置好环境变量。然后，在仓库的根目录下执行以下命令：

bash scripts/apptainer_run_quality_signals.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_base_uri "file:///path/to/outout/data/root" \
  --max_docs -1

3. 去重

流水线的第三部分是去重步骤。我们在此提供用于执行精确去重和模糊去重的代码。

使用Bloom过滤器的精确去重

基于内容的去重功能实现在app/src/bloomfilter.py中。它可以在不依赖于前一步骤的情况下独立运行，但需要将数据存储在S3存储桶中。对于此步骤，在app目录下运行以下命令：

python3 app/src/bloomfilter.py \
  --listings /path/to/listings/file.txt \
  --input_base_uri "s3://path/to/ccnet/data" \
  --output_dir "/path/to/output" \
  --s3_profile "..." \
  --endpoint_url "..." \
  --parallel_readers 32 \
  --batch_size 10 \
  --capacity "..." \
  --error_rate "..."

选择正确的容量（即大于文档数量）非常重要，否则将无法保证错误率，可能会出现更多假阳性结果。该实现基于 pybloomfiltermmap3 库。

使用局部敏感哈希的模糊去重

在流水线的第三步，我们对第一步生成的minhash签名进行局部敏感哈希处理。要运行此步骤，需确保使用与计算质量信号时相同的配置。然后，在仓库的根目录下执行以下命令：

bash scripts/apptainer_run_lsh.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_dir "/path/to/output" \
  --similarity "<similarity_threshold>" \
  --listings "/minhash/listings/file.txt" \
  --max_docs -1

该实现基于Polars，并曾在一台拥有64核CPU和500GB内存的机器上对2亿份文档进行了测试。

质量信号概览

该流水线的第二步会计算以下一组质量信号。我们希望随着更多信号的开发，未来能进一步扩充此列表。

质量标注

注释标签	描述	分类	参考
ccnet_bucket	困惑度分数的头部、中部或尾部桶	CCNet	CCNet
ccnet_language_score	语言识别模型的得分	CCNet	CCNet
ccnet_length	字符数量	CCNet	CCNet
ccnet_nlines	行数	CCNet	CCNet
ccnet_original_length	文档内去重前的字符数量	CCNet	CCNet
ccnet_original_nlines	文档内去重前的行数	CCNet	CCNet
ccnet_perplexity	基于维基百科训练的语言模型的困惑度	CCNet	CCNet
rps_doc_books_importance	给定一个基于书籍语料 p 训练的 {1,2}-词 n-gram 模型，以及一个基于源域 q 训练的模型，这是 p(doc)/q(doc) 的对数值。	机器学习启发式	重要性重采样 (Xie 等)
rps_doc_openwebtext_importance	给定一个基于 OpenWebText 语料 p 训练的 {1,2}-词 n-gram 模型，以及一个基于源域 q 训练的模型，这是 p(doc)/q(doc) 的对数值。	机器学习启发式	重要性重采样 (Xie 等)
rps_doc_wikipedia_importance	给定一个基于维基百科文章 p 训练的 {1,2}-词 n-gram 模型，以及一个基于源域 q 训练的模型，这是 p(doc)/q(doc) 的对数值。	机器学习启发式	重要性重采样 (Xie 等)
rps_doc_ml_wikiref_score	FastText 分类器对文档是否为维基百科参考文献的预测。该 FastText 模型与 RedPajama-1T 数据集所使用的相同。仅适用于英文数据。	机器学习启发式	LLaMA, RedPajama-1T
rps_doc_ml_palm_score	FastText 分类器对文档是否为维基百科文章、OpenWebText 样本或 RedPajama-V1 书籍的预测。仅适用于英文数据。	机器学习启发式	PALM, GLaM
rps_doc_ml_wikipedia_score	FastText 分类器对文档是否为维基百科文章的预测。此用于非英文数据	机器学习启发式	-
rps_doc_curly_bracket	“{” 或 “}” 出现次数与原始文本字符数之比。	自然语言处理	C4
rps_doc_frac_all_caps_words	内容中仅由大写字母组成的单词所占比例。基于原始内容计算。	自然语言处理	预训练指南
rps_doc_frac_lines_end_with_ellipsis	以省略号结尾的行所占比例，其中省略号定义为“…”或“…”。	自然语言处理	RefinedWeb, Gopher
rps_doc_frac_no_alph_words	不包含任何字母字符的单词所占比例。	自然语言处理	RefinedWeb, Gopher
rps_doc_lorem_ipsum	“lorem ipsum” 出现次数与归一化后内容字符数之比。	自然语言处理	C4
rps_doc_mean_word_length	归一化后内容中单词的平均长度。	自然语言处理	RefinedWeb, Gopher
rps_doc_stop_word_fraction	停用词数量与文档中总词数之比。停用词来自 stopwords-json 仓库。	自然语言处理	RefinedWeb, Gopher
rps_doc_symbol_to_word_ratio	内容中符号与单词的比例。符号定义为“#”、“…”和“…”。	自然语言处理	RefinedWeb, Gopher
rps_doc_frac_unique_words	内容中唯一单词的比例。这也被称为文本样本的退化程度。基于归一化后的内容计算。	自然语言处理	预训练指南
rps_doc_unigram_entropy	内容中 unigram 分布的熵。这衡量内容的多样性，计算公式为 sum(-x / total * log(x / total))，其中求和是对归一化后内容中唯一单词计数的总和。	自然语言处理	-
rps_doc_word_count	归一化后内容中的单词数量。	自然语言处理	RefinedWeb, Gopher
rps_lines_ending_with_terminal_punctution_mark	表示某行是否以终结标点符号结尾。终结标点符号定义为：“.”、“!”、“?”、“””。	自然语言处理	C4
rps_lines_javascript_counts	每行中“javascript”一词出现的次数。	自然语言处理	C4
rps_lines_num_words	每行中的单词数量。基于归一化文本计算。	自然语言处理	C4 , RefinedWeb
rps_lines_numerical_chars_fraction	每行中数字字符数量与总字符数之比。基于归一化内容计算。	自然语言处理	RefinedWeb
rps_lines_start_with_bulletpoint	是否以项目符号开头。被视为项目符号的 Unicode 编码包括：\u2022（实心圆点）、\u2023（三角形圆点）、\u25B6（黑色右向三角形）、\u25C0（黑色左向三角形）、\u25E6（白色圆点）、\u25A0（黑色方块）、\u25A1（白色方块）、\u25AA（黑色小方块）、\u25AB（白色小方块）、\u2013（短破折号）。	自然语言处理	RefinedWeb, Gopher
rps_lines_uppercase_letter_fraction	每行中大写字母数量与总字符数之比。基于原始文本计算。	自然语言处理	RefinedWeb
rps_doc_num_sentences	内容中的句子数量。使用正则表达式 r'\b[^.!?]+[.!?]*' 计算。	自然语言处理	C4
rps_doc_frac_chars_dupe_10grams	重复 10-gram 中的字符比例。操作对象是已转为小写且去除标点的内容。同时确保重叠 n-gram 中的字符只被计数一次。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_5grams	重复 5-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_6grams	重复 6-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_7grams	重复 7-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_8grams	重复 8-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_9grams	重复 9-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_2gram	最常见的 2-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_3gram	最常见的 3-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_4gram	最常见的 4-gram 中的字符比例。	重复性	RefinedWeb, Gopher
rps_doc_ldnoobw_words	包含在“脏话、下流、淫秽及其他不良词汇”黑名单中的词序列数量。该黑名单来自 LDNOOBW 仓库。	有害内容	C4
rps_doc_ut1_blacklist	对应文档所属领域的类别标识。类别来自 UT1 黑名单，该名单来源于 UT-Capitole。	有害内容	RefinedWeb
minhash_signature_0.7	文档的带状 MinHash 签名，用于 Jaccard 相似度为 0.7 时的模糊去重。签名基于 128 个哈希函数，分为 14 个带和 9 行，用于 LSH。	去重
minhash_signature_0.8	文档的带状 MinHash 签名，用于 Jaccard 相似度为 0.8 时的模糊去重。签名基于 128 个哈希函数，分为 9 个带和 13 行，用于 LSH。	去重
minhash_signature_0.9	文档的带状 MinHash 签名，用于 Jaccard 相似度为 0.9 时的模糊去重。签名基于 128 个哈希函数，分为 5 个带和 25 行，用于 LSH。	去重
minhash_signature_1.0	文档的带状 MinHash 签名，用于 Jaccard 相似度为 1.0 时的模糊去重。签名基于 128 个哈希函数，分为 1 个带和 128 行，用于 LSH。	去重

致谢

我们衷心感谢众多合作伙伴与协作方，正是大家的共同努力，推动着开源大语言模型领域的前沿发展。

• 感谢 AI2 的 OLMo 团队以及 OpenGPT-X 的朋友们，就数据集与数据质量展开了富有洞见的讨论！同时也要感谢所有基于 RedPajama 数据集进行开发的人们，包括 Cerebras 在 SlimPajama 方面所做的努力，以及开源 AI 社区迄今为止基于 RedPajama 构建的超过 500 个模型。
• 我们感激 EleutherAI 的优秀团队，他们通过 The Pile 数据集为开源训练数据铺平了道路，并开源了我们在训练部分 RedPajama 模型时所使用的代码。
• 感谢 RedPajama-v1 的合作伙伴，包括 Ontocord.ai、MILA 魁北克人工智能研究所、ETH DS3Lab、蒙特利尔大学、斯坦福基础模型研究中心 (CRFM)、斯坦福 Hazy Research 研究组以及 LAION。

许可证

版权所有 © 2023 Together Computer

本软件依照 Apache License, Version 2.0（“许可证”）授权使用；
除非符合许可证的规定，否则不得使用本文件。
您可以在以下网址获取许可证的副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律另有规定或双方另有约定，否则根据本许可证分发的软件以“AS IS”为基础提供，不附带任何明示或暗示的担保或条件。
有关特定语言的权限及限制，请参阅本许可证。

完整条款请参阅 LICENSE 文件。如您对许可有任何疑问、意见或顾虑，请联系我们。

关于数据集本身，请参阅 Common Crawl 基金会使用条款。

引用 RedPajama 时，请使用以下格式：

@article{weber2024redpajama,
	title   = {RedPajama：用于训练大型语言模型的开源数据集},
	author  = {Maurice Weber、Daniel Y. Fu、Quentin Anthony、Yonatan Oren、Shane Adams、Anton Alexandrov、Xiaozhong Lyu、Huu Nguyen、Xiaozhe Yao、Virginia Adams、Ben Athiwaratkun、Rahul Chalamala、Kezhen Chen、Max Ryabinin、Tri Dao、Percy Liang、Christopher Ré、Irina Rish、Ce Zhang},
	journal = {NeurIPS 数据集与基准测试赛道},
	year    = 2024,
}

RedPajama-Data-v2 快速上手指南

RedPajama-Data-v2 是一个用于训练大型语言模型的开源数据集，包含来自 84 个 CommonCrawl 快照的超过 1000 亿份文档，总计约 30 万亿 tokens。本指南将帮助您配置环境并运行数据处理流水线。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• 容器工具: 已安装 Docker 和 Apptainer (Singularity)。虽然部分步骤可脱离容器运行，但官方脚本默认依赖这些工具。
• 存储工具: 已安装 s5cmd，并配置好 S3 配置文件（用于从 S3 桶拉取数据）。
• 硬件建议: 去重步骤（特别是模糊去重）资源消耗较大。参考测试环境为 64 核 CPU 和 500GB 内存。
• 网络: 能够访问 HuggingFace、S3 存储桶以及外部黑名单源（如 LDNOOBW, UT1 blacklist）。

安装步骤

1. 获取代码与配置

克隆仓库并复制配置文件：

git clone https://github.com/togethercomputer/RedPajama-Data.git
cd RedPajama-Data
cp configs/rp_v2.0.conf configs/default.conf

编辑 configs/default.conf，根据实际环境设置必要的环境变量（如 DATA_ROOT, S3_PROFILE 等）。

2. 构建 Docker 镜像

加载配置并构建运行所需的 Docker 镜像：

. configs/default.conf
cd app
docker build -t "${DOCKER_REPO}:" .

3. 下载基础模型

下载英语维基百科参考分类器（fasttext 模型），这是生成质量信号所必需的：

# 假设 ${DATA_ROOT} 已在配置文件中定义
mkdir -p ${DATA_ROOT}/wikiref-model/en
wget https://data.together.xyz/redpajama-data-v2/v1.0.0/artifacts/wikiref.model.bin -O ${DATA_ROOT}/wikiref-model/en/en-model.bin

基本使用

数据处理流水线主要包含三个步骤：创建工件、计算质量信号、去重。

重要提示：如果您未使用提供的 Docker/Apptainer 脚本运行前两步，请务必设置以下环境变量以保证哈希一致性：

export PYTHONHASHSEED=42

第一步：创建工件 (Create Artifacts)

此步骤构建质量分类器、训练 n-gram 模型并获取黑名单数据。

准备一个列表文件（例如 listings.txt），包含您要处理的 CCNet 数据键值（如 2023-06/0000/en_head.json.gz）。然后运行：

bash scripts/run_prep_artifacts.sh \
  --config configs/rp_v2.0.conf \
  --listings /path/to/listings/file.txt\
  --max_workers 32

运行成功后，记录输出的 ID 并导出为环境变量 ARTIFACTS_ID，供下一步使用。

第二步：计算质量信号 (Compute Quality Signals)

此步骤计算文档的质量分数（如困惑度、语言得分）并生成用于模糊去重的 MinHash 签名。

bash scripts/apptainer_run_quality_signals.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_base_uri "file:///path/to/outout/data/root" \
  --max_docs -1

注：请将 --dump_id 替换为您实际处理的数据批次 ID。

第三步：去重 (Deduplication)

方案 A：精确去重 (Exact Deduplication)

基于 Bloomfilter 的内容去重，数据需位于 S3 桶中。

python3 app/src/bloomfilter.py \
  --listings /path/to/listings/file.txt \
  --input_base_uri "s3://path/to/ccnet/data" \
  --output_dir "/path/to/output" \
  --s3_profile "..." \
  --endpoint_url "..." \
  --parallel_readers 32 \
  --batch_size 10 \
  --capacity "..." \
  --error_rate "..."

注意：--capacity 必须大于文档总数，否则错误率无法保证。

方案 B：模糊去重 (Fuzzy Deduplication)

基于局部敏感哈希 (LSH) 对 MinHash 签名进行去重。

bash scripts/apptainer_run_lsh.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_dir "/path/to/output" \
  --similarity "<similarity_threshold>" \
  --listings "/minhash/listings/file.txt" \
  --max_docs -1

完成上述步骤后，您将获得经过质量筛选和去重处理的高质量数据集，可用于大模型训练。