Dolma 包含两部分内容：

1. Dolma 数据集：一个开放的数据集，包含来自多样化网络内容、学术出版物、代码、书籍和百科全书材料的 3 万亿个标记。
2. Dolma 工具包：一套用于语言模型数据集整理的高性能工具——本仓库包含了 Dolma 工具包的源代码。

Dolma 数据集

Dolma 是一个开放的数据集，包含来自多样化网络内容、学术出版物、代码、书籍和百科全书材料的 3 万亿个标记。 它被创建为 OLMo 的训练语料库，OLMo 是由 艾伦人工智能研究所（AI2）开发的语言模型。

Dolma 可以在 HuggingFace 🤗 Hub 上下载：huggingface.co/datasets/allenai/dolma。Dolma 采用 ODC-BY 许可证；有关说明，请参阅我们的 博客文章。

您还可以通过阅读我们的 公告，以及查阅其 数据表，了解更多关于 Dolma 的信息。

Dolma 工具包

本仓库托管了 Dolma 工具包，该工具包能够对大规模数据集进行整理，以用于机器学习模型的（预）训练。其主要特点包括：

1. 高性能 ⚡：得益于内置的并行处理能力，可同时处理数十亿份文档。
2. 可移植性 🧳：既可在单机上运行，也可在集群或云环境中使用。
3. 内置标签器 🏷：包含现成可用的标签器，这些标签器常用于整理诸如 Gopher、C4 和 OpenWebText 等数据集。
4. 快速去重 🗑：利用 Rust Bloom 过滤器实现高效的文档去重。
5. 可扩展性 🧩 & 云支持 ☁：支持自定义标签器以及与 AWS S3 兼容的存储位置。

安装时，只需在终端中输入 pip install dolma 即可。

如需了解更多关于如何使用 Dolma 工具包的信息，请访问 文档。

引用

如果您使用了 Dolma 数据集或工具包，请引用以下内容：

@article{dolma,
  title = {{Dolma: 用于语言模型预训练研究的三万亿标记开放语料库}},
  author={Luca Soldaini 和 Rodney Kinney 和 Akshita Bhagia 和 Dustin Schwenk 和 David Atkinson 和 Russell Authur 和 Ben Bogin 和 Khyathi Chandu 和 Jennifer Dumas 和 Yanai Elazar 和 Valentin Hofmann 和 Ananya Harsh Jha 和 Sachin Kumar 和 Li Lucy 和 Xinxi Lyu 和 Nathan Lambert 和 Ian Magnusson 和 Jacob Morrison 和 Niklas Muennighoff 和 Aakanksha Naik 和 Crystal Nam 和 Matthew E. Peters 和 Abhilasha Ravichander 和 Kyle Richardson 和 Zejiang Shen 和 Emma Strubell 和 Nishant Subramani 和 Oyvind Tafjord 和 Pete Walsh 和 Luke Zettlemoyer 和 Noah A. Smith 和 Hannaneh Hajishirzi 和 Iz Beltagy 和 Dirk Groeneveld 和 Jesse Dodge 和 Kyle Lo},
  year={2024},
  journal={arXiv 预印本},
  url={https://arxiv.org/abs/2402.00159}
}

Dolma 快速上手指南

Dolma 包含两个核心部分：Dolma 数据集（3 万亿 token 的开源语料）和 Dolma 工具包（用于构建和清洗大语言模型训练数据的高性能工具）。本指南主要介绍如何安装和使用 Dolma 工具包。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows（推荐 Linux 以获得最佳性能）。
• Python 版本：Python 3.8 或更高版本。
• 前置依赖：
  • pip 包管理工具。
  • 若需处理大规模数据或使用集群功能，建议配置好相应的云存储访问权限（如 AWS S3 兼容存储）。

安装步骤

您可以直接通过 PyPI 安装 Dolma 工具包。

标准安装

在终端中运行以下命令：

pip install dolma

国内加速安装（推荐）

如果您在中国大陆地区，建议使用国内镜像源以加快下载速度：

pip install dolma -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Dolma 工具包的核心功能是并行化处理、标签化（Tagging）和去重（Deduplication）大规模文本数据。

1. 查看帮助

安装完成后，您可以通过命令行查看可用指令和参数：

dolma --help

2. 典型工作流示例

虽然具体配置通常需要通过 YAML 文件定义，但一个最基础的使用场景是调用内置的标签器对数据进行预处理。

假设您有一个包含原始文本的文件列表，并希望对比 Gopher 规则进行过滤，基本的命令结构如下（需先创建配置文件 config.yaml）：

第一步：创建配置文件 (config.yaml)

tokenizer:
  name: "gpt2"

sources:
  - name: "my_data"
    path: "/path/to/your/data/*.jsonl.gz"
    type: "jsonl"

taggers:
  - name: "gopher"
    modules: ["length", "repetition", "special_characters"]

destination:
  path: "/path/to/output"
  type: "jsonl"

第二步：执行处理命令

dolma tag --config config.yaml

提示：Dolma 支持高度自定义的 Tagger 和去重策略。对于更复杂的生产环境用法（如分布式集群运行、自定义 Rust 去重过滤器等），请参阅官方详细文档：https://github.com/allenai/dolma/tree/main/docs。

3. 获取数据集

如果您仅需使用现成的 Dolma 数据集 而非自己构建，可以直接从 Hugging Face 下载：

• 数据集地址: huggingface.co/datasets/allenai/dolma
• 许可证: ODC-BY