数据准备工具包可加速面向大语言模型应用开发者的非结构化数据准备工作。开发者可以使用该工具包对特定用例的非结构化数据进行清洗、转换和增强，以用于大语言模型的预训练、微调、指令微调，或构建基于检索增强生成（RAG）的大语言模型应用。

数据准备工具包能够从普通笔记本电脑轻松扩展到数据中心级别的规模。

功能特性

• 该工具包提供不断增长的一系列模块/转换功能，适用于从笔记本电脑级别到数据中心级别的数据处理。
• 目前支持的数据模态包括：自然语言、代码和图像。
• 这些模块基于 Python 和 Ray 运行时的通用框架构建，以实现数据处理的水平扩展。
• 工具包提供了一个框架，用于开发自定义转换功能，以处理 Parquet 文件以及 ZIP、NDJSON 和 JSONL 等文件格式。
• 工具包还提供了示例，说明如何将单个转换作为 Python 或 Ray 作业部署到 Kubernetes 集群上。此外，当多个转换按顺序部署时，工具包会使用 Tekton 流水线。

安装

最新版本的数据准备工具包已在 PyPI 上发布，适用于 Python 3.10、3.11、3.12 和 3.13。可通过以下命令安装：

pip install uv
uv pip install 'data-prep-toolkit-transforms[all]'

这将安装所有可用的转换功能。

有关创建用于安装数据准备工具包的虚拟环境的指导，请点击 这里。

🚀 开始使用

体验数据准备工具包的最快方式

无需任何设置，让我们使用一个适合 Google Colab 的笔记本尝试一下数据准备工具包。这是一个用于从 PDF 文件中提取内容的简单转换：examples/notebooks/Run_your_first_transform_colab.ipynb | 。(在这里提供了一些关于在 Google Colab 上运行数据准备工具包转换的技巧。对于这个简单的示例，这些技巧要么已经考虑到了，要么并不需要。) 同样的笔记本也可以下载并在本地机器上运行，而无需克隆仓库或其他任何设置。

示例

现在您已经运行了一个单独的转换，下一步就是探索如何将这些转换组合起来，以针对端到端的真实企业用例（如模型微调或构建 RAG 应用程序）运行数据准备流水线。

我们为这类用例提供了一整套完整的数据处理 配方。

此外，我们还有一个 开发者教程，介绍如何向工具包贡献新的转换功能。

对于高级用户，这里提供了更多关于添加自定义转换、从命令行运行转换、扩展与自动化等方面的信息。同时，仓库的结构和使用方法也在 这里进行了讨论。

使用 HuggingFace 数据文件

工具包中的所有转换都包含用于测试的小型示例数据文件，但希望从 HuggingFace 下载真实数据文件并用于测试的高级用户，可以参考 此处。

支持的数据转换

下表展示了模块与支持运行时的组合。所有模块均可在此处访问，并可按示例文件夹中的所示组合成数据处理流水线。

模块	仅 Python	Ray
数据摄取
代码（来自 zip）转 Parquet	:white_check_mark:	:white_check_mark:
Docling 转 Parquet	:white_check_mark:	:white_check_mark:
HTML 转 Parquet	:white_check_mark:	:white_check_mark:
网页转 Parquet	:white_check_mark:
通用（代码与语言）
精确去重过滤器	:white_check_mark:	:white_check_mark:
模糊去重过滤器	:white_check_mark:	:white_check_mark:
唯一 ID 注解	:white_check_mark:	:white_check_mark:
基于注解的过滤	:white_check_mark:	:white_check_mark:
性能分析器	:white_check_mark:	:white_check_mark:
调整大小	:white_check_mark:	:white_check_mark:
仇恨、辱骂、粗俗用语（HAP）	:white_check_mark:	:white_check_mark:
分词器	:white_check_mark:	:white_check_mark:
分词转 Arrow	:white_check_mark:	:white_check_mark:
去除重复内容	:white_check_mark:	:white_check_mark:
布隆过滤器	:white_check_mark:
折叠（列拼接）	:white_check_mark:	:white_check_mark:
黑名单	:white_check_mark:	:white_check_mark:
C4 注释器	:white_check_mark:	:white_check_mark:
Fineweb 质量注释器	:white_check_mark:	:white_check_mark:
Gopher 重复内容注释器	:white_check_mark:	:white_check_mark:
OpenSearch	:white_check_mark:	:white_check_mark:
文件夹转 Parquet	:white_check_mark:
仅语言
语言识别	:white_check_mark:	:white_check_mark:
文档质量	:white_check_mark:	:white_check_mark:
用于 RAG 的文档分块	:white_check_mark:	:white_check_mark:
文本编码器	:white_check_mark:	:white_check_mark:
PII 注释器/脱敏器	:white_check_mark:	:white_check_mark:
相似度	:white_check_mark:
GneissWeb 分类	:white_check_mark:	:white_check_mark:
可读性评分	:white_check_mark:	:white_check_mark:
极端分词注解	:white_check_mark:	:white_check_mark:
机器学习过滤器	:white_check_mark:	:white_check_mark:
机器学习增强（质量注解）	:white_check_mark:	:white_check_mark:
仅代码
编程语言注解	:white_check_mark:	:white_check_mark:
代码质量注解	:white_check_mark:	:white_check_mark:
恶意软件注解	:white_check_mark:	:white_check_mark:
头部清理器	:white_check_mark:	:white_check_mark:
语义文件排序		:white_check_mark:
许可证选择注解	:white_check_mark:	:white_check_mark:
代码性能分析器	:white_check_mark:	:white_check_mark:
图像
人脸	:white_check_mark:	:white_check_mark:
NSFW（不适合工作场所）	:white_check_mark:	:white_check_mark:
人物	:white_check_mark:	:white_check_mark:

日志配置

DPK 使用统一的日志记录器 - dpk。可以通过设置以下环境变量来配置它：

变量名	默认值	描述
DPK_LOG_LEVEL	INFO	日志级别
DPK_LOG_FILE	无	日志文件的路径，如果设置，则日志消息将被存储到该文件中
DPK_LOG_JSON_HANDLER	""	如果设置为 "true"、"1"、"yes" 或 "on"（不区分大小写），控制台日志将以 JSON 格式输出
DPK_LOG_PROPAGATION	""	如果设置为 "true"、"1"、"yes" 或 "on"（不区分大小写），日志记录器会将所有日志消息传递给其父级日志记录器

贡献

欢迎贡献者添加新模块以扩展对其他数据模态的支持，并为现有模块增加运行时支持！详情请阅读 此文档。

获取帮助和支持

请随时通过 讨论区 与我们联系。

维护者

有关当前维护者的列表，请参阅 MAINTAINERS.md。

更改日志

有关发布和更改的历史记录，请参阅 release-notes.md。

资源

论文、演讲、演示文稿和教程

Granite 开源 LLM 模型

GneissWeb

引用

如果您在研究中使用了 Data Prep Kit，请引用我们的论文：

@misc{wood2024dataprepkitgettingdataready,
      title={Data-Prep-Kit: 为 LLM 应用开发准备数据}, 
      author={David Wood, Boris Lublinsky, Alexy Roytman, Shivdeep Singh, Constantin Adam, Abdulhamid Adebayo, Sungeun An, Yuan Chi Chang, Xuan-Hong Dang, Nirmit Desai, Michele Dolfi, Hajar Emami-Gohari, Revital Eres, Takuya Goto, Dhiraj Joshi, Yan Koyfman, Mohammad Nassar, Hima Patel, Paramesvaran Selvam, Yousaf Shah, Saptha Surendran, Daiki Tsuzuku, Petros Zerfos, Shahrokh Daijavad},
      year={2024},
      eprint={2409.18164},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2409.18164}, 
}

许可证

所有源文件必须包含版权和许可证声明。如需查看详细的 LICENSE，请点击 此处。

LF AI & 数据

Data Prep Kit 是在 LF AI & 数据基金会 中托管的一个项目。

IBM ❤️ 开源人工智能

该项目由 IBM 研究院的 AI 模型数据团队发起。

版权所有 © Data Prep Kit 框架 - 一系列 LF 项目有限责任公司。

Data Prep Kit 快速上手指南

Data Prep Kit 是一个加速非结构化数据处理的工具包，专为 LLM 应用开发者设计。它支持从笔记本电脑到数据中心规模的扩展，可用于数据清洗、转换和增强，适用于预训练、微调、指令微调及构建 RAG 应用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python 版本：3.10, 3.11, 3.12 或 3.13
• 前置依赖：
  • 建议先安装 uv (一个极速的 Python 包安装器和管理器)，它将自动处理虚拟环境和依赖冲突。

2. 安装步骤

推荐使用 uv 进行安装，它可以快速创建隔离环境并安装所有可用的数据转换模块。

第一步：安装 uv

如果您尚未安装 uv，请使用以下命令安装：

pip install uv

(国内用户若遇网络问题，可尝试使用国内镜像源：pip install uv -i https://pypi.tuna.tsinghua.edu.cn/simple)

第二步：安装 Data Prep Kit

运行以下命令安装包含所有转换模块的完整版本：

uv pip install 'data-prep-toolkit-transforms[all]'

该命令会自动创建虚拟环境（如果尚未存在）并安装所有依赖。

3. 基本使用

方式一：零配置体验 (Google Colab)

这是体验 Data Prep Kit 最快的方式，无需本地安装任何依赖。您可以直接在浏览器中运行一个示例 Notebook，演示如何从 PDF 文件中提取内容。

• 在线运行：点击 Open In Colab 直接启动。
• 本地运行：您也可以下载该 .ipynb 文件，在本地 Jupyter 环境中直接运行，无需克隆整个仓库。

方式二：本地构建数据处理流水线

安装完成后，您可以组合不同的转换模块（Transforms）来构建端到端的数据处理流程。

核心概念：

• 模块 (Modules)：Kit 提供了丰富的内置模块，涵盖代码、自然语言和图像数据。
• 运行时 (Runtimes)：支持纯 Python 运行（适合小规模数据）和 Ray 运行（适合大规模分布式处理）。
• 文件格式：主要处理 Parquet 文件，同时也支持 ZIP, NDJSON, JSONL 等格式的输入输出。

常用转换模块示例： 您可以参考 examples 目录下的完整案例来构建如下流程：

1. 数据摄入：例如将 HTML 或代码压缩包转换为 Parquet (html2parquet, code2parquet)。
2. 数据清洗：执行精确去重 (ededup)、模糊去重 (fdedup) 或移除有害内容 (hap)。
3. 数据增强：添加语言标识 (lang_id)、文档质量评分 (doc_quality) 或 PII 脱敏 (pii_redactor)。
4. RAG 专用：文档分块 (doc_chunk) 和文本编码 (text_encoder)。

进阶使用：

• 命令行运行：支持直接从命令行调用转换任务。
• 集群部署：单个转换可作为 Python 或 Ray 任务部署在 Kubernetes 上；多个转换序列可通过 Tekton 流水线编排。
• 自定义开发：框架允许开发者编写自定义转换逻辑来处理特定格式的数据。详细教程请参阅官方文档中的 贡献指南。

提示：所有内置模块均包含小型样本数据用于测试。如需使用 HuggingFace 上的真实数据集进行测试，请参考高级文档中的相关章节。